使用客户端的Tensorflow服务

Question

我成功创建了一个接收TF saved_model的服务器，但现在我想向它发送查询并获得预测结果。 但是，我很难理解客户端如何工作以及如何实现它。 我在网上找到的所有信息都是basic tutorial，但它们只给出了mnist的客户端代码，并且它不适合我自己的mdoel。 那么任何人都可以向我推荐如何使用或实现不同模型的客户端？

感谢

Answer 1

我真的很感谢谷歌作出tensorflow服务开源的，它是对我这样的人把预测模型投入生产，从而帮助。但是我不得不承认张量流服务在文档中做得很差，或者他们认为使用它的人应该已经对张量流程有了很好的了解。我坚持了很长时间才明白它是如何工作的。在他们的网站中，他们很好地介绍了概念和例子，但是它们之间缺少一些东西。我会推荐教程here。这是第一部分，你也可以按照第二部分，该链接将在该文章中。

通常，将.ckpt文件导出到可维护模型（.pb文件和变量文件夹）时，必须定义模型的输入，输出和方法名称并将它们保存为签名tf.saved_model.signature_def_utils.build_signature_def

在这篇文章中，你会发现我在这部分上面说：

tf.saved_model.signature_def_utils.build_signature_def( 
    inputs={‘images’: predict_tensor_inputs_info}, 
    outputs={‘scores’: predict_tensor_scores_info}, 
    method_name=\ 
     tf.saved_model.signature_constants.PREDICT_METHOD_NAME) 

您可以跟随笔者定义的输入和输出方面的文章，以及如何做同样的事情到您的自定义模式。

之后，您必须在您的客户端脚本中调用签名和Feed输入到服务器，然后服务器才会识别使用哪种方法并返回输出。您可以检查作者如何编写客户端脚本并查找呼叫签名和馈送输入的相应部分。