如何使用max_batch_size，batch_timeout_micros，num_batch_threads和其他参数进行批量性能调整？尝试使用这些参数与查询客户端，它不起作用。Tensorflow服务配料参数
在下面的例子中，我有100个图像，我想批量大小为10.查询对所有图像运行而不是10. bazel-bin/tensorflow_serving/example/demo_batch --server = localhost：9000 - -max_batch_size = 10
另外，对于批量调度，如何在第一批完成后每10秒运行一次？谢谢。
我遇到了和你一样的问题。
我检查TF-服务的源代码，这些参数是在其中在
serving/tensorflow_serving/servables/tensorflow/session_bundle_config.proto
限定的protobuf的文件而且我发现在
服务的示例CONF文件/ tensorflow_serving/servables/tensorflow/testdata/batching_config.txt
我相信你可以按照batching_config.txt格式，参数配置应该是工作。
希望它有帮助。
max_batch_size {值：1024}
batch_timeout_micros {值：0}
max_enqueued_batches {值：1000000}
num_batch_threads {值：8}
allowed_batch_sizes：1
allowed_batch_si ZES：2
allowed_batch_sizes：8
allowed_batch_sizes：32
allowed_batch_sizes：128
allowed_batch_sizes：256
allowed_batch_sizes：512
allowed_batch_sizes：1024