将数据从客户端传输到服务器的最佳格式/压缩/协议？

Question

我们有多个客户端，要求从服务器的工作 - 10000个网址列表= 1MB

，并发送回处理的数据返回到服务器 - 每个URL各地1KB即10 MB

每个客户端都行，每5-10分钟。

我以这种顺序要求可扩展性，高性能和平台独立性。

1. 我应该使用XML还是自定义二进制格式进行传输？

2. 要使用的最佳压缩类型？ gzip，我看到使用ICSHARP库的.NET人。什么是折衷？

3. 客户端应该通过POST发送数据吗？或者其他更好的方法？

4. 要记住这种情况下的其他建议吗？

Answer 1

1. 我会看看BSON，只是因为它现在引起了很多关注，而且您应该很好地支持序列化程序。这也是一个相当严格的有线协议，这就是为什么它是几个高调的nosql dbms的重点。

2. 就压缩而言，无论您的web服务器支持什么（可能是gzip）。压缩的折衷几乎总是归结为消耗的cpu周期与压缩的紧凑性。但最终，gzip是一个很好的途径，所有你需要做的就是打开它。

3. 是的，POST是适当的方法。

4. 如果性能或并发性成为瓶颈，您可以将gzip（以及SSL和身份验证和会话以及其他许多事物）移动到Web服务器前面的层中。但是我的直觉是你会被I/O限制在服务器端。祝你好运。

Answer 2

你有没有考虑过json？与xml文件中的信息相同，但使用较少的文本来描述它。