Django/Python中的实时数据处理

Question

我们正在开发一个涉及实时数据处理的项目。我们计划使用Django/Python。实际过程是：

设备数以万计
1. 采取4个样本每秒（0，0.25，0.5,0.75）和连续发送回到我们的Django服务器，基本上它们与时间戳和值
时间序列
2. 我们需要根据时间戳（需要精确到毫秒）对齐所有设备的样本，并对所有时间序列进行简单平均。所有这些都需要实时完成（最大1秒延迟）并发送出去使用另一个线程

我们正在寻找进入RRDTool和scikits.timeseries，但它们没有毫秒的精度，所以它们无法对齐我们的时间序列。

只是想知道是否有任何工具/数据结构，我们可以使用Django/Python进行这种类型的实时数据处理。线程安全是很重要的，因为发送结果将在另一个线程中完成。

在此先感谢。

Answer 1

简答：号Django不会帮你这个。

长答案：听起来像是一些自定义代码直接从Web服务器上传出的工作。我在想一个直接挂在wsgi上的python脚本，或者甚至是用C编写的apache模块！

Answer 2

你可能想看看Tornado，这是一个非阻塞并使用epoll的web服务器框架。应该比Django等更高级别的框架更适合您的实时需求。

Answer 3

你的Python为实时网络服务选项有：Twisted，Tornado和Eventlet

可以整合这一切与Python/Django的工作。 Tutorial on that。

Answer 4

你应该考虑看看Celery Project。它插入Django很好，但不确定它是否对毫秒精度要求很敏感。您也可以考虑下载django堆栈，并在Mongrel2和ZeroMQ上使用Brubeck。