我需要缓存大量(几TB)的文件,每个文件最多50 MB。由于内存过于昂贵,Memcached不支持这些尺寸,我正在寻找一种基于LRU的解决方案,将其数据保存在HDD上,并且能够在缓存大小和灵活性方面进行水平扩展。Memcached HDD等效
有没有这样的软件?
我需要缓存大量(几TB)的文件,每个文件最多50 MB。由于内存过于昂贵,Memcached不支持这些尺寸,我正在寻找一种基于LRU的解决方案,将其数据保存在HDD上,并且能够在缓存大小和灵活性方面进行水平扩展。Memcached HDD等效
有没有这样的软件?
类似varnish与storage_file的缓存会过于简单吗?
如果您需要更多可扩展,更容易设置的分布式文件系统,我使用了MogileFS(http://danga.com/mogilefs/),并取得了非常好的效果。
AFAIK您可以创建清漆群集,但添加更多服务器并不意味着整体存储容量会增加,因为每个清漆服务器都有自己的缓存。我需要的是一个基于大容量(10TB +)硬盘的LRU缓存存储,我可以根据需要通过添加更多服务器来进行扩展。 – 2012-01-07 20:01:55
是的,你可以用光油和负载均衡来解决它,但是像MogileFS(上面更新的答案)似乎更像是让管理变得更容易。 – 2012-01-07 20:21:32
你真正要求的是分布式文件系统,我认为,因为你并不需要缓存任何东西 - 它不是动态数据。
你可能会考虑这样的事情。 http://learnmongo.com/posts/getting-started-with-mongodb-gridfs/
或者这样的:产生 http://hadoop.apache.org/common/docs/current/hdfs_user_guide.html
如何将这些文件? – 2012-01-07 19:40:11
用户上传的视频。它们存储在单个服务器上,并且不具备可扩展性。我想添加所有服务器的缓存层。 – 2012-01-07 19:55:07