将数据批量/批量加载到Apache Geode（Gemfire）中有哪些选项？

Question

我们需要将数百万个键/值加载到Apache Geode中，我们想知道有哪些可用选项。我们的价值恰巧在256kb的范围内。

Answer 1

有根据您的应用需求/ SLA的，或者是否需要执行转换或其他变换几个选项等

1. 外的开箱，阿帕奇的Geode提供Cache & Region Snapshot Service。例如，当您想要将现有的一个Apache Geode群集中的数据迁移到另一个时，这非常有用。如果您的数据来自外部来源，比如RDBMS，那么它就不那么有用了。

2. 另一种选择是根据需要延迟加载数据。这可以通过使用区域实现CacheLoader interface和registeringCacheLoader来完成。显然，您可以创建一个CacheLoader实现，除了基于当前请求加载和返回单个兴趣值之外，还可以根据某些规则/条件智能加载数据块。

3. 很多时候，用户创建的外部，定制转换过程或工具来提取，转换和批量加载（ETL）一组数据到Apache中的Geode。这在复杂的用例或需求中是典型的。然而，这是非常明智的或者用一个框架/工具，如...

4. Spring XD（现Spring Cloud Data Flow上枢纽的Cloud Foundry的（PCF））是伟大的ETL工具和管道，用于创建基于流的应用程序。 Spring XD/SCDF为“sources”和“sinks”（例如GemFire Server）提供了许多不同的选项。除了来源 & 接收器，你甚至可以“点击”流来处理数据与“Processors”。所以，不管你是做实时数据流或面向批处理的数据操作（如批量加载），春天XD是一个很好的选择。

5. 我相信Google可能会提供关于如何使用像Apache Geode这样的KeyValue商店执行ETL的其他答案。

希望这可以帮助你走。

干杯， 约翰