我正在从动态导出海量数据集到弹性搜索。 以下是步骤:弹性搜索批量上传随着时间的推移而减慢
- 从SQL获取数据(我正在使用实体框架)。我们将主要类型命名为联系人。
- 然后,我按定义的大小对数据进行分组并将其序列化。
- 根据ES Docs批量上传的格式数据
- 调用HttpPost并将数据发送到ES端点。
我正在做广泛的日志记录所需的时间和任何错误。
这一切工作,我的出口在一小时内出口数据。
也就是说,我观察到HttpPost的响应时间不断增加。我已经寻找任何我可以拥有的内存泄漏,或者我应该处理的任何内存泄漏。我想确保它不会在以后困扰我。
那么,响应时间增加的可能原因是什么? 我应该如何去调查这个问题?
这对我有用。我基本上找到了批量上传的最佳位置。 – Alok