1
除了使用IDataStreamer
和IBinaryObject
来减少在Apache Ignite.NET中的插入时间之外,还可以做些什么其他事情?是否有可能获得显着的性能提升,或者达到这个效果?Apache Ignite:如何提高插入性能?
我使用:
- .NET
- 41个查询字段:1个字符串字段和每行40个浮点字段
IBinaryObject
/WithKeepBinary
IDataStreamer
- 默认JVM设置
- 分区缓存
- 没有持久性
这里是我的IDataStreamer
的用法:
using (var ds = m_ignite.GetDataStreamer<string, IBinaryObject>(CacheName)) {
foreach (var binaryRow in rows.Select(r => BuildRow(r))) {
var key = binaryRow.GetField<string>(PrimaryKeyName);
ds.AddData(key, binaryRow);
}
}
性能测试结果:(5个节点都具有相同的规格)
BenchmarkDotNet=v0.10.8, OS=Windows 8.1 (6.3.9600)
Processor=Intel Xeon CPU E5-2698 v4 2.20GHz Intel Xeon CPU E5-2698 v4 2.20GHz, ProcessorCount=4
Frequency=14318180 Hz, Resolution=69.8413 ns, Timer=HPET
[Host] : Clr 4.0.30319.42000, 64bit RyuJIT-v4.7.2053.0
Job-UZDKMF : Clr 4.0.30319.42000, 64bit RyuJIT-v4.7.2053.0
RunStrategy=Monitoring TargetCount=1
NumRows Mean (ms) Per Row (ms/row)
10 359.50* 35.95*
100 465.50* 4.66*
1,000 797.80* 0.80*
10,000 4,479.80 0.45
100,000 37,611.60 0.38
500,000 184,640.00 0.37
1,000,000 366,801.40 0.37
2,000,000 732,562.40 0.37
4,000,000 1,458,913.60 0.36
*Measurement is larger because it also measures some lightweight work before inserting the rows
任何提示,提示或文档离子是赞赏。谢谢!
感谢@ptupitsyn。通过做1,2和3,它减少了14.6%的加载时间。上面我的性能指标中最多的时间是由于某些序列化将原始数据转换为列,我将尝试在StreamReceiver中进行处理,而不是在前期处理。 – Charlie