我面临来自客户端的可以包含数十万行的CSV文件。是否有DSL(或Java或Python中广受欢迎的库)可以高效地运行这些信息的计算,应用各种规则发出警告和错误(当然,用户可配置)?是否有用于数据完整性验证的标准DSL?
3
A
回答
1
你能想象一个DSL可以做到吗?规则将如何?
几个月前,我曾经研究过这样的问题 - 最终证明比起来似乎更难。
第一步是显而易见的 - 所有 行被解析并放置到 特殊数据钢结构制品,所以我能 与他们合作;与 缺少字段的人被抛出。
每一行有其当前的“战略” 财产,以及可能 策略列表(默认操作,忽略, 力,覆盖等)
起初,所有行有自己的“战略” 属性设置为“默认”。
行处理器检查操作是否为 可能,创建错误列表 和警告。
- 处理 和分析结果的每一行是 导致问题被赋予了 替代策略,用户可以选择 列表之后;
所以,如果有任何问题,用户可以更改该行策略(或者只是简单地使用“忽略”),并返回到步骤4
所以,我在哪一步会好奇这样的DSL工作?
+0
我沿着断言线描绘了一些东西,这些东西不一定会在应用程序中启用修复它们的动作。这是一个完整性检查脚本,因此必须在报告端执行操作,而不是应用程序本身。例如:''付费项目数量<=“报告项目数量”或者失败,并且“报告项目少于付费项目”。'要调用一个函数,可能:'“家庭电话号码”格式化为“电话“或警告”家庭电话号码格式不正确“ – syrion 2011-06-28 21:02:55
相关问题
- 1. 请求验证/数据完整性
- 2. 什么是将数据完整性验证错误传播给用户的好方法/标准方法?
- 3. xinetd是否保留数据完整性?
- 4. 验证JAR文件的完整性是否必要?
- 5. 是否可以验证Browser-Javascript会话的完整性?
- 6. 是否存在适用于所有数据库的标准sql
- 7. HDFS中的数据完整性:哪些数据节点验证校验和?
- 8. 验证Android和PHP之间的文件数据完整性
- 9. 有没有Rails验证数据库参照完整性的工具?
- 10. 客户数据是否有标准?
- 11. 验证文件的完整性?
- 12. 数据库标准化验证
- 13. 是否有可用于验证码
- 14. 是否有数据完整性测试软件?
- 15. 安装AEM/cq5是否有任何验证过程/完整性检查?
- 16. 查询DSL中的“DSL”的完整形式 - 弹性搜索
- 17. 是否有任何标准图形数据结构可用于基准测试?
- 18. 标准NS3协议标题示例是否完整?
- 19. C++中是否有64位整数的“标准”htonl函数?
- 20. 快速文件完整性验证
- 21. iPhone的SQLite实现是否支持完整的SQLite 3标准?
- 22. 验证的准确性总是大于Keras中的训练准确性
- 23. videoFrameSize属性是否有标准格式?
- 24. 是否有用于记录GET/POST参数的标准?
- 25. 是否有用于转义HTML的Delphi标准函数?
- 26. 术语“数据完整性”和“数据质量”之间是否有区别?
- 27. SQL:验证所有表的参照完整性的查询
- 28. 完整的Xml验证
- 29. MySQL数据的完整性?
- 30. 批处理标准化是否适用于平衡数据集?
Python有一个标准的csv模块内置。 http://docs.python.org/library/csv.html – 2011-06-28 13:33:04
我知道'csv'模块并广泛使用它,但它没有提供基于输入的数据规则的语法。我可以用纯Python编写它,但是与(例如)Excel公式相比,这有点痛苦。我希望能够设置几十条规则,然后遍历每行。规则越可读,越好。 – syrion 2011-06-28 13:54:45