55 gig - 逗号分隔的文件 - 读入mysql DB

Question

有关如何打开此文件的任何想法？

我没有选择这个文件的大小。

其正常的文字数据

我不能分手的原因，该文件是因为它是远程存储和我唯一能做的就是在其上运行的SQL语句

请帮助！

Answer 1

对于Windows，有一个名为“thegun”的真正旧应用程序，可以打开任何大小的文件。在linux/mac下你可以使用更少的/ head/tail，甚至可以使用“dd”。

Answer 2

你有什么协议可用于打开文件？

55G文件听起来不太糟糕，你可以下载它并在本地处理它吗？

很明显，如果数据提供者制作更小的文件会更好;一个非常大的文件很难处理。

我可能会建议使用rsync（如果可以的话），因为如果传输失败（如果它来自远程站点，我将花费几个小时）。

这些文件生成的频率如何？你可以让派生它们来创建三角洲吗？这可能是一个更好的方法来处理它（假设数据并非每次都是全新的）

Answer 3

您是在寻找LOAD DATA INFILE？

Answer 4

一旦你下载了这个文件，你可能会考虑将它分成更易于管理的块。当然，你最终可能会有100个文件，当然，还有文件中间分割的风险，但是，嘿，这是一个选项！

快速搜索通过分步说明获得以下链接here。该链接提到它支持分裂非常大的文件（> 4GB），这引起了我的注意。