在clojure中写入大文件到磁盘

Question

我有一个sql查询返回大量的行。我想将查询的结果保存到磁盘上的csv文件中。但是，因为有太多的行在内存用完之前，所有行都可以通过sql查询进行聚合。

它看起来像这样，和查询部分时失败：

(-> query format-transformer csv-writer) 

Answer 1

我想通了从#clojure IRC频道一些帮助。你需要两个库：

(ns myproj.example 
    (:require [[clojure.java.jdbc :as sql] 
      [clojure.data.csv :as csv]])) 

诀窍是处理每一行，因为它返回，然后丢弃它。 java jdbc库具有查询功能，该功能使用:row-fn和:result-set-fn选项提供此功能。

(defn sql->csv [title] 
    (with-open [w (clojure.java.io/writer (str title ".csv") :append true)] 
    (sql/query ds (second query) 
      :row-fn (fn [row] 
         (csv/write-csv w [(mapv str (vals row))])) 
      :result-set-fn dorun))) 

有趣的部分是:row-fn和:result-set-fn。每当从查询返回一行时，:row-fn被调度。每一行都是{:column1 "data" :column2 "data2"}形式的地图。我们将地图更改为write-csv可以使用的内容（嵌套向量）：[(mapv str (:vals row)])。然后write-csv将它附加到您提供的文件中。

:result-set-fn对于不吹你的堆是至关重要的。通过将其设置为dorun，您可以告诉它在处理完成后丢弃头部。

这个特定的实现不提供列标题，这是留给读者的一个练习（我的太尴尬了，在公共论坛上发布）。