cascalog

3热度

1回答

解决谓词符号我有这个疑问： (?<- (hfs-textline data-out :sinkmode :replace) [?item1 ?item2] ((hfs-textline data-in) ?line) (data-line? ?line) (filter-out-data (#(vector (s/split % #",")) ?li

3热度

1回答

使用cascalog将同现计数转化为同现概率

我有一个存储在s3上的同现计数表（其中每行是[key-a，key-b，count]），我想生成共生概率矩阵。为此，我需要计算每个键的计数总和-a，然后将每行除以其键-a的总和。如果我是这样做的“手工”，我会做数据传递产生一个哈希表从键到总数（在leveldb或类似的东西），然后做第二遍数据做师。这听起来不像是一种非常类比的方式来做到这一点。有没有什么办法可以通过做一个自我连接的等价物来获得一

1热度

1回答

Clojure +狐猴

我想使用狐猴+ clojure运行一些多步骤的工作。我有问题将多个输入作为参数传递给clojure +狐猴。至于我的工作，我尝试运行EMR流工作狐猴运行$ {} CONF_DIR /run-pipeline.clj --master实例类型$ {} MASTER_INSTANCE_TYPE --slave-实例 - 第一步键入$ {SLAVE_INSTANCE_TYPE} --num-ins

0热度

1回答

如何禁用Cascalog查询的回显

这是一个howto问题。当我在cascalog.playground区域执行简单的查询时，有很多信息。如何只显示结果到（标准输出）。我需要更新/更改/添加什么设置？谢谢！

1热度

1回答

Jcascalog查询HDFS上的节俭数据

我在lambda体系结构上阅读了Nathan Marz的书。我实际上正在对此解决方案进行概念验证。我难以构建我的Jcascalog查询。这是我们感兴趣的那块我节俭架构： union ArticlePropertyValue { 1: decimal quantity, 2: string name; } union ArticleID { 1: int i

0热度

1回答

Cascalog：启动uberjar和主要在Hadoop

我从喜欢一个文件编译的uberjar： (defmain HadoopTest (:use 'cascalog.api) (defn bla ("alot of code")) 我在Hadoop运行uberjar像： $ hadoop jar myStandalone.jar clojure.main ，我也得到一个REPL ，但该文件没有被执行。我仍然需要手工输入（：使用'cascalog.

1热度

1回答

Cascalog first-n - 无法加入谓词

我正在通过following example在的克隆中使用lein repl。我已经运行： (def src [[1] [3] [2]]) (def queryx (<- [?x ?y] (src ?x) (inc ?x :> ?y))) (?<- (stdout) [?x ?y] (queryx ?x ?y)) -- works (?- (stdout) queryx) ;; p

0热度

2回答

Cascalog可以链接到外部Hadoop集群吗？

我在Eclipse上使用Cascalog。它看起来像在项目project.clj文件中提供了类似下面 :profiles { :dev {:dependencies [[org.apache.hadoop/hadoop-core "1.1.2"]]}} 在Hadoop的依赖，如果我要包括本地安装Hadoop的单节点集群或一些外部的Hadoop集群的依赖我应该做的 - 如何？如果是本地的，我应

2热度

1回答

为左外连接提供默认值

我想知道在cascalog中为可能为null的字段进行外连接时指定默认值的最佳方式是什么。 (def example-query (<- [?id ?fname ?lname !days-active] (users :> ?id ?fname ?lname) (active :> ?fname ?lname !days-active)) 在这个例子中用户和活

4热度

1回答

Cascalog deffilterop vs纯clojure

使用deffilterop和使用钱包clojure功能之间有差异，性能或其他方式吗？ http://nathanmarz.com/blog/introducing-cascalog-a-clojure-based-query-language-for-hado.html提到，滤波可以与例如Clojure函数（<？AGE2岁？AGE-1），然而在寻找https://github.com/nathan