apache-beam

1热度

1回答

我想让我的滑块缩放比例的句柄给出滑块范围的视觉判断（例如大多数浏览器中的滚动条）。做了一点谷歌搜索，答案似乎是修改.ui-slider-handle类。我已经做到了这一点，并把手现在运行的路要走结束：这是我使用的设置滑块代码： var range = 2 + Math.floor(Math.random() * 10); $('#slider').slider({max: range})

0热度

1回答

为什么GroupByKey在束流管道中复制元素（在Google Dataflow上运行时）？

背景我们有一个管道，它从PubSub接收消息开始，每个消息都有一个文件名。这些文件被分解到行级别，解析为JSON对象节点，然后发送到外部解码服务（解码一些编码数据）。对象节点最终转换为表行并写入Big Query。看来，直到他们到达解码服务数据流不承认PubSub的消息。解码服务速度很慢，导致许多邮件一次发送时出现积压。这意味着与PubSub消息相关联的行可能需要一些时间才能到达解码服务。结果

0热度

1回答

修改单个BigQuery列并写入新表

我想修改BigQuery中的单个列，并将更新的数据写入新表，而无需手动保留所有其他列。我能做到，我想用下面的代码做什么： row = p | 'ReadFromBigQuery' >> beam.io.Read(beam.io.BigQuerySource(query=query)) new_row = row | beam.Map(lambda x: (x["col1"], x["col2"

0热度

1回答

数据流水线中的外部Python依赖关系

python依赖关系可以加载到谷歌云数据流管道中吗？我想使用gensim's phrase modeler，它逐行读取数据以自动检测常用短语/双字母（两个频繁出现在彼此旁边的单词）。因此，管道的第一次运行将传递每个句子到这个短语建模器。然后，通过管道的第二遍将采用相同的短语建模器，并将这个短语建模器应用于每个句子，以识别应该一起建模的短语（如果“机器”和“学习”经常在语料库中彼此相邻出现，他们将被

3热度

1回答

如何使用Java Beam SDK获取数据流作业的步骤详细信息？

我正在为我的数据流作业使用Java Beam SDK，而com.google.api.services.dataflow.model.Job类提供了有关特定作业的详细信息。然而，它不提供任何方法/属性来获取数据流步骤的信息，例如元素的加入，估计大小等下面是我用得到这份工作的代码信息， PipelineResult result = p.run(); String jobId = ((Dat

1热度

1回答

ParDo内DoFn的状态

我们有什么能够提供DoFn的完成状态，就像函数完成它的执行一样吗？我们是否可以生成任何触发器或任何可以公正地完成DoFn函数内部所有步骤的公平想法？任何帮助将不胜感激。

0热度

1回答

Dataflow GroupBy - >基于密钥的多个输出

有什么简单的方法可以将GroupBy的输出重定向到基于组密钥的多个输出文件？ Bin.apply(GroupByKey.<String, KV<Long,Iterable<TableRow>>>create()) .apply(ParDo.named("Print Bins").of(...) .apply(TextIO.Write.to(*Output file based on key*)

0热度

1回答

go1.7不reconizing供应商目录

我有我试图vendorize包。它使用capnproto2软件包。它建立没有错误时，包是在$ GOPATH/src目录/ zombiezen.com /去/ capnproto2但是当我移动到我的供应商目录失败。我的项目位于我的GOPATH下。 $ go build ../fram/rim/fsd.go:7:8: cannot find package "zombiezen.com/go/cap

1热度

1回答

在执行BigQueryIO.write（）时获取/设置BigQuery作业ID

是否可以设置BigQuery作业ID或在批处理管道运行时获取它。我知道使用BigQuery API是可能的，但是如果我使用Apache Beam中的BigQueryIO，可以吗？在写入BigQuery之后，我需要发送一个确认，确认加载完成。

0热度

1回答

试图使用semget（）来获取信号量集，但我仍然收到EEXIST错误，即使我做了一个新的密钥

所以我目前正在编写一个服务器/客户端程序，将采取三个命令（HI，PID和GOODBYE）并相应地处理它们。我似乎遇到了一些麻烦，在我的server.c代码中使用了semget（）。我得到的错误是“EEXIST”，根据手册页说，密钥已经存在（duh lol） - 事情是，我不断手动每次更改密钥，它仍然给我错误。我在这里没有理解什么吗？它似乎也适用于client.c代码。你们有没有想过为什么我会遇到