apache-beam

0热度

2回答

我检查了很多答案，但我仍然在寻找解决方案。案例1： <div id="vsImage" itemprop="image" data-zoom-src="http://example.com/product/760x1013/V373872.jpg"/> 案例2： <a href="#"><img src="http://example.com/product/760x1013/V373872

0热度

2回答

从Apache Beam管道收集输出并将其显示到控制台

我一直在为Apache Beam工作几天。我想快速迭代我正在工作的应用程序，并确保我构建的管道没有错误。在火花中，我们可以使用sc.parallelise，当我们应用某些操作时，我们可以获得我们可以检查的值。同样，当我读到关于Apache梁，我发现，我们可以创建一个PCollection与它使用下面的语法 with beam.Pipeline() as pipeline: lines

-1热度

3回答

从外部更改应用程序图标和名称

是否有任何方法可以从外部资源（例如嵌入项目中assets/文件夹内的图像）设置应用程序图标和名称？或者有什么办法让我们设置图标和应用程序的名称，而不使用AndroidManifest.xml文件？

0热度

2回答

工作流失败。原因：（35af2d4d3e5569e4）：数据流似乎卡住

我正在使用Google Dataflow Service为ETL运行一些apache-beam脚本。最初完成需要4-5分钟才能完成的作业，但是现在一小时后它们会失败并出现以下错误。工作流失败。原因：（35af2d4d3e5569e4）：Dataflow似乎卡住了。看来，这项工作并没有真正开始。我正在通过使用Python SDK 2.1.0执行它作为this问题的答案切换SDK的问题，我尝试

0热度

1回答

从数据流1.9到2.0/2.1的意外行为更改

对于非常简单的管道，我们发现Dataflow SDK 1.9和2.0/2.1之间存在非常奇怪的差异。我们有CoGroupByKey步骤，通过它们的键连接两个PCollections并输出两个PCollections（通过TupleTags）。例如，一个PCollection可能包含{“str1”，“str2”}，另一个可能包含{“str3”}。这两个PCollections被写入GCS（位于不

0热度

1回答

从扳手读取谷歌数据流

我想从谷歌的扳手数据库中读取表格，并将其写入文本文件做一个备份，使用谷歌数据流与python sdk。我写了下面的脚本： from __future__ import absolute_import import argparse import itertools import logging import re import time import datetime as dt

1热度

1回答

Apache Beam窗口和分片BigQuery输出表格

我的用例很简单：从Pub/Sub订阅中读取事件日志，解析它们并保存到BigQuery中。由于事件数量预计会显着增加，我使用无限数据源，因此我决定在BigQuery中配置分片：根据事件数据的时间戳将事件存储到日常表格中（Beam文档中称为“事件时间”），。我的问题是我需要配置窗口在我的情况下，或者我可以保留隐式使用全局窗口的默认配置？我问的原因是因为我发现大部分BigQuery分片的例子都假设

1热度

1回答

数据流模板中的动态bigquery查询

我写了一个Dataflow作业，当我手动运行它时效果很好。下面是相关部分（为清楚起见移除了一些验证码）： parser.add_argument('--end_datetime', dest='end_datetime') known_args, pipeline_args = parser.parse_known_args(argv) query = <redacted

0热度

1回答

无法列出（特定）文件夹内的文件

因此，我遵循Google Documents，我使用Google API工作，但它只列出了我在Google Drive上打开的最近10个文件。如何让它从列出文件并非所有的文件？

0热度

2回答

为更高分辨率（1024 * 768或更高）无法以较低分辨率（800 * 600）工作的Flex 3应用程序

我已经使用adobe flex 3开发了一个应用程序。此应用程序中有许多自定义组件。假设最小屏幕分辨率为1024 * 768，因此我开发了这款产品，因此我使用硬编码宽度很少的组件。但是，我了解到客户端在分辨率为800 * 600的投影机上使用该产品。当我试着在800 * 600分辨率下运行应用程序时，我无法使用该应用程序，因为很少看到完整的屏幕。我预测如果将应用程序设置为800 * 600，