streamsets

1热度

1回答

使用Cloudera Manager（5.8.2）将StreamSets从2.1.0.2升级到2.4.0.0。我无法登录到StreamSets - 我得到“登录失败”。新版本似乎使用不同的LDAP查找方法。我的日志前更新看起来如下： 10年3月15日：42：07.799 AM信息com.streamsets.datacollector.http.LdapLoginModule 搜索与过滤器的用户

1热度

1回答

我可以使用任何API在StreamSet中映射表列吗？

我需要在Stream Set管道中映射10000个列表并需要从（csv）文件向其发送数据。因此，通过提及列名称来映射流集应用程序中的每个列对于10000列来说是非常大的任务。所以任何人都可以回答什么是实现它的任何其他简单方法？或者我可以通过使用其REST API来实现它吗？在此先感谢。

1热度

1回答

将数据发布到SDC来自JavaScript的HTTP服务器URL显示CORS问题

我正在使用Streamsets管道从浏览器传输数据。为此，我创建了一个HTTP服务器源的管道，以便从浏览器的Javascript中发布数据，并尝试使用REST客户端在该URL中写入数据，并成功写入。响应头文件已经在SDC.properties文件中设置。 http.access.control.allow.origin=* http.access.control.allow.headers=or

1热度

1回答

StreamSets来自MySQL的预览数据错误

我曾试图使用StreamSets查询MySQL数据库并将数据发布到Elasticsearch（localhost）。我在我的Mac上下载了StreamSets的tarball，并将其解压缩到我的主目录中。在我第一次尝试时运行StreamSets dc，然后我按照这里的说明添加了jdbc驱动程序，然后在这里指示配置我的StreamSets作业。但是，我得到一个错误： JDBC_00 - Canno

2热度

1回答

Streamsets代码背后

我有兴趣在Streamsets上工作。但是，我想将我的代码集成到不支持UI的代码中。它们是如何写入的，我可以访问目录和文件尾部的代码。如果他们使用Spark流或其他技术？

1热度

1回答

流集中的jdbc生产者的问题

我正在尝试使用Streamsets pipeline将数据从本地目录迁移到mysql数据库。虽然预览数据在控制台上，但未写入到mysql db。显示没有错误但仍然数据的管道未写入db.如果有人在Streamsets上工作，请帮我解决这个问题？

1热度

1回答

Streamsets类未找到异常

我在streamsets中构建了一个管道，以从我的sql中读取数据并更改数据捕获。当我开始执行管道时，出现以下错误。流水线状态：START_ERROR：java.lang.NoClassDefFoundError：组织/阿帕奇/卡夫卡/普通/ KafkaException

0热度

2回答

我只有我的mapr-db json表中的行键

我不知道它是否是mapr-db json的常见问题。我使用一个Streamsets目的地，这是一个Mapr-DB json表来推送包含10列的记录。我确定第一列成为行键。当我去 mapr dbshell find /tmp/my_table 我只看到JSON行密钥而不是其他列 {"_id":"mykey1"} {"_id":"mykey2"} {"_id":"mykey3"} {"_

0热度

1回答

Streamsets阶段的记录数

我使用Streamsets从Oracle向ElasticSearch提取记录。我想在maprDB目标中注册我在oracle查询中处理每个步骤的记录数。我怎样才能在特定的流式设置阶段获得记录的数量？

0热度

1回答

NiFi或Streamsets从HBase读取，加入平面文件中的内容并写入Hive

试图找出是否可以通过apache NiFi或Streamsets实现连接。所以我可以定期从HBase中读取数据，并与其他表格一起写入Hive表格。或者是否有任何其他工作流管理器工具支持此操作？