spark-kaka

1热度

1回答

启用Apache火花和卡夫卡经纪人之间的SSL

我想在我的Apache Spark 1.4.1和卡夫卡0.9.0.0之间启用SSL，我正在使用spark-streaming-kafka_2.10 Jar连接到卡夫卡，并且我正在使用KafkaUtils.createDirectStream方法读取数据来自卡夫卡的话题。最初，我得到了OOM问题，我通过增加驱动程序内存来​​解决它，之后我看到下面的问题，我已经做了一点阅读，发现spark-strea

ssl apache-spark kafka-consumer-api spark-kaka kafka-directconsumer 2016-10-25

---

0热度

1回答

如何保存卡夫卡星火消息流数据帧到单个文件

如何保存卡夫卡星火消息流数据帧到单个文件 我已经制定，这将消耗使用Kafka-星火流过程中的信息的应用程序。 一旦收到数据，它就会转换成数据帧。 然后流式数据帧被保存为文本文件，这里数据帧被保存到每个文件中，用于每个kafka流消息，下面是我用于将数据保存为文本文件的代码，这是保存数据为每条消息添加多个文本文件。 DF.coalesce(1).write.format("com.databrick

hadoop apache-spark spark-dataframe spark-streaming spark-kaka 2017-10-12

---

0热度

1回答

用Kafka-Spark集成找不到集合（[topic，0]）的领导者

我正在尝试使用用于Kafka-Spark集成的SSL。我已经测试了卡夫卡启用了SSL，它与样本消费者和生产者完全合作。 而且，我已经试过星火整合 - 卡夫卡没有火花工作 SSL完成时也没有工作的问题。 现在，当我使SSL在火花工作我得到一个异常和集成不起作用。 的ONLY变化我没有让SSL在火花工作是包括在我的工作，下面的代码行： sparkConf.set("security.protocol"

ssl apache-spark apache-kafka spark-streaming spark-kaka 2017-05-24

---