elasticsearch-spark

3热度

1回答

如何在使用Elasticsearch中的elasticsearch-spark从Elasticsearch读取数据时的类型转换

当我尝试使用elasticsearch-spark中的esRDD("index")函数从elasticsearch中读取数据时，我得到的结果类型为org.apache.spark.rdd.RDD[(String, scala.collection.Map[String,AnyRef])]。当我检查这些值时，它们都是AnyRef。但是，我看到在ES site，它说： elasticsearch-Ha

1热度

2回答

如何根据查询字符串（在ASP .NET中）加载特定的数据？

这里是场景：我在该母版页中有1个母版页和网页表单，所有这些表单都被视为模块。现在每个模块都有子菜单。如main.master abc.aspx，xyz.aspx，uvw.aspx abc.aspx的子菜单会是这样abc.aspx？P =视频，abc.aspx 2 P =坎等等我想加载abc.aspx的内容DIV？p =家庭的数据或其他如何做到这一点... 我做了什么创建了一个检查R的函数

-2热度

2回答

没有斜杠存储在mysql表

这是我的代码的简化版本。我试图达到的是，我想插入图像路径到数据库表。我使用了常量DIRECTORY_SEPERATOR，我也使用PDO。 $tmp = $_FILES['file1']['tmp_name']; $name = $_FILES['file1']['name']; $path = getcwd() . DIRECTORY_SEPARATOR . 'images' . DIRECT

1热度

1回答

Spark +弹性搜索写入性能问题

使用spark java查看对elasticsearch的低写入次数。下面是使用13.xlarge机ES群集配置 4 instances each have 4 processors. Set refresh interval to -1 and replications to '0' and other basic configurations required for better wr

0热度

1回答

Elasticsearch 5.0和Elasticsearch星火连接器 - 什么是正确的行家假象

在编写应用程序在运行Apache星火1.6使用Elasticsearch星火连接器，文件在（https://www.elastic.co/guide/en/elasticsearch/hadoop/5.0/install.html#_minimalistic_binaries）说，使用maven的假象 <dependency> <groupId>org.elasticsearch</groupId

0热度

1回答

从elasticsearch-spark检索指标

在ETL级联作业结束时，我使用Hadoop metrics提取有关Elasticsearch摄取的度量标准，elasticsearch-hadoop使用Hadoop计数器公开。我想用Spark做同样的事情，但是我没有找到与使用Spark connector的指标有关的文档。并不总是，但通常我们要在EMR中执行作业（Hadoop），因此Spark connector可能与使用Cascading连

0热度

1回答

Elasticsearch hadoop配置批量批量大小

我读过可能的Stackoverflow es-hadoop/es-spark项目使用批量索引。如果它是默认的批量大小是根据BulkProcessor（5Mb）。有没有任何配置可以改变这一点。我在我的代码中使用JavaEsSparkSQL.saveToEs(dataset,index)，我想知道可用的配置是否可用来调整性能。这也与数据集的分区有关。它们的配置页 es.batch.size.byte

3热度

4回答

Java JFrame和程序流程

当我使用JFrame创建一个简单的程序时，从setVisible方法为true的那一刻开始，无论我如何处理该框架，程序都不会退出。是否有人可以向我解释流程？谢谢

0热度

1回答

从Elasticsearch中读取Spark获取精确字段

我对ElasticSearch非常陌生：我正尝试使用Java中的Spark从索引中读取数据。我有一段代码，但它返回的数据集内的文档只有文档的两个“根”元素，而所有其余数据都以JSON格式存储在这些列内。这是我的代码： SparkConf sparkConf = new SparkConf(true); sparkConf.setAppName(Test.class.getName()

1热度

1回答

Flex：根据事件动态添加效果

是否可以向Flex组件添加基于事件的效果（showEffect，hideEffect，addedEffect，...）？我们可以在MXML声明进行注册 <s:TitleWindow showEffect="{myShowEffect}"/> 我可以做在AS代码相同的（如的setStyle（）的风格）？谢谢！