google-cloud-dataproc

1热度

1回答

我正在尝试编写一个简单的vanilla协作过滤应用程序，运行在Google Cloud Dataproc上。该数据位于BigQuery中。我已经实现了这个根据本教程：https://cloud.google.com/dataproc/docs/tutorials/bigquery-sparkml 现在的问题是，当运行这个（稍加修改）的例子，我得到一个IllegalStateException。

1热度

1回答

错误：启动Dataproc集群时资源项目中的权限被拒绝

我成功地通过gcloud dataproc clusters create...手动创建一个数据集群来启动数据集群。但是，当我尝试通过脚本（自动提供并停止集群）启动一个脚本时，它说ERROR: (gcloud.dataproc.clusters.create) PERMISSION_DENIED: Permission denied on resource project hail-test-pr

7热度

2回答

Google Cloud Dataflow和Google Cloud Dataproc有什么区别？

我正在使用Google Data Flow来实施ETL数据仓库解决方案。展望谷歌云产品，似乎DataProc也可以做同样的事情。它似乎DataProc比DataFlow便宜一点。有谁知道数据流超过DataProc 的优点/缺点，为什么谷歌同时提供？

1热度

2回答

什么样的RDDS的火花可以保存到使用saveAsNewAPIHadoopDataset

BigQuery资料表在Using the BigQuery Connector with Spark // Perform word count. val wordCounts = (tableData .map(entry => convertToTuple(entry._2)) .reduceByKey(_ + _)) // Write data back into

1热度

1回答

如何在多个节点上正确地并行化pyspark作业并避免内存问题？

我目前正在研究PySpark作业（Spark 2.2.0），它打算根据一组文档训练潜在Dirichlet分配模型。输入文档作为位于Google云端存储上的CSV文件提供。以下代码在单个节点上成功运行Google Cloud Dataproc集群（4vCPU/15GB内存），文档的一个小子集（〜6500），生成的主题数量较少（10），数量较少迭代（100）。然而，对于主题数量或迭代次数较多的文档

0热度

1回答

通过dataproc工作流程模板传递参数

据我所知，dataproc工作流程模板仍处于测试阶段，但您如何通过添加作业将参数传递到可执行文件sql？这是一个基本的例子： #/bin/bash DATE_PARTITION=$1 echo DatePartition: $DATE_PARTITION # sample job gcloud beta dataproc workflow-templates add-job hiv

0热度

1回答

YARN保留内存问题

当使用带YARN的FIFO调度程序时（FIFO默认是正确的？），我发现YARN保留一些内存/ CPU来运行应用程序。我们的应用程序不需要保留任何这些内容，因为我们希望固定数量的内核根据用户的帐户执行任务。这个保留的内存使我们的计算不准确，所以我想知道是否有任何方法可以解决这个问题。如果不能删除它，我们正在尝试扩展集群（我们正在使用GCP上的dataproc），但没有正常的停用，缩小集群正在关闭作业

0热度

1回答

Dataproc PySpark工人无权使用gsutil

在Dataproc我设置一个PySpark集群1主节点和2名工人。在桶中我有文件的子目录的目录。在Datalab笔记本我跑 import subprocess all_parent_direcotry = subprocess.Popen("gsutil ls gs://parent-directories ",shell=True,stdout=subprocess.PIPE).stdout

0热度

1回答

错误的解决方案是什么，“JBlas不是包或apache的成员”？

我试图从这两个线程（ this和this）线程中解决它，它在我自己的虚拟机上为我工作，但在云计算机数据表中无效。我为他们做了同样的过程。但云中的错误与之前在虚拟机中的错误相同。在云上应该做些什么来解决它？

0热度

1回答

Airflow DataProcPySparkOperator不考虑全球区域以外的集群

我正在使用DataProcPySparkOperator执行一些操作。此运算符仅将集群名称作为参数，不存在指定区域的选项，默认情况下它将集群视为全局区域。对于不是全球其他地区集群，出现以下错误： googleapiclient.errors.HttpError: https://dataproc.googleapis.com/v1/projects//regions/global/jobs:su