2017-10-14 46 views
0

我无法运行示例wordcount数据流。一个错误出现:Google DataFlow无法在存储区中写入

(venv) [email protected]:$ python -m apache_beam.examples.wordcount \ 
       --project "$PROJECT" --runner DataflowRunner \ 
       --staging_location $BUCKET/staging \ 
       --temp_location $BUCKET/tmp \ 
       --output $BUCKET/results/output 

IOError: Could not upload to GCS path gs://prova_df/staging/beamapp-dh4-1014444431-510588.1505555051.55555: access denied. Please verify that credentials are valid and that you have write access to the specified path.

但是我对这个桶没有权限问题:

(venv) [email protected]:$ gsutil cp paraules.txt gs://prova_df 
Copying file://paraules.txt [Content-Type=text/plain]... 
- [1 files][ 24.0 B/ 24.0 B]             
Operation completed over 1 objects/24.0 B. 

一些额外的信息:

  • 我可以创建Web界面桶文件夹
  • 我检查了两次启用的API,都似乎正确。
  • 我有owner project roleservice account
  • I rm ~/.gsutil/credstore确保没有缓存凭证。
  • 我正在使用json export GOOGLE_APPLICATION_CREDENTIALS
  • Complete stack error at pastebin保持帖子干净。

回答

2

写完这个问题后,我关了笔记本电脑,然后去散步。我拍了一张章鱼的照片。

enter image description here

然后我回来办公室,重新启​​动笔记本电脑,当我尝试同样没有变化配置的任何一行都不代码,它的工作原理没有问题:

enter image description here

然后,看起来需要一段时间来启用所有资源。只要有耐心,去寻找章鱼(用你的相机)

相关问题