谷歌的Hadoop文件系统加密

在正常运行中一个可以提供加密密钥，以谷歌的存储API来加密给定存储桶/ BLOB： https://cloud.google.com/compute/docs/disks/customer-supplied-encryption 谷歌的Hadoop文件系统加密

这是可能的火花/ Hadoop作业的“对飞”输出？

说我们要加密的火花的输出写入

df.write().format("json").save("gs:///somebucket/output");

这可能吗？

2017-02-20 devl

如果您询问客户提供的加密密钥是否在Cloud Dataproc上当前可用，答案是否定的。 Here是Google在休息时加密的当前产品选项列表。

如果您只是想要加密Spark写入的输出，您仍然可以使用Google的云端KMS在应用程序层进行加密。 Here's a codelab这样做在谷歌云存储（这看起来像你在做什么上面的命令）。 请注意，客户内容默认在存储层在Google云平台上进行了静态加密，因此这是另一层保护。

2017-05-10 14:02:53

回答