阅读从GCS文件在Apache的梁

Question

我需要阅读从GCS桶的文件。我知道我将不得不使用GCS API /客户端库，但我无法找到与此相关的任何实例。

我一直在参考GCS文档中的链接： GCS Client Libraries。但无法真正发挥作用。如果有人能提供一个真正有用的例子。 谢谢。

Answer 1

确定。如果你想简单地从GCS读取文件，而不是作为一个PCollection但作为普通的文件，如果您有与GCS Java客户端库的麻烦，你也可以使用Apache梁FileSystems API：

首先，你需要确保你有你的pom.xml上beam-sdks-java-extensions-google-cloud-platform-core一个Maven依赖它包含实施gs://文件系统：

<dependency> 
    <groupId>org.apache.beam</groupId> 
    <artifactId>beam-sdks-java-extensions-google-cloud-platform-core</artifactId> 
</dependency> 

然后设置文件系统API（它在默认情况下所有管线设置，但如果你”重新在管道外使用它，你需要手动完成）。

PipelineOptions options = PipelineOptionsFactory.create(); 
// ...Optionally fill in options such as GCP credentials... 
// (see GcpOptions class) 
FileSystems.setDefaultPipelineOptions(options); 

然后你可以使用它：

ReadableByteChannel chan = FileSystems.open(FileSystems.matchNewResource(
    "gs://path/to/your/file", false /* is_directory */)); 
try (InputStream stream = Channels.newInputStream(chan)) { 
    // Use regular Java utilities to work with the input stream. 
}