Обмін даними Google Cloud Cloud Storage

Somasundaram Sekar 03/03/2017. 2 answers, 221 views
google-cloud-storage google-cloud-storage google-cloud-dataflow google-cloud-dataflow google-cloud-dataproc google-cloud-dataproc apache-beam

введіть опис зображення тут Над еталонною архітектурою вказується наявність раковини хмарного сховища з потоку Cloud Cloud, проте API Beam, який, як видається, є поточним стандартним API потоку даних, не має переліку вхідних / вихідних даних Cloud Storage.

введіть опис зображення тут

Чи може хто-небудь допомогти прояснити, чи існує такий, що існує, якщо не те, що є альтернативою для надходження даних із потоку даних у Cloud Storage.

2 Answers


Graham Polley 03/03/2017.

Промінь підтримує запис / читання з GCS. Ви просто використовуєте клас TextIO .

https://beam.apache.org/documentation/sdks/javadoc/0.2.0-incubating/org/apache/beam/sdk/io/TextIO.html

Щоб прочитати ПК-збірку з одного або декількох текстових файлів, використовуйте TextIO.Read. Ви можете виконати екземпляр перетворення, використовуючи TextIO.Read.from (String), щоб вказати шлях до файлів, з яких слід читати, (наприклад, локальне ім'я файлу чи шаблон назви файлів, якщо він працює локально, або ім'я файлу Google Cloud Storage або шаблон назви файла форма "gs: ///" ).


chamikara 03/03/2017.

Ви можете використовувати TextIO, AvroIO або будь-який інший роз'єм, який зчитує / записує до файлів для взаємодії з GCS. Промінь ідентифікує будь-який шлях до файлу, який починається з "gs: //" для GCS. Бей робить це за допомогою інтерфейсу Pluggable FileSystem [1].

[1] https://github.com/apache/beam/blob/master/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/storage /GcsFileSystem.java

Related questions

Hot questions

Language

Popular Tags