Що таке Apache Beam? [ЗАЧИНЕНО]

Viswa 02/08/2016. 2 answers, 11.776 views
apache-beam

Я проходив через повідомлення в Apache і знайшов новий термін, що називається Beam. Чи може хто-небудь пояснити, що саме являє собою Apache Beam? Я намагався вийти з Google, але не міг отримати чітку відповідь.

2 Comments
3 Jens 02/08/2016
3 Joel 02/10/2016
Найближчим до неї є Іскра (як партія, так і потокове). Ось гарне порівняння між Apache Beam (раніше називається Google DataFlow) та обробкою Spark cloud.google.com/dataflow/blog/...

2 Answers


Frances 01/10/2017.

Apache Beam - це відкрите джерело, уніфікована модель для визначення та виконання як пакетних, так і потокових даних, паралельних обробки трубопроводів, а також набір специфічних для мови SDK для конструювання трубопроводів і конкретних Runner-розрядів для їх виконання.

History: модель позаду Beam розвивалася з ряду внутрішніх проектів обробки даних Google, включаючи MapReduce , FlumeJava та Millwheel . Ця модель спочатку була відома як " Dataflow Model " і вперше була реалізована як Cloud Cloud Flow - включаючи Java SDK на GitHub для написання конвеєрів та повністю керованої служби для їх виконання в Google Cloud Platform. Інші в спільноті почали писати розширення, включаючи Spark Runner , Flink Runner і Scala SDK . У січні 2016 року Google та ряд партнерів представили частину моделі програмування даних і SDK як пропозицію інкубатора Apache під назвою Apache Beam (обробка уніфікованої пакетної + strEAM). Apache Beam закінчив інкубацію в грудні 2016 року.

Додаткові ресурси для вивчення моделі Beam:

2 comments
Minudika 02/28/2016
Привіт, я стежив за цією проблемою issues.apache.org/jira/browse/ZEPPELIN-682, який був прихильний до GSOC 2016. Чи можете ви надати мені деякі ресурси, щоб ознайомитись з Apache Beam? Дякую
Pierre Mage 02/28/2016
@Minudika Apache Beam Java SDK, ймовірно, не буде доступний до березня-травня 2016 року і Python SDK до літа 2016 року. Ви, мабуть, повинні почати там: mail-archives.apache.org/mod_mbox/incubator-beam-dev/...

nealmcb 06/21/2017.

Apache Beam (Batch + strEAM) - це модель та набір API для обробки як пакетної, так і потокової інформації. Вона була відкрита Google (з Cloudera і PayPal) в 2016 році через проект інкубатора Apache.

Сторінка Dataflow / Beam & Spark: порівняння моделей програмного забезпечення. Cloud Cloudflow контрастує Beam API з Apache Spark , що було надзвичайно успішним при застосуванні сучасного, гнучкого API та безлічі методів оптимізації як пакетного, так і потокового для Hadoop світу. далі

Beam намагається зробити все, що далі, за допомогою моделі, що полегшує опис різних аспектів обробки out-of-order processing що часто є проблемою при об'єднанні пакетної та потокової обробки, як описано в цьому Programming Model Comparison .

Зокрема, цитата з порівняння, модель Dataflow спроектована таким чином, щоб вона була елегантною та більш модульною, надійною та легшою для підтримки.

... чотири критичні питання всі практики обробки даних повинні намагатися відповісти при побудові своїх трубопроводів:

  • Які результати розраховуються? Суми, з'єднання, гістограми, моделі машинного навчання?
  • Де розраховуються під час події результати? Чи вплинуло на час кожного події спочатку? Результати агреговані в фіксованих вікнах, сесіях або в одному глобальному вікні?
  • Коли під час обробки результати матеріалізуються? Чи впливає час на кожну подію в межах системи? Коли виникають результати? Спекулятивно, коли дані розвиваються? Коли дані приходять пізно, а результати необхідно переглянути? Деякі поєднання цих?
  • Як пов'язані уточнення результатів? Якщо з'являються додаткові дані, а результати змінюються, чи є вони незалежними та чіткими, чи вони ґрунтуються один на одній тощо?

Напрямки, описані в Beam, у свою чергу, можуть працювати на Spark, Flink, в потоці даних Google Cloud у хмарі та інших "run times", включаючи параметр "Direct" для локального комп'ютера.

Архітектура підтримує різні мови. SDK Java доступний зараз. SDK Dataflow Python наближається до випуску, а інші передбачаються для Scala та інших.

Дивіться джерело у дзеркалі Apache Beam

Related questions

Hot questions

Language

Popular Tags