Перейти к содержанию

Apache NiFi

Материал из Мегавики
(перенаправлено с «NiFi»)
Данная страница не проверялась участниками с соответствующими правами.
Apache NiFi

Apache NiFi — это открытое программное обеспечение проекта Apache Software Foundation, предназначенное для автоматизации операций по обработке данных.

Описание[править]

Инструмент для извлечения, преобразования, загрузки (ETL), основан на программном обеспечении «NiagaraFiles», ранее разработанном Агентством национальной безопасности США (АНБ), которое также является источником части его нынешнего названия — NiFi . Он был открыт в рамках программы передачи технологий АНБ в 2014 году. [1] [2] [3] [4] [5]

Программный продукт разработан на модели программирования на основе потоков и предлагает функции, которые включают в себя возможность работы в кластерах, безопасность с использованием шифрования TLS, расширяемость (пользователи могут писать свои собственные приложения для расширения его возможностей) и пользовательский интерфейс для визуального просмотра и изменения сценариев обработки данных. [6]

Разработка программного обеспечения и коммерческая поддержка в настоящее время предлагаются компанией Hortonworks (теперь в составе Cloudera ), [7] которая приобрела создателя NiFi, Onyara Inc. [8]

В феврале 2017 года программное обеспечение HPE SecureData для Hadoop и IoT стало первым в отрасли коммерческим продуктом, интегрировавшим NiFi [9] .

Компоненты[править]

Файл:Apache NiFi Components.png
NiFi — Компоненты

NiFi — это программа Java, которая запускается на виртуальной машине Java, работающей на сервере. [10] Основными компонентами Nifi являются:

  • Веб-сервер — компонент на основе HTTP, используемый для визуального анализа и отслеживания событий
  • Контроллер потока — служит мозгом поведения NiFi. Контролирует работу расширений Nifi и планирует выделение ресурсов для этого.
  • Расширения — различные плагины, позволяющие Nifi взаимодействовать с разного рода системами.
  • Репозиторий FlowFile — используется NiFi для поддержания и отслеживания состояния текущего активного FlowFile или информации, которую NiFi помогает перемещать между системами.
  • Репозиторий контента - здесь хранятся передаваемые данные
  • Репозиторий происхождения - здесь хранятся данные, относящиеся к происхождению данных, проходящих через систему.

Примечания[править]

  1. ↑ NSA Releases First in Series of Software Products to Open Source Community (англ.). www.nsa.gov. Дата обращения: 7 декабря 2017.
  2. ↑ Bridgwater. NSA 'NiFi' Big Data Automation Project Out In The Open. Forbes (21 июля 2015). Дата обращения: 21 сентября 2016.
  3. ↑ Vaughan-Nichols. NSA partners with Apache to release open-source data traffic program | ZDNet. ZDNet. Дата обращения: 21 сентября 2016.
  4. ↑ NSA Source Code Leak: Information slurp tools to appear online. The Register. Дата обращения: 21 сентября 2016.
  5. ↑ Wolpe. Hortonworks CTO on Apache NiFi: What is it and why does it matter to IoT? | ZDNet. ZDNet. Дата обращения: 21 сентября 2016.
  6. ↑ Apache NiFi Documentation (англ.). nifi.apache.org. Дата обращения: 7 декабря 2017.
  7. ↑ Welcome to a brand-new Cloudera (англ.) ?. Hortonworks (3 января 2019). Дата обращения: 20 мая 2019.
  8. ↑ Hortonworks buys Onyara, the company behind Apache NiFi, which was developed at NSA. VentureBeat (25 August 2015). Дата обращения: 21 сентября 2016.
  9. ↑ RSA Conference: HPE looks to boost enterprise IoT security with Apache NiFi (англ.), TechRepublic. Дата обращения 31 января 2018.
  10. ↑ Apache NiFi Developer Guide (англ.). nifi.apache.org. Дата обращения: 31 января 2018.
Источник — https://megawiki.ru/wiki/Apache_NiFi