Потребителски вход

Запомни ме | Регистрация
Постинг
10.09 13:32 - Оркестриране обработката на големи данни с Apache Airflow
Автор: penata555 Категория: Технологии   
Прочетен: 124 Коментари: 0 Гласове:
1

Последна промяна: 10.09 13:32


Оркестриране обработката на големи данни с Apache Airflow

https://www.economy.bg/innovations/view/47268/Orkestrirane-obrabotkata-na-golemi-danni-s-Apache-Airflow-

Вижте какво сподели на OpenFest 2021 Кирил Митов - Chief Technical Officer на BeMe.ai 26 август 2021.
        Какво е Apache Airflow?

Обработката на данни се свежда до основни стъпки като ingest, prepare, wrangling, process, analyze, report. Какъвто и процес и рамка за обработка и анализ на данни да си изберем, каквито и анализи да се правят, или пък да се обучава изкуствен интелект, някой трябва да оркестрира този процес в production среда. Apache Airflow използва концепцията на Directed Acyclic Graph, за да структурира и визуализира процеса автоматично, след което да оркестрира задачите с различни оператори към Bash/Python/Docker/K8s и много други.

По тази тема говори на OpenFest 2021 Кирил Митов. Той е Chief Technical Officer (CTO) на BeMe.ai (VC-funded heath tech start-up), където отговаря за разработката на целия технологичен стек, състоящ се от Big Data, мобилни и Web платформи, връзките с много външни системи и сериозните изисквания за обработка на данни, поставени пред една компания в сферата на здравеопазването. Основава и ръководи една от големите платформи за обучение в сферата на техническите науки – FLLCasts.com с преподаватели и ученици от над 80 държави. Има широк опит с разработката на софтуер. Дълги години преподава в ТУЕС. Основава училище по роботика Robopartans през 2010 и успешно развива организацията в 10 града в страната, след което излиза от дейността през 2019.

Цялата презентация Оркестриране обработката на големи данни с Apache Airflow на Кирил Митов от OpenFest 2021 вижте тук




Гласувай:
4
3



Няма коментари
Търсене

За този блог
Автор: penata555
Категория: Новини
Прочетен: 813544
Постинги: 5112
Коментари: 273
Гласове: 726
Календар
«  Септември, 2021  
ПВСЧПСН
12345
6789101112
13141516171819
20212223242526
27282930