The latest articles on DEV Community by Nick Komissarenko (@techfriend). https://dev.to/techfriend https://media2.dev.to/dynamic/image/width=90,height=90,fit=cover,gravity=auto,format=auto/https:%2F%2Fdev-to-uploads.s3.amazonaws.com%2Fuploads%2Fuser%2Fprofile_image%2F3840537%2Fb0f4ba5f-0eee-4369-b5df-45a2384d0e84.jpeg https://dev.to/techfriend en Nick Komissarenko Mon, 23 Mar 2026 18:00:32 +0000 https://dev.to/bigdataschool/masshtabiruiem-apache-airflow-pierievodim-arkhitiekturu-na-celery-i-redis-407e https://dev.to/bigdataschool/masshtabiruiem-apache-airflow-pierievodim-arkhitiekturu-na-celery-i-redis-407e <p>Базовый запуск Airflow отлично подходит для старта. Но как только пайплайнов становится больше, встроенный LocalExecutor начинает откровенно захлебываться. Задачи встают в очередь, а один узел работает на пределе своих возможностей.</p> <p>Во второй части нашего цикла мы разбираем, как перевести архитектуру на нормальные, распределенные рельсы. Добавляем в стек Celery для параллельного выполнения тасок и Redis в качестве быстрого брокера сообщений.</p> <p>О чем говорим в новой статье:</p> <ul> <li>Почему LocalExecutor становится тупиком при росте проекта.</li> <li>Как правильно подружить Airflow с новыми компонентами.</li> <li>Обновленный манифест Docker Compose для быстрого развертывания всего этого зоопарка.</li> <li>Базовая настройка лимитов и управление ресурсами, чтобы воркеры не роняли сервер из-за нехватки памяти.</li> </ul> <p>Материал содержит готовые конфиги. Их можно сразу забрать к себе на тестовый сервер или использовать как фундамент для настройки боевого окружения.</p> <p>Полный разбор архитектуры и пошаговая инструкция ждут вас в блоге:<br> <a href="https://bigdataschool.ru/blog/news/airflow-scaling-celery-redis-setup/" rel="noopener noreferrer">Урок 2. Архитектура для продакшена: учим Airflow работать в команде с Redis и Celery</a></p> <p>Буду рад обсудить ваш опыт в комментариях. Особенно интересно узнать, с какими проблемами производительности вы сталкивались при масштабировании своих дата-пайплайнов.</p> apacheairflow dataengineering celery redis Nick Komissarenko Mon, 23 Mar 2026 17:30:32 +0000 https://dev.to/bigdataschool/arkhitiektura-apache-airflow-i-bystryi-start-v-docker-21k9 https://dev.to/bigdataschool/arkhitiektura-apache-airflow-i-bystryi-start-v-docker-21k9 <p>Если вы работаете с данными, то наверняка регулярно сталкиваетесь с задачами оркестрации. Apache Airflow уже давно стал стандартом для построения пайплайнов. При этом его архитектура и особенно первоначальная настройка иногда вызывают трудности при знакомстве с инструментом.</p> <p>В новой статье на BigDataSchool мы подробно разобрали внутреннее устройство Airflow и процесс его быстрого развертывания локально через Docker.</p> <p>Основные темы материала:</p> <ul> <li>Ключевые компоненты системы (Scheduler, Webserver, Worker, Database) и их взаимодействие.</li> <li>Пошаговая инструкция по запуску с использованием Docker Compose.</li> <li>Базовая настройка окружения для комфортной локальной разработки.</li> </ul> <p>Этот гайд поможет быстро поднять рабочий инстанс для тестов или обучения, не тратя часы на конфигурацию.</p> <p>Полный текст инструкции можно прочитать в нашем блоге:<br> <a href="https://bigdataschool.ru/blog/news/apache-airflow-architecture-docker-setup/" rel="noopener noreferrer">Архитектура Apache Airflow: как развернуть в Docker</a></p> <p>Буду рад узнать в комментариях о вашем опыте настройки Airflow и о подводных камнях, с которыми приходилось сталкиваться.</p> apacheairflow docker dataengineering python