К содержимому

Airflow через Docker Compose на Ubuntu 24.04: пошаговая инструкция

Apache Airflow запускают через Docker Compose, чтобы не ставить Python-зависимости на сервер. На Ubuntu 24.04 нужен Docker с плагином Compose v2, файл compose.yaml с сервисами Postgres и Airflow и одноразовая инициализация базы. После запуска веб-интерфейс открывается на порту 8080.

Руководство Docker 2 мин чтения

01Проверьте Docker и Compose

На сервере уже должен быть установлен Docker с плагином Compose v2. Убедитесь, что команда docker compose работает и выводит версию. Если Docker не установлен, его ставят из репозитория Docker с пакетом docker-compose-plugin.

bash
docker compose version

02Создайте каталог проекта

Airflow хранит базу метаданных и логи в отдельных томах, но файл конфигурации удобно держать в отдельном каталоге. Создайте /opt/airflow и перейдите в него. Все дальнейшие команды выполняются из этого каталога.

bash
sudo mkdir -p /opt/airflow
cd /opt/airflow

03Создайте compose.yaml

Официальный образ Airflow требует базу метаданных. В файле описаны Postgres и три сервиса Airflow: веб-интерфейс, планировщик и инициализация базы. Порт веб-интерфейса опубликован только на 127.0.0.1, чтобы он не был доступен снаружи напрямую. Ключ version: не нужен, в Compose v2 он устарел.

04Проверьте файл

Перед запуском проверьте синтаксис YAML и итоговый конфиг. Команда docker compose config печатает собранный файл и показывает ошибки отступов или кавычек. Если в выводе нет ошибок, можно запускать.

bash
docker compose config

05Запустите сервисы

Запустите контейнеры в фоне. Сначала поднимается Postgres, затем одноразовый airflow-init создаёт таблицы, после него стартуют веб-интерфейс и планировщик. Первый запуск занимает несколько минут: скачиваются образы.

bash
docker compose up -d

06Проверьте работу

Убедитесь, что все контейнеры запущены, а airflow-init завершился с кодом 0. В логах веб-интерфейса не должно быть ошибок подключения к базе. Порт 8080 слушает только localhost, поэтому с сервера интерфейс открывается по http://127.0.0.1:8080.

bash
docker compose ps
docker compose logs airflow-webserver
curl -I http://127.0.0.1:8080

Частые ошибки

  • При запуске появляется Bind for 0.0.0.0:8080 failed: port is already allocated.

    Порт 8080 на хосте уже занят другим процессом или контейнером. Найдите его через sudo ss -ltnp и остановите либо смените внешний порт в ports, например на 127.0.0.1:8081:8080.

  • Веб-интерфейс не открывается по внешнему адресу http://203.0.113.10:8080.

    Порт опубликован как 127.0.0.1:8080:8080, поэтому доступен только с самого сервера. Откройте его через обратный прокси на 127.0.0.1:8080 или временно опубликуйте порт на все интерфейсы, если это безопасно.

  • docker compose up -d завершается ошибкой no configuration file provided: not found.

    Команда выполняется не из каталога с compose.yaml. Перейдите в /opt/airflow или укажите путь через -f /opt/airflow/compose.yaml.

  • airflow-init падает с ошибкой подключения к Postgres.

    Проверьте, что сервис postgres запущен и здоров, а строка подключения в AIRFLOW__DATABASE__SQL_ALCHEMY_CONN совпадает с логином, паролем и именем базы. Дождитесь окончания healthcheck и повторите docker compose up -d.

Deploykin

Как это делается в Deploykin

В Deploykin Docker-контейнеры создаются, запускаются и останавливаются из панели. Там же видны их статусы и тома, терминал для этого не нужен.

7 дней бесплатно на тарифе Про, без привязки карты.

Вопросы и ответы

Нужно ли указывать версию Compose в файле?

Нет. В Compose v2 ключ version: устарел и вызывает только предупреждение. Файл начинается сразу с services:.

Как открыть веб-интерфейс Airflow с другого компьютера?

Порт опубликован только на 127.0.0.1, поэтому напрямую снаружи он недоступен. Настройте обратный прокси на сервере, который проксирует запросы на http://127.0.0.1:8080.

Где хранятся данные Airflow после перезапуска?

База метаданных хранится в томе postgres-db-volume. Он переживает docker compose down, а удаляется только командой docker compose down -v.

Что делать, если контейнер завершается с кодом 137?

Код 137 значит, что процесс убит сигналом SIGKILL, чаще всего из-за нехватки памяти. Увеличьте память сервера или ограничьте число параллельных задач Airflow.

Ещё по теме

Docker Compose: руководство по работе с многоконтейнерными приложениями: все материалы темы

Мы используем cookies и сервис веб-аналитики «Яндекс Метрика» (включая Вебвизор) для улучшения работы сайта. Подробности — в политике конфиденциальности.