Airflow через Docker Compose на Ubuntu 24.04: пошаговая инструкция
Apache Airflow запускают через Docker Compose, чтобы не ставить Python-зависимости на сервер. На Ubuntu 24.04 нужен Docker с плагином Compose v2, файл compose.yaml с сервисами Postgres и Airflow и одноразовая инициализация базы. После запуска веб-интерфейс открывается на порту 8080.
01Проверьте Docker и Compose
На сервере уже должен быть установлен Docker с плагином Compose v2. Убедитесь, что команда docker compose работает и выводит версию. Если Docker не установлен, его ставят из репозитория Docker с пакетом docker-compose-plugin.
docker compose version
02Создайте каталог проекта
Airflow хранит базу метаданных и логи в отдельных томах, но файл конфигурации удобно держать в отдельном каталоге. Создайте /opt/airflow и перейдите в него. Все дальнейшие команды выполняются из этого каталога.
sudo mkdir -p /opt/airflow
cd /opt/airflow
03Создайте compose.yaml
Официальный образ Airflow требует базу метаданных. В файле описаны Postgres и три сервиса Airflow: веб-интерфейс, планировщик и инициализация базы. Порт веб-интерфейса опубликован только на 127.0.0.1, чтобы он не был доступен снаружи напрямую. Ключ version: не нужен, в Compose v2 он устарел.
04Проверьте файл
Перед запуском проверьте синтаксис YAML и итоговый конфиг. Команда docker compose config печатает собранный файл и показывает ошибки отступов или кавычек. Если в выводе нет ошибок, можно запускать.
docker compose config
05Запустите сервисы
Запустите контейнеры в фоне. Сначала поднимается Postgres, затем одноразовый airflow-init создаёт таблицы, после него стартуют веб-интерфейс и планировщик. Первый запуск занимает несколько минут: скачиваются образы.
docker compose up -d
06Проверьте работу
Убедитесь, что все контейнеры запущены, а airflow-init завершился с кодом 0. В логах веб-интерфейса не должно быть ошибок подключения к базе. Порт 8080 слушает только localhost, поэтому с сервера интерфейс открывается по http://127.0.0.1:8080.
docker compose ps
docker compose logs airflow-webserver
curl -I http://127.0.0.1:8080
Частые ошибки
-
При запуске появляется
Bind for 0.0.0.0:8080 failed: port is already allocated.Порт 8080 на хосте уже занят другим процессом или контейнером. Найдите его через
sudo ss -ltnpи остановите либо смените внешний порт вports, например на127.0.0.1:8081:8080. -
Веб-интерфейс не открывается по внешнему адресу
http://203.0.113.10:8080.Порт опубликован как
127.0.0.1:8080:8080, поэтому доступен только с самого сервера. Откройте его через обратный прокси на127.0.0.1:8080или временно опубликуйте порт на все интерфейсы, если это безопасно. -
docker compose up -dзавершается ошибкойno configuration file provided: not found.Команда выполняется не из каталога с
compose.yaml. Перейдите в/opt/airflowили укажите путь через-f /opt/airflow/compose.yaml. -
airflow-initпадает с ошибкой подключения к Postgres.Проверьте, что сервис
postgresзапущен и здоров, а строка подключения вAIRFLOW__DATABASE__SQL_ALCHEMY_CONNсовпадает с логином, паролем и именем базы. Дождитесь окончания healthcheck и повторитеdocker compose up -d.
Deploykin
Как это делается в Deploykin
В Deploykin Docker-контейнеры создаются, запускаются и останавливаются из панели. Там же видны их статусы и тома, терминал для этого не нужен.
7 дней бесплатно на тарифе Про, без привязки карты.
Вопросы и ответы
Нужно ли указывать версию Compose в файле?
Нет. В Compose v2 ключ version: устарел и вызывает только предупреждение. Файл начинается сразу с services:.
Как открыть веб-интерфейс Airflow с другого компьютера?
Порт опубликован только на 127.0.0.1, поэтому напрямую снаружи он недоступен. Настройте обратный прокси на сервере, который проксирует запросы на http://127.0.0.1:8080.
Где хранятся данные Airflow после перезапуска?
База метаданных хранится в томе postgres-db-volume. Он переживает docker compose down, а удаляется только командой docker compose down -v.
Что делать, если контейнер завершается с кодом 137?
Код 137 значит, что процесс убит сигналом SIGKILL, чаще всего из-за нехватки памяти. Увеличьте память сервера или ограничьте число параллельных задач Airflow.
Ещё по теме
- Руководство · Docker docker images: работа с образами Docker на Ubuntu 24.04 Как работать с docker images на Ubuntu 24.04: проверить демон, скачать образ через docker pull, посмотреть список, запустить контейнер и проверить результат.
- Руководство · Docker Установка Docker и Docker Compose на Ubuntu 24.04 Пошаговая установка Docker и Docker Compose на Ubuntu 24.04: команды, настройка compose.yaml, проверка работы и разбор частых ошибок.
- Руководство · Docker Как запустить Docker container на Ubuntu 24.04: пошаговая инструкция Запустите контейнер через docker compose up -d, проверьте статус, посмотрите логи, войдите в контейнер через exec и остановите проект. Команды и проверка.
- Руководство · Docker Установка Portainer на Ubuntu 24.04: пошаговая настройка Установите Portainer в Docker Compose на Ubuntu 24.04: проверка Docker, compose-файл, запуск, доступ к панели и проверка через curl и docker compose ps.
- Руководство · Docker Docker volumes: настройка и проверка на Ubuntu 24.04 Пошаговая настройка docker volumes на Ubuntu 24.04: создание тома, подключение к контейнеру, проверка сохранности данных после перезапуска и типичные ошибки.
- Руководство · Docker Установка GitLab в Docker на Ubuntu 24.04 Установите GitLab в Docker на Ubuntu 24.04: подготовка, compose-файл, запуск, проверка и типичные ошибки с командами.
Docker Compose: руководство по работе с многоконтейнерными приложениями: все материалы темы