-
Подключать новые источники к централизованному DWH: настраивать инкрементальные загрузки и CDC, обеспечивать идемпотентность.
-
Проектировать и развивать модели данных в dbt (staging → core → marts): писать понятные модели, тесты, документацию и фиксировать происхождение данных.
-
Настраивать и поддерживать Airflow: строить DAG-и, управлять зависимостями и расписаниями, обрабатывать ошибки и «повторы», выполнять добор исторических данных;
-
Использовать сенсоры (ожидание файлов/событий) и контролировать целевые сроки обновления витрин.
-
Совместно с другими специалистами ДИТ эксплуатировать и управлять VMs на GCP: развёртывание и обновления, мониторинг, резервное копирование/восстановление, управление секретами и доступами.
-
Держать хранилище быстрым и экономичным: оптимизировать ClickHouse и PostgreSQL под объёмы и типовые запросы (партиционирование, материализованные представления, TTL и т. п.).
-
Реализовывать интеграции: разрабатывать и поддерживать интеграции через REST API (аутентификация, пагинация, лимиты) и автоматизировать обмен файлами по SFTP/FTPS; вести версионирование форматов и обработку ошибок.
-
Обеспечивать качество и безопасность данных: автоматические проверки свежести/корректности, работа с PII, актуальные эксплуатационные инструкции.
Требования:
-
Продвинутый SQL в PostgreSQL и ClickHouse; практическая оптимизация запросов и схем.
-
Отличное знание Python для процессов ELT и небольших сервисов (базовые FastAPI/Flask).
-
Опыт с dbt: модели, тесты, документация, работа с data lineage.
-
Опыт с Airflow: разработка DAG-ов, сенсоры, управление зависимостями и ошибками.
-
Паттерны ELT: CDC, SCD 1/2, корректные операции загрузки/обновления (MERGE/UPSERT).
-
Интеграции: уверенно работать с REST API и автоматизацией обмена по SFTP.
-
Инфраструктура: Linux + GCP VMs, Git, базовый Docker, CI для сборки/тестов dbt.
-
Terraform/Ansible для воспроизводимых сред.
Будет преимуществом
Понимание жизненного цикла ML (MLflow, batch-скоринг), опыт работы над DS/ML/AI проектами. -
Умение работать с потоковыми данными в т.ч. с Kafka, Redis или аналог.
Наблюдаемость: Great Expectations, OpenLineage, Prometheus/Grafana.
Подача данных в Power BI/Tableau/Metabase. -
Опыт в домене логистики/TMS, телематики Wialon, CRM/loyalty.
Совместно с владельцами источников и вендорами интегрировать и поддерживать их подключение к DWH с согласованными SLA. -
Работать с BI/Analyst и Senior DS над витринами и фичами для аналитики и ML
-
Пятидневную рабочую неделю (с 8:30 до 17:30);
-
Комфортный офис в центре города;
-
Фитнес-зал для сотрудников;
-
Премии и корпоративные поездки за счёт компании;
-
Обучение и повышение квалификации при необходимости за счёт компании;
-
Отлично развитую корпоративную культуру.