Senior Data Engineer (Python / AWS Redshift)

Компания "Noveo"

НОВЕО - международная компания, с 2002 года предоставляющая услуги по заказной разработке ПО для западноевропейского рынка.

Как можно работать: через договор с ИП/самозанятым с оплатой в евро.

Наш партнер - инновационная компания в сфере доставки и логистики. Основное направление - доставка на этапе последней мили (со складов таможни, аэропортов, складских комплексов и т.д.). Компания предоставляет сервис для логистических компаний и курьерских служб.

Компания работает более чем в 150 городах в 5 странах ЕС и UK.

Платформа соединяет бизнесы, которым требуется доставка, с компаниями-перевозчиками и курьерскими службами.

Дата-платформа обрабатывает большие объемы логистических данных и используется для аналитики и поддержки операционных решений.

В роли Data Engineer вы будете заниматься созданием, поддержкой и оптимизацией дата-пайплайнов.

Основные задачи

• Разработка и поддержка Airflow пайплайнов и трансформаций данных с использованием dbt

• Поддержка и оптимизация Redshift data warehouse

• Участие в миграции с self-hosted Airbyte на Airbyte Cloud и поднятие Airflow до версии 3.0

• Улучшение дата-платформы: оптимизация пайплайнов, улучшение мониторинга и traceability

Челленджи:

Участие в масштабных инфраструктурных миграциях:

• self-hosted Airbyte -> Airbyte Cloud

• Airflow -> Airflow 3.0

• Улучшение мониторинга и метрик стабильности дата-платформы

• Поиск и устранение задержек в выполнении Airflow pipelines

• Повышение стабильности и производительности дата-платформы

Cтек проекта

• Python, SQL;

• AirFlow;

• AWS ecosystem: S3, Redshift, Glue;

• dbt;

• AirByte;

• Kafka / KafkaConnect;

• Visibility: Superset, Tableau;

• Kubernetes.

Ожидания от кандидата:

• Хороший уровень английского языка (B2+)

• Уверенное владение Python и SQL

• Опыт разработки и поддержки Airflow pipelines

• Опыт работы с dbt

• Опыт работы в AWS стеке: S3, Redshift, Glue

• Опыт поддержки и оптимизации production data pipelines и data warehouses

Будет плюсом иметь опыт работы с:

• AirByte

• Kafka / KafkaConnect

• Kubernetes, Spark

Что мы готовы предложить?

• трудоустройство по трудовому договору страны или через договор с ИП без привязки к определенному местонахождению;

• оплачиваемый отпуск и больничные;

• работа в профессиональной распределенной команде над интересными проектами;

• возможность изучения новых технологий и их применение на практике, внутреннее обучение;

• участие во внутренних митапах, постоянный обмен опытом с коллегами;

• четко выстроенные процессы и методологии разработки;

• бесплатное изучение иностранных языков в рабочее время с преподавателями компании (английский, французский);

• компенсацию медицинских услуг, массажа или спорта (внутренний аналог ДМС).

О компании Новео:

• на рынке с 2002 года;
• производственные отделы в странах Восточной Европы;
  
  Присоединяйся к команде разработчиков НОВЕО для решения интересных задач!