Data инженер

28 Января

Партнерские Вакансии

Компания "Big Data Technologies"

Мы усиливаем core команду построения DE-платформы еще одним Data инженером. У нас существует уникальная, развитая DE-инфраструктура, которой мы гордимся. Мы давно переросли этап "простого ETL" и начали строить data-платформу как продукт.

Наше главное отличие - платформенная инженерия вместо рутины. Мы не делаем рутинные пайпланы - мы строим и развиваем инфраструктуру и сервисы, которые позволяют компании работать с данными через стандартизированные инструменты.

Мы придерживаемся принципа Data Mesh: DE создают удобные инструменты и нижний слой данных - доменные команды/аналитики на них создают свои витрины и отчётность.

Помимо задач по хранилищу, у нас много инженерной работы на стыке data и software разработки - лучше всего это видно по нашей архитектуре:
Оркестрация: 8500+ задач
BigQuery: 800+ Тб информации, 10000+ таблиц
Собственный продукт для менеджмента задач в Airflow.
Реалтайм экспорт данных с помощью CDC KAFKA.
High-load сервис для стриминга, горизонтально масштабируемый.
Qdrant: векторное хранилище данных для RAG AI-агентов и семантического поиска.
RAG AI-workflow поиска и синтеза информации на основе локальной LLM.
Datahub - документация и метаданные.
Сервис для отправки ивентов в маркетинговых системы.
Сервисы для управления обновлением Tableau-отчетов.
Мониторинговые, алертинговые сервисы.
И еще множество интересных компонентов и сервисов для работы с DE-платформой

Стек: Python, SQL, BigQuery, Airflow, k8s, MySQL, облачными сервисы обработки данных.

Будущие задачи:

• Развитие платформы данных в компании;
• Создание новых инструментов для аналитиков;
• Поддержка ETL процессов;
• Настройка интеграции данных с различными сервисами;
• Отправка событий в различные аналитические системы и маркетинговые системы;
• Поддержание качества и надежности данных;
• Поддержка и создание аналитических микросервисов;
• Внедрение AI решений в DE;
• Внедрение и распространение общих подходов и практик в DE;

Мы ожидаем:

• Опыт работы дата-инженером или на аналогичной должности от 3 лет;
• Знание Python для обработки данных, разработки ETL, поддержки backend-аналитических сервисов.
• Знание SQL;
• Опыт работы с Docker;
• Опыт работы с реляционными и колоночными базами данных (проектирование, запросы, оптимизация);
• Знание инструментов оркестрации данных;
• Отличные навыки решения проблем и способность работать как самостоятельно, так и в команде;
• Хорошие коммуникативные навыки и способность объяснять технические концепты простыми словами;
• Опыт использования AI-инструментов для повышения продуктивности.

Будет плюсом:

• Опыт менторства, обучения;
• Работа с облачными сервисами обработки данных;
• Опыт с Kubernetes, Ansible;
• Работа с Appsflyer, Firebase, Amplitude;
• Работа с RabbitMQ, Kafka.

Мы предлагаем:

• Работа на международные рынки;

• Поддержка и содействие в профессиональном росте (семинары, курсы, тренинги, внутреннее обучение);

• Полностью белая заработная плата и официальное оформление;

• Подключение к ДМС со стоматологией в первые две недели работы (включая супруга/супругу и детей);

• Гибридный график работы, 2 дня в неделю работа в офисе, с гибким началом и окончанием рабочего дня;

• Оплачиваемые вкусные обеды и кофе-поинты в офисе;

• Обучение английскому языку с корпоративным преподавателем;

• Частичная компенсация спортивно-оздоровительных мероприятий (спорт, йога, бассейн и тд.) и занятий с психологом после испытательного срока;

• Предоставление рабочей техники на выбор;

• Релокационный пакет.

Присоединяйтесь к нашей команде!