Data инженер

Big Data Technologies

Город:

Тбилиси

Занятость:

Полная занятость

Компания "Big Data Technologies"

Мы усиливаем core команду построения DE-платформы еще одним Data инженером. У нас существует уникальная, развитая DE-инфраструктура, которой мы гордимся. Мы давно переросли этап "простого ETL" и начали строить data-платформу как продукт.

Наше главное отличие - платформенная инженерия вместо рутины. Мы не делаем рутинные пайпланы - мы строим и развиваем инфраструктуру и сервисы, которые позволяют компании работать с данными через стандартизированные инструменты.

Мы придерживаемся принципа Data Mesh: DE создают удобные инструменты и нижний слой данных - доменные команды/аналитики на них создают свои витрины и отчётность.

Помимо задач по хранилищу, у нас много инженерной работы на стыке data и software разработки - лучше всего это видно по нашей архитектуре:
Оркестрация: 8500+ задач
BigQuery: 800+ Тб информации, 10000+ таблиц
Собственный продукт для менеджмента задач в Airflow.
Реалтайм экспорт данных с помощью CDC KAFKA.
High-load сервис для стриминга, горизонтально масштабируемый.
Qdrant: векторное хранилище данных для RAG AI-агентов и семантического поиска.
RAG AI-workflow поиска и синтеза информации на основе локальной LLM.
Datahub - документация и метаданные.
Сервис для отправки ивентов в маркетинговых системы.
Сервисы для управления обновлением Tableau-отчетов.
Мониторинговые, алертинговые сервисы.
И еще множество интересных компонентов и сервисов для работы с DE-платформой

Стек: Python, SQL, BigQuery, Airflow, k8s, MySQL, облачными сервисы обработки данных.

Будущие задачи:

Развитие платформы данных в компании;
Создание новых инструментов для аналитиков;
Поддержка ETL процессов;
Настройка интеграции данных с различными сервисами;
Отправка событий в различные аналитические системы и маркетинговые системы;
Поддержание качества и надежности данных;
Поддержка и создание аналитических микросервисов;
Внедрение AI решений в DE;
Внедрение и распространение общих подходов и практик в DE;

Мы ожидаем:

Опыт работы дата-инженером или на аналогичной должности от 3 лет;
Знание Python для обработки данных, разработки ETL, поддержки backend-аналитических сервисов.
Знание SQL;
Опыт работы с Docker;
Опыт работы с реляционными и колоночными базами данных (проектирование, запросы, оптимизация);
Знание инструментов оркестрации данных;
Отличные навыки решения проблем и способность работать как самостоятельно, так и в команде;
Хорошие коммуникативные навыки и способность объяснять технические концепты простыми словами;
Опыт использования AI-инструментов для повышения продуктивности.

Будет плюсом:

Опыт менторства, обучения;
Работа с облачными сервисами обработки данных;
Опыт с Kubernetes, Ansible;
Работа с Appsflyer, Firebase, Amplitude;
Работа с RabbitMQ, Kafka.

Мы предлагаем:

Работа на международные рынки;
Поддержка и содействие в профессиональном росте (семинары, курсы, тренинги, внутреннее обучение);
Полностью белая заработная плата и официальное оформление;
Подключение к ДМС со стоматологией в первые две недели работы (включая супруга/супругу и детей);
Гибридный график работы, 2 дня в неделю работа в офисе, с гибким началом и окончанием рабочего дня;
Оплачиваемые вкусные обеды и кофе-поинты в офисе;
Обучение английскому языку с корпоративным преподавателем;
Частичная компенсация спортивно-оздоровительных мероприятий (спорт, йога, бассейн и тд.) и занятий с психологом после испытательного срока;
Предоставление рабочей техники на выбор;
Релокационный пакет.