Data Engineer( the_covert )

11 Августа

Партнерские Вакансии

Компания "the_covert"

The_covert – группа IT-компаний с более чем 15-летним опытом создания собственных продуктов и сервисов. Мы разрабатываем решения, упрощающие бизнес-процессы в B2B-сегменте, сервисы управления финансами, инструменты финансовой аналитики и масштабные медиапроекты.

В своей работе мы объединяем огромные вычислительные мощности, Big Data, Data Science, Machine Learning и финансы.

В команду, отвечающую за сбор, обработку, валидацию и дистрибуцию рыночных данных, ищем Data-инженера, который будет не только следить за качеством данных и устранять инциденты, но и развивать автоматизацию и улучшать процессы. Эти данные используются в бэктестах, аналитике и обучении моделей.

Стек технологий: Python, Airflow, PostgreSQL, ClickHouse, S3, Grafana.

Что предстоит делать:

• Следить за корректной и стабильной работой пайплайнов данных (Python + Airflow);

• Разбираться в инцидентах и устранять сбои в поставке данных;

• Писать и поддерживать тесты и метрики валидации данных;

• Автоматизировать проверки качества данных, визуализировать их с помощью Grafana;

• Настраивать парсеры и коннекторы к источникам, обеспечивать их стабильность;

• Автоматизировать рутинные процессы обработки и генерации данных;

• Настраивать мониторинг и алерты;

• Взаимодействовать с разработчиками, аналитиками и пользователями данных.

Что ожидаем:

• Уверенное знание Python (обработка данных, автоматизация, проверки);

• Уверенное владение SQL (сложные запросы, джойны, оконные функции);

• Опыт работы с Airflow (настройка DAG’ов, отладка, расписания);

• Понимание, как находить и устранять проблемы с данными в проде.

Будет плюсом:

• Знание ClickHouse или других аналитических хранилищ;

• Опыт работы с потоками данных;

• Навыки построения систем автоматической валидации данных;

• Опыт работы с финансовыми или рыночными данными.

Что предлагаем:

• Индивидуальный подход к зонам ответственности и задачам;

• Уютный офис в центре Тбилиси;

• Релокационный пакет для сотрудника и его семьи;

• Гибкое начало рабочего дня (с 9:00 до 12:00);

• 100% компенсация отпусков и больничных;

• Компенсация расходов на спорт и медицину;

• Предоставление всей необходимой для работы техники.