Data Engineer

-Анализ различных слоёв DWH, сбор данных из разных источников и мониторинг процессов ETL.
-Изучение бизнес-логики.
-Работа с Apache Airflow для извлечения данных, их дальнейшей обработки на Python и загрузки в DWH.
-Работа с библиотеками pandas и numpy.
-Используемые базы данных: ClickHouse, PostgreSQL.
-Успешная оптимизация кода для автоматического выполнения DAG.

Работал в проекте по автоматизации выгрузки показателей KPI через ETL-пайплайн.

- SQL (оптимизация запросов, оконные функции, индексы) — оптимизировал SQL-запросы, переписывал логику с использованием оконных функций, анализировал планы выполнения и работал с индексами для повышения производительности.
- IBM Netezza, PostgreSQL — писал и оптимизировал SQL-запросы в IBM Netezza и PostgreSQL, работал с большими таблицами и аналитическими выборками данных.
- Основы DWH и ETL — работал с данными в хранилище, участвовал в подготовке и проверке данных для ETL/ELT-процессов и аналитических витрин.
- Контроль качества данных — проверял корректность и консистентность данных, выявлял расхождения между источниками и анализировал причины несоответствий.
- Python (pandas — базовый уровень) — использовал Python и pandas на базовом уровне для анализа данных и автоматизации проверок качества данных.
- Подготовка данных для BI — подготавливал и проверял данные для использования в BI-отчётах, контролировал корректность расчётов и метрик.
- Взаимодействие с аналитиками и бизнесом — взаимодействовал с аналитиками и представителями бизнеса для уточнения требований к данным и логики расчётов.