Senior Data Engineer

23 Января

Партнерские Вакансии

Компания "Jaxel"

Кого мы ищем:
Компания Jaxel ищет старшего инженера по обработке данных в нашу команду

Что Вы будете делать:

• Проектирование и создание масштабируемых, эффективных конвейеров данных ETL/ELT с использованием современных инструментов (например, dbt, Airflow, Fivetran, Python).
• Разработка и поддержка моделей данных, схем и преобразования в Snowflake и других облачных хранилищах данных (например, BigQuery, Redshift).
• Интеграция данных из различных источников (внутренние системы, API, сторонние поставщики данных).
• Работа с заинтересованными сторонами, чтобы понять потребности в данных и предоставить надежные, чистые и хорошо документированные наборы данных.
• Поддержка качества данных и проверка достоверности, чтобы обеспечить высокое доверие к нашим данным.
• Оптимизация производительности запросов и затрат на хранение в Snowflake и других платформах.
• Внедрение и поддержка инфраструктуры в виде кода, рабочие процессы CI/CD и управление версиями для конвейеров передачи данных.
• Обеспечение безопасности данных, контроль доступа и соответствие соответствующим политикам (например, GDPR, HIPAA, если применимо).

Что Вам понадобится:

• Более 3-х лет опыта работы в качестве инженера по обработке данных или на аналогичной должности.
• Уверенные навыки работы с SQL и глубокое понимание принципов создания хранилищ данных.
• Практический опыт работы со Snowflake и, по крайней мере, с одним другим хранилищем данных (BigQuery, Redshift и т.д.).
• Опыт работы с современными инструментами обработки данных, такими как Airflow, dbt, Fivetran, Dagster, или пользовательскими заданиями на Python/Scala.
• Владение Python (или другим скриптовым языком) для обработки данных и оркестрации.
• Опыт создания и поддержки производственных конвейеров ETL/ELT.
• Знакомство с облачными платформами, такими как AWS, GCP или Azure (например, S3, Lambda, облачные функции).
• Повышенное внимание к качеству данных, тестированию и документации
• Дополнительные требования (необязательно)
• Опыт работы с данными в реальном времени / потоковой передачей (Kafka, Spark Streaming и т.д.).
• Знакомство с инструментами управления данными, их происхождением и метаданными (например, Amundsen, DataHub).
• Понимание принципов конфиденциальности данных, соответствия требованиям и безопасности.
• Знакомство с инфраструктурой в виде кода (например, Terraform) и конвейерами CI/CD (GitHub Actions, GitLab CI и т.д.).
• Опыт совместной работы в agile-командах и использования таких инструментов, как Jira, Confluence и т.д.

Что мы предлагаем:

• Конкурентоспособная заработная плата.
• Возможность удаленной работы.
• Комфортная работа в вашем часовом поясе.
• Гибкий график работы.
• Профессиональный рост и развитие.
• Мультикультурная рабочая среда.