Senior NLP Engineer

Компания "STARTRIBE LTD"

Мы в поиске Senior NLP Engineer в международную компанию к нашим партнерам в Loqos AI. Компания разрабатывает AI-ботов для автоматизации клиентской поддержки, HR-процессов и маркетинга. Помимо чат-ботов, они также разрабатывают AI-переводчик на основе LLM для браузера, CV-фильтр для анализа вложений для службы поддержки, AI-ассистентов на основе RAG-LLM, а также AI-агентов, включая автономных AI инфлюенсеров c функциями генерации текста и изображений.

Обязанности:

• ML Production:
  - оптимизация моделей: : квантизация (LLM: AWQ, GPTQ, BnB, GGUF и др., vllm compressor), дистилляция, прунинг;
  - оптимизация инференса: speculative decoding, performance testing, distributed KV-cache, scaling, batching;
  - деплой моделей: vLLM, Ray Serve, Ray cluster, TensorRT-LLM;
  - мониторинг: Grafana.
• Software engineering: разработка бэкенда для процессинга данных, для оценки работы моделей (eval).
  - Python, FastAPI, Ray, asyncio;
  - OOP, SOLID, DRY, KISS, concurrency;
  - Metrics: LLM-as-a-judge, n-gram-based (BLEU, METEOR), embedding-based;
  - QA: end-to-end testing, performace testing, CI/CD;
  - Ops: DVC, WanDB;
• Взаимодействие с командами разработки: документирование технических требований и участие в реализации R&D-проектов.

Требования:

• Опыт работы с выкаткой в прод моделей LLM, TTS, STT и другими моделями машинного обучения;
• Знание инструментов для управления данными и версионирования моделей (DVC, MLFlow, WandB);
• Глубокие знания Python, Pytorch, Numpy и опыт работы с Linux;
• 5+ лет опыта в области машинного обучения, желательно с фокусом на NLP.

Будет плюсом:

• Профильное образование в области математики, ML или Computer Science;
• Опыт работы с VoIP-технологиями.

Условия:

• Формат работы - удаленный;

• Компенсация изучения английского языка до 50%;

• 4 day-off в год за счет компании;

• Возможность развивать свои компетенции и применять знания на практике.