Главный инженер-программист (Data Engineer / ML Engineer)

- Проектирование и разработка ETL/ELT-пайплайнов: сбор, обработка и трансформация больших объёмов данных из различных источников (API, баз данных, логов, внешних систем) в хранилище. - Разработка и сопровождение ML-пайплайнов: автоматизация процессов обучения, валидации, деплоя и мониторинга моделей машинного обучения (MLOps). Внедрение моделей в продуктовую среду через API-сервисы (REST, gRPC). - Работа с данными: написание высокопроизводительных SQL-запросов, оптимизация работы с большими таблицами (миллиарды строк, терабайты данных), партиционирование, индексация, настройка кластеров. - Поддержка инфраструктуры: сопровождение кластеров баз данных, очередей сообщений (Kafka, RabbitMQ), объектных хранилищ. Участие в выборе технологий и проектировании архитектуры решений. - Оптимизация производительности: устранение узких мест в пайплайнах, профилирование и тюнинг запросов, настройка параметров сред выполнения (JVM, Python, контейнеры). - Разработка и рефакторинг кода: написание высококачественного кода на Python, Java, Scala или Go. Чтение и правка чужого кода, рефакторинг легаси-решений. - Ведение технической документации: описание архитектурных решений, схем данных, API-интерфейсов, инструкций по развёртыванию и эксплуатации сервисов.