Senior Дата-инженер (потоковые данные)

Наша команда развивает Единое хранилище данных по всем процессам Центрального банка Российской Федерации. В нем консолидируется почти вся информация о финансовом рынке, необходимая для контроля, регулирования и прогнозирования развития экономики страны. Мы создаем на базе Единого хранилища данных Приложения для анализа и визуализации информации, которая необходима для принятия решений о денежно-кредитной политике Российской Федерации. Обязанности: Анализ и Оценка: Анализ требований, осуществимости и целесообразности решений, оценка рисков; Проектирование Архитектуры: Разработка архитектуры решений, обеспечивающей соответствие требованиям и согласование с корпоративной архитектурой; Выбор Технологий и Рефакторинг: Поиск эффективных технологий, организация оптимизации кода (рефакторинг); Документирование и Поддержка: Разработка и поддержка актуальной документации проектных решений; Метдология и Контроль: Разработка и контроль соблюдения методологии разработки, контроль соответствия требованиям CI/CD; Взаимодействие: Участие во взаимодействии с заказчиками и пользователями, поддержкой; Интеграция и Проверка: Проверка соответствия проектных решений требованиям интеграции; Контроль Качества: Контроль качества и полноты реализации, устранение технического долга; Совершенствование: Поиск и внедрение лучших практик, совершенствование алгоритмов и передача знаний; Требования: высшее техническое образование; релевантный опыт работы (DWH); экспертные знания в области проектирования высоконагруженных потоков данных, обеспечивающих поставку данных в режиме реального времени (в сжатые временные отрезки); опыт работы с инструментами потоковой загрузки данных (Apache Kafka, Apache Spark Streaming); опыт работы с платформами для хранения и распределенных вычислений данных в режиме реального времени (такие как Hazelcast, Redis или аналоги); опыт работы с PostgreSQL, ClickHouse, HDFS; базовые знания по архитектуре и инструментам построения ETL для ХД (Informatica, MS SSIS, иное); навык работы с любым ER-средством; знание XML и XSD-спецификаций; знание процесса непрерывного развертывания и опыт установки изменений в рамках конвейера CI/CD; навык работы со средствами версионного контроля; опыт работы в Agile командах; знания в финансовой предметной области приветствуются Приветствуется опыт работы и желание развиваться в следующем технологическом стеке: ADB ORACLE Postgres Pro Arenadata DB / Arenadata Hadoop Apache NiFi Условия: гибридный режим работы; релокационный пакет.