Разработчик на Python

Увлекательный проект в банке ВТБ. Только ленивый не говорит о Big data, но что это такое и как это работает — понимает вряд ли.  Начнём с самого простого — терминология. Говоря по-русски, Big data — это различные  инструменты, подходы и методы обработки как структурированных, так и неструктурированных  данных для того, чтобы их использовать для конкретных задач и целей. В современном мире Big data — социально-экономический феномен, который связан с тем, что  появились новые технологические возможности для анализа огромного количества данных.  Фактически, Big data — это решение проблем и альтернатива традиционным системам управления  данными. Объёмы неоднородной и быстро поступающей цифровой информации обработать традиционными  инструментами невозможно. Сам анализ данных позволяет увидеть определённые и незаметные  закономерности, которые не может увидеть человек. Это позволяет оптимизировать все сферы  нашей жизни — от государственного управления до производства и телекоммуникаций. Участие в разработке инновационного продукта для работы с данными и построения моделей в  Банке. 

Обязанности: Коммуникация с аналитиком. 

Изучение и проработка бизнес-требований, составленных аналитиком. Р

еализация ETL-процессов на Python и Spark на основании бизнес-требований. Реализация механизмов работы с внешними системами (брокеры сообщений, базы данных). 

Реализация авто-тестов.

Построение CI/CD пайплайнов. 

Проведение ревью-кода других разработчиков. 

Требования: Опыт разработки на Python от 3 трех лет. 

Опыт работы с Airflow или другими планировщиками.

Опыт работы с брокерами сообщений. 

Знание основных алгоритмов и структур данных. 

Знание SQL, Hive/Impala, Spark. 

Умение работать с системами контроля версий (git).

Будет плюсом если у тебя есть: Понимание особенностей СУБД – Hadoop, PostgreSQL. 

Понимание концепций непрерывной интеграции и доставки. 

Понимание подходов к оптимизациипроизводительности Python и Spark приложений. 

Знание Kubernetes.

Условия: Оформление по ТК РФ, ДМС.

 Возможность работы удаленно. 

Команда профессионалов, готовых делиться опытом. 

Социальный пакет, включающий ДМС, страхование выезжающих за рубеж. 

Льготное кредитование, программа корпоративных скидок. 

Профессиональные обучающие курсы и конференции в России и за рубежом.