Разработчик на Python
Увлекательный проект в банке ВТБ. Только ленивый не говорит о Big data, но что это такое и как это работает — понимает вряд ли. Начнём с самого простого — терминология. Говоря по-русски, Big data — это различные инструменты, подходы и методы обработки как структурированных, так и неструктурированных данных для того, чтобы их использовать для конкретных задач и целей. В современном мире Big data — социально-экономический феномен, который связан с тем, что появились новые технологические возможности для анализа огромного количества данных. Фактически, Big data — это решение проблем и альтернатива традиционным системам управления данными. Объёмы неоднородной и быстро поступающей цифровой информации обработать традиционными инструментами невозможно. Сам анализ данных позволяет увидеть определённые и незаметные закономерности, которые не может увидеть человек. Это позволяет оптимизировать все сферы нашей жизни — от государственного управления до производства и телекоммуникаций. Участие в разработке инновационного продукта для работы с данными и построения моделей в Банке.
Обязанности: Коммуникация с аналитиком.
Изучение и проработка бизнес-требований, составленных аналитиком. Р
еализация ETL-процессов на Python и Spark на основании бизнес-требований. Реализация механизмов работы с внешними системами (брокеры сообщений, базы данных).
Реализация авто-тестов.
Построение CI/CD пайплайнов.
Проведение ревью-кода других разработчиков.
Требования: Опыт разработки на Python от 3 трех лет.
Опыт работы с Airflow или другими планировщиками.
Опыт работы с брокерами сообщений.
Знание основных алгоритмов и структур данных.
Знание SQL, Hive/Impala, Spark.
Умение работать с системами контроля версий (git).
Будет плюсом если у тебя есть: Понимание особенностей СУБД – Hadoop, PostgreSQL.
Понимание концепций непрерывной интеграции и доставки.
Понимание подходов к оптимизациипроизводительности Python и Spark приложений.
Знание Kubernetes.
Условия: Оформление по ТК РФ, ДМС.
Возможность работы удаленно.
Команда профессионалов, готовых делиться опытом.
Социальный пакет, включающий ДМС, страхование выезжающих за рубеж.
Льготное кредитование, программа корпоративных скидок.
Профессиональные обучающие курсы и конференции в России и за рубежом.