Работа на платформе Data Lake (на базе Hadoop) с нуля, настройка всех необходимых компонентов для построения современного стека для работы с данными. Платформа Data Lake: будет являться частью централизованной Data Platform и поможет в стандартизации и автоматизации бизнес-процессов по загрузке и обработке “сырых” данных, обеспечении нужных таблиц в корпоративном реляционном хранилище DWH и развитии Data Science инициатив. Потенциальные пользователи платформы будут разработчики и аналитики из продуктовых команд, Data Scientiest-ы, которые будут решать прикладные задачи бизнеса.
Обязанности:
участие в пилоте по разворачиванию Data Lake (Hadoop);
развернуть дистрибутив Hadoop на целевом железе;
поддерживать и проводить troubleshooting, тестирование и анализ возникающих issues
платформы;
настроить репликацию данных между Production и DR площадками;
оказывать поддержку разработчикам Data Lake из продуктовых команд;
настроить мониторинги по основным сервисам (HDFS, Yarn, Hive, Spark, Kerberos +
Ranger, Jupyterhub и др.)
проводить RnD и изучать новое open-source ПО
Наш стек:
Hadoop (HDFS, YARN, Spark, Hive), Airflow, Bitbucket, Teamcity, Nexus, Jira/Confluence, Ansible, Docker, Grafana/Zabbix, Yandex.Cloud
Требования, опыт работы:
Администрирование Hadoop кластеров;
Администрирование OC Linux (RHEL, CentOS);
Знание CI/CD практик
Опыт написания shell-скриптов
Условия, что мы предлагаем:
Оклад от 350000 до 500000 рублей, по итогам собеседования;
Официальное оформление по ТК РФ, белая зарплата;
Удаленный формат работы с гибким началом дня;
Интересные задачи и участие в крупных проектах;
Работа в современной IT компании в команде профессионалов;
Финансовый, профессиональный и карьерный рост.
Контакты
+7 (916) 395-17-37 (WhatsApp/Viber/Telegram)
info@best-personal.online
Чтобы откликнуться на эту вакансию, пришлите на почту info@best-personal.online свое резюме, обязательно укажите в теме письма название вакансии.
Ваше резюме будет рассмотрено в ближайшее время и будет сохранено в базе агентства.