- Проектирование пайплайнов загрузки данных;
- Оптимизация трансформаций (T-SQL, Spark);
- Реализация инкрементальной загрузки;
- Проектирование DWH-слоев (RAW, STG, DM);
- Настройка партиционирования и индексов;
- Подключение источников (API, SaaS, БД);
- Обработка стриминговых данных (Kafka);
- Настройка алертинга для ETL-джобов;
- Логирование ключевых этапов;
- Описание процессов и схем данных;
- Ведение Data Dictionary.
- Уверенное знание SQL (в т.ч. оконные функции, CTE, оптимизация запросов)
- Опыт работы с ClickHouse: создание таблиц, партиционирование, настройки хранения
- Опыт работы с PostgreSQL
- Опыт работы с Apache Airflow: создание DAGов, настройка расписаний, алертов, ретраев
- Опыт использования Apache NiFi: создание и поддержка потоков данных
- Уверенное владение Python: написание скриптов для загрузки и обработки данных
- Понимание принципов построения DWH
- Опыт отладки и мониторинга ETL-процессов
- Оформление в соответствии с ТК РФ и полностью «белый» доход;
- Работа в аккредитованной IT компании и все полагающиеся льготы — ипотека, отсрочка и др.;
- Работа в удаленном формате, доверие к сотрудникам и гибкое начало рабочего дня;
- ДМС для сотрудников и льготное страхование для семьи от СБЕР Здоровье после прохождения испытательного срока;
- Конкурентный уровень заработной платы — мы высоко оцениваем любой вклад в развитие наших проектов;
- Драйвовая команда и прозрачная коммуникация внутри — помогаем друг другу, а открытые руководители умеют слышать своих сотрудников.