Дата-инженер: данные — в базу, миллионы — в карман

Внутри каждой сферы, способной генерировать доход или пользу для общества, есть свой золотой ключик. В промышленности — это нефть, в медицине — пенициллин, в бизнесе — массивы данных. Дата-инженер — это человек, который занимается добычей, обработкой и хранением информации, ложащейся в основу успеха компании.

Что такое дата-инжиниринг

Крутой дядька-бизнесмен, желающий увеличить прибыль или убрать издержки, обязан поработать с данными. Контроль качества, жизненные циклы продуктов и процессов, экономика, автоматизация и менеджмент — все это базируется на инфе. Храниться она может везде — от экселевских таблиц и сайтов до CRM и САПР.

Дата-инженер собирает все источники в кучу и пишет удобную инфраструктуру для взаимодействия. Он играет роль папки для дата-аналитиков и дата-сайентистов — впоследствии первые рисуют графики с циферками, а вторые — тренируют алгоритмы искусственного интеллекта и делают высокоточные прогнозы.

Чем занимаются дата-инженеры

Если превратить каждую обязанность дата-инженера в камушек, и загрузить в тележку с осликом — у бедного животного переломится хребет. Такие спецы:

• настраивают ETL-процессы (extract, transform и load) — достают, трансформируют и загружают данные в базы;
• проводят первичные чистки — удаляют дубликаты, ошибки и нерелевантные поля;
• настраивают мониторинг — «братишка, давай, в следующий ролик скажи, что дата-инженер тоже чут чут девопс»;
• разрабатывают и поддерживают базы — делают так, чтобы нужная информация всегда была на виду, с возможностью быстрого извлечения;
• оптимизируют производительность — не позволяют базам ломаться под высокими нагрузками.

В глобальном плане задача у дата-инженера одна. Эксперт берет данные из различных источников → преобразовывает их (например, меняя форматы) → помещает «чистую» инфу в базу → делает так, чтобы инфраструктура работала без его участия.

Список хард-скиллов дата-инженера

Дата-инжиниринг — направление, не относящееся к числу однозначно легких. Однако ключевых хардовых скиллов здесь мало. Первый — базы данных и SQL. Специалист обязан понимать, что такое БД, и как доставать инфу через запросы. Эксперты такого профиля — не о простом select, а о сложных where, join, оконных функциях и пр.

Второй — язык программирования. Желательно, Java или Python. На уровне крепкого мидла, знающего синтаксис, API и библиотеки для работы с данными. Выбор между «Жабой» и «Гадюкой» не принципиален. Оба решения хороши — как в плане простоты или скорости освоения инструментов, так и по функционалу.

Востребованность направления

Дата-инженер — профессия востребованная. Не веришь? Давай зайдем на Glassdoor и приценимся к вакансиям. Все материалы актуальны на конец апреля 2024-го:

1. Вбиваем в поиск запрос «Data Engineer», получаем 3 507 вакансий. К слову, у «Data Analyst» — 10 962, у «Data Scientist» — 6 513. Получается, что отрасль популярная, но в сфере работы с данными есть и более востребованные индустрии.
2. Подавляющее большинство вакансий (3 339 шт., 95,35%) — про фултайм. Сайт европейский, поэтому людям, которые ищут предложения тут, лучше быть готовыми к передислокации.
3. По направлениям вакансии разбиты достаточно интересно. В IT — 1 547 предложений, в финансах — 419, в менеджменте-консалтинге — 337, в техобслуживании и поддержке — 176.
4. Больше половины вакансий (2 569 шт., 73,36%) — для мидлов. Новичков (entry level) ищут всего лишь 104 компании. Всем остальным нужны сеньоры, способные взять на себя расширенный список обязанностей.

Статистика кажется крутой, если знать один факт. Профессию можно освоить без технического образования или опыта работы в смежных областях, подарив себе путевку в безбедное будущее.

Средние уровни зарплат

С зарплатами у дата-инженеров тоже все в порядке. На сайте Glassdoor действительно опубликовано свыше 3,5 тыс. вакансий с вилкой 73-205$ тыс. в год.

Джунам предлагают 50-75$ тыс., мидлам — порядка 100-120$ тыс. в среднем. Оплата труда сеньоров складывается из количества дополнительных опций и обязанностей.

На кадровом рынке СНГ статистика кажется аналогичной (с поправкой на уровень жизни и общую зарплатную тенденцию). Переходя на hh.ru, мы видим около 1 444 вакансий с указанным доходом до 5,9$ тыс. в месяц. Самая широкая категория тоже предусмотрена для мидлов — от 1 300$ до 2 450$ в мес. соответственно.

Как стать дата-инженером

Чумба, все очень просто. Хочешь стать крутым дата-инженером, познать дзен в обращении с базами данных и начать приносить пользу крупным компаниям? Добро пожаловать на курсы в школу TeachMeSkills! Тебя ждут дистанционные занятия на платформе Zoom, практикующие менторы из международных команд и тренинги по поиску работы в IT от экспертов Карьерного центра.