Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > IT форум > Общие вопросы по программированию, компьютерный форум
Регистрация

Восстановить пароль

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 10.07.2022, 12:19   #1
Andrey9181spb
 
Регистрация: 12.08.2017
Сообщений: 7
По умолчанию Кто такой Data Engineer (ETL Engineer)?

Приветствую всех!
На мою вакансию Scala-разработчика почему-то в основном идут отклики на позиции Data инженера. Чуть реже ETL-инженера и Hadoop-разработчика.

Почитав описания в интернетах (почти всегда блоги разных курсов), воображение рисует романтическую картинку инженера, который конструирует хитроумные пайпланы, опираясь на глубокий статистический анализ распределения нагрузки в кластере, канале и тд. При этом, еще и пишет код (надо думать чистый и покрытый тестами).

А в чем в реальности состоит работа Data инженера (ETL-инженера, разницу между ними так и не понял до конца)?

Скажем, мой усредненный типичный день разраба: часа 2 изучаю чужой-легаси код, 2 часа - пишу свой код, 10 минут - кофе, 1 час - код-ревью коллег, 1 час - митинги (они же дэйли, они же стэндапы, они же созвоны-разводы), 1 час - созвоны на коллективное проектирование чего-нибудь или демо для клиентов, 1 час - (ближе к вечеру выходных, конечно) - траблшутинг по мольбам саппортов (шутинг сводится или к датафиксу или просто к моральной поддержке коллег). Иногда вместо работы с кодом часа 2 уходит на CI/CD, деплой, докеризацию чего-нибуть. Еще реже думаем о том как оно там в кластере крутится.

А как выглядит типичный день дата-инженера? Не получится что-нибудь типа: 1 час работы с кодом (который никто не ревьюит), а потом перекладывание руками файликов из одной hdfs-директории в другую и 100500 примитивных sql-запросов (безо всякой там заумной индексной оптимизации, как пишут в блогах курсов)?

И по зарплате как?
К примеру, скалист-миддл может сейчас претендовать на 200-250 чистыми? А Data-ETL-Hadoop инженеры?
Andrey9181spb вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц