|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
10.07.2022, 12:19 | #1 |
Регистрация: 12.08.2017
Сообщений: 7
|
Кто такой Data Engineer (ETL Engineer)?
Приветствую всех!
На мою вакансию Scala-разработчика почему-то в основном идут отклики на позиции Data инженера. Чуть реже ETL-инженера и Hadoop-разработчика. Почитав описания в интернетах (почти всегда блоги разных курсов), воображение рисует романтическую картинку инженера, который конструирует хитроумные пайпланы, опираясь на глубокий статистический анализ распределения нагрузки в кластере, канале и тд. При этом, еще и пишет код (надо думать чистый и покрытый тестами). А в чем в реальности состоит работа Data инженера (ETL-инженера, разницу между ними так и не понял до конца)? Скажем, мой усредненный типичный день разраба: часа 2 изучаю чужой-легаси код, 2 часа - пишу свой код, 10 минут - кофе, 1 час - код-ревью коллег, 1 час - митинги (они же дэйли, они же стэндапы, они же созвоны-разводы), 1 час - созвоны на коллективное проектирование чего-нибудь или демо для клиентов, 1 час - (ближе к вечеру выходных, конечно) - траблшутинг по мольбам саппортов (шутинг сводится или к датафиксу или просто к моральной поддержке коллег). Иногда вместо работы с кодом часа 2 уходит на CI/CD, деплой, докеризацию чего-нибуть. Еще реже думаем о том как оно там в кластере крутится. А как выглядит типичный день дата-инженера? Не получится что-нибудь типа: 1 час работы с кодом (который никто не ревьюит), а потом перекладывание руками файликов из одной hdfs-директории в другую и 100500 примитивных sql-запросов (безо всякой там заумной индексной оптимизации, как пишут в блогах курсов)? И по зарплате как? К примеру, скалист-миддл может сейчас претендовать на 200-250 чистыми? А Data-ETL-Hadoop инженеры? |