Что нужно знать Джуну Дата Инженеру | Стрим для Data Engineer

• Приветствие зрителей и проверка звука.  

• Ожидание начала стрима.  

• Напоминание о цели набрать миллион зрителей.  

• Вопрос о смене работы на старте карьеры.  

• Совет выходить на рынок и оценивать свою стоимость.  

• Важность хорошей команды на текущей работе.  

• Потолок зарплат для дата-инженеров.  

• Примеры зарплат в долларах.  

• Стоимость ведения телеграм-канала.  

• Вопросы о навыках для работы в киберспорте.  

• Опыт работы на двух проектах одновременно.  

• Возможность вкатиться в Data Science на текущем месте.  

• Удаленная работа для дата-инженеров.  

• Варианты работы в крупных компаниях и стартапах.  

• Рекомендации по выбору оборудования для работы.  

• Основные языки программирования: Python, Scala, Java.  

• Важность знания Python и SQL.  

• Наслаивание технологий после изучения базовых.  

• Инженеры по данным скачивают и хранят большие данные.  

• Данные записываются в таблицы при действиях пользователей.  

• Эти данные накапливаются в дата-центрах и требуют специальных систем для хранения.  

• Hadoop HDFS и HDFS распределяют данные по нескольким серверам для надежности.  

• S3 объектное хранилище позволяет хранить различные типы файлов.  

• Эти системы предназначены только для хранения данных.  

• Системы управления базами данных, такие как PostgreSQL, позволяют обрабатывать данные.  

• PostgreSQL позволяет проводить аналитику и выполнять запросы с использованием языка SQL.  

• MySQL и другие базы данных имеют свои особенности и архитектуры.  

• Greenplum и ClickHouse предназначены для аналитических задач.  

• Greenplum распределен на нескольких серверах для ускорения обработки данных.  

• ClickHouse имеет множество функций для аналитиков, но использует SQL-подобный язык.  

• Oracle и другие базы данных используются в государственных и коммерческих организациях.  

• Компании переходят на новые решения, такие как Spark и MongoDB.  

• Все эти базы данных имеют свои уникальные особенности и задачи.  

• Существуют инструменты, которые только обрабатывают данные, а не хранят их.  

• Пример такого инструмента - Spark, который сочетает Python и SQL.  

• Spark позволяет обрабатывать большие объемы данных, выполнять сложные трансформации и оптимизировать ресурсы.  

• Spark Streaming позволяет обрабатывать данные в реальном времени.  

• Это отдельное направление, но в целом работает аналогично обычной обработке.  

• HDFS и MapReduce - старые технологии для обработки данных.  

• HDFS используется для хранения данных, а MapReduce - для их обработки.  

• Trivy - быстрый инструмент для чтения и записи данных, похожий на Spark.  

• Spark часто используется как перекладчик данных между различными системами.  

• Он позволяет выполнять трансформации в оперативной памяти, что ускоряет процесс.  

• Spark может работать с различными хранилищами данных, такими как HDFS и S3.  

• Дата-инженер занимается подготовкой данных для аналитиков.  

• Он настраивает загрузку данных, выполняет трансформации и предоставляет аналитикам готовые данные.  

• Аналитики используют эти данные для создания отчетов и визуализации.  

• PowerBI и Metabase - популярные инструменты для визуализации данных.  

• PowerBI может читать данные из различных источников и строить графики.  

• Metabase используется реже, но также популярен.  

• Spark используется как перекладчик данных между различными системами.  

• ClickHouse - аналитическая система, которая помогает снизить нагрузку на HDFS.  

• Spark загружает финальные таблицы в ClickHouse, который затем подключается к PowerBI.  

• Структурированные данные хранятся в СУБД, таких как PostgreSQL.  

• Данные из PostgreSQL преобразуются в таблицы для загрузки в другие системы.  

• Трансформация данных включает удаление пустых значений и фильтрацию.  

• PostgreSQL не справляется с большими объемами данных.  

• Множество команд и заказчиков используют PostgreSQL как источник данных.  

• Spark используется для объединения данных из разных источников в единое хранилище.  

• Power BI уходит до конца ноября, переход на SuperSet.  

• Важно понимать термины, такие как "прод", "легаси", "миграция", через опыт и стримы.  

• Обработка и хранение данных требуют понимания различных технологий.  

• Оркестраторы, такие как Spark, используются для управления данными.  

• Spark позволяет читать данные из разных источников и записывать их в другие системы.  

• Spark имеет интерфейс, позволяющий контролировать процесс и ресурсы.  

• Стриминг данных означает постоянное обновление данных в реальном времени.  

• Брокеры сообщений, такие как Kafka, накапливают и обрабатывают эти данные.  

• Kafka позволяет отслеживать изменения в данных в реальном времени.  

• Для дата-инженера достаточно знать основы Kafka.  

• Рекомендуется посмотреть видео на YouTube для лучшего понимания.  

• Kafka помогает обрабатывать большие объемы данных в реальном времени.  

• HDFES используется в Сбербанке, но не рекомендуется для новичков.  

• Spark лучше использовать для обработки данных, чем Pandas.  

• Spark подходит для больших объемов данных и многомашинной обработки.  

• Актуальный стек для российского рынка включает Spark и PostgreSQL.  

• Рекомендуется переписывать SQL-запросы на Python для практики.  

• Для небольших объемов данных можно использовать локальные запросы в PostgreSQL.  

• Kafka используется для сбора данных в реальном времени.  

• Важно знать основные структуры и типы данных Python.  

• Kafka накапливает данные и может удалять их по истечении времени.  

• Оркестраторы запускают программы по расписанию.  

• Популярные оркестраторы: Airflow, Apache Airflow, Nagios, Argo.  

• Airflow популярен на российском рынке и часто упоминается на собеседованиях.  

• Git используется для контроля версий кода и совместной работы.  

• Bash — это язык для написания команд в терминале.  

• Важно знать команды Bash для работы с терминалом.  

• Jupiter Notebook — это программа для написания кода, похожая на PyCharm и VS Code.  

• Используется для написания кода на Python.  

• Jupiter Notebook выглядит как блокнот и позволяет писать код.  

• Возможность исполнения кода прямо в ячейке.  

• Удобство для тестирования и отладки кода.  

• Пример использования в проекте Holt и Pipeline.  

• Опыт разработки пайплайнов и знание Python.  

• Важность обучения Python и Spark.  

• Рекомендации по использованию ресурсов для обучения.  

• Работа инженеров данных по спринтам Scrum и Agile.  

• Организация работы в команде с тим-лидом и распределением задач.  

• Примеры из личного опыта работы в команде.  

• Docker как инструмент для переноса и запуска программ.  

• Kubernetes как более сложная система, но не обязательная для изучения.  

• Важность знания Docker для работы в индустрии.  

• Знание PostgreSQL, Shuffle, оптимизации и работы с файлами.  

• Вопросы по Python и Spark, включая выделение ресурсов.  

• Рекомендации по изучению материалов в RUMAP.  

• Предпочтение работы в PyCharm.  

• Возможность использования пиратских версий PyCharm Pro.  

• Отсутствие видео по RUMAP проектам, но планы по созданию таких видео.  

• Hadoop используется для хранения больших объемов данных.  

• Hadoop включает файловую систему HDFS и множество программ для обработки данных.  

• Некоторые программы устарели и не используются активно.  

• В Сбербанке данные хранятся в Hadoop.  

• Данные поступают из множества источников, таких как PostgreSQL.  

• Postgre используется для работы с данными, включая создание таблиц и написание SQL-запросов.  

• Orchestration позволяет управлять запуском программ по расписанию.  

• Airflow используется для настройки и управления процессами.  

• Airflow позволяет автоматически запускать программы по заданному расписанию.  

• Spark используется для загрузки данных в Hadoop.  

• HBase позволяет управлять данными и выполнять SQL-запросы.  

• Данные могут быть загружены в ClickHouse для анализа и визуализации.  

• Kafka используется для стриминга данных.  

• Docker позволяет собрать и запустить систему для обработки данных.  

• Система может быть использована для коммерческих и учебных целей.  

• Можно адаптировать текущую деятельность для роли Data Engineer.  

• Важно показать опыт и навыки на собеседовании.  

• Испытательный срок помогает оценить реальные навыки кандидата.  

• Джуны начинают с простых задач, таких как работа с Spark и HBase.  

• Мидлы должны иметь конкретные кейсы и примеры работ.  

• Важно быть готовым к обучению и решению задач на испытательном сроке.  

• Конфлюенс используется для автоматизации сбора документации.  

• Включает информацию о таблицах, типах данных и частотах запуска программ.  

• Конфлюенс - это система для создания и управления документацией, похожая на Word и Google Docs.  

• В первые месяцы работы в крупных компаниях, таких как банки, доступ к данным может быть долгим процессом.  

• Это время можно использовать для изучения кода и общения с коллегами.  

• Существует множество архитектур и инструментов для работы с данными.  

• Некоторые инструменты дорогие и стабильные, другие дешевые, но нестабильные.  

• В России многие зарубежные сервисы недоступны, поэтому приходится использовать отечественные решения.  

• Гримплам хранит и обрабатывает данные с помощью SQL.  

• Данные могут поступать из разных источников, включая API и JSON.  

• Python используется для обработки данных и их хранения в S3.  

• Спарк используется для загрузки данных в Гримплам.  

• Kafka используется для обработки данных в реальном времени.  

• Гримплам загружен данными, поэтому для простых задач используется ClickHouse.  

• Обсуждение данных, поступающих в базы данных, и их источников.  

• Вопросы о работе на фрилансе и его влиянии на резюме.  

• Обсуждение использования различных инструментов для распределения задач.  

• Вопрос о загрузке данных из Гримплама в ClickHouse.  

• Решение о загрузке данных было принято не автором, поэтому он не может объяснить мотивацию.  

• Автор считает, что лучше использовать Spark для загрузки данных в ClickHouse.  

• Автор устал за полтора часа и предлагает сделать отдельный стрим по бут кэмпу.  

• Планируется обсуждение стоимости и полезности бут кэмпа.  

• Стоимость бут кэмпа составляет 5-8 тысяч рублей в месяц.  

• Цель: обучение в коллективе, общий чат, созвоны раз в неделю, корректировка резюме.  

• Ведение таблицы с статусами участников.  

• Корректировка резюме и адаптация проектов.  

• Мотивация участников через созвоны и общий чат.  

• Совместные проекты на GitHub и Code Review.  

• Возможность адаптации проектов под себя.  

• Мотивация через просмотр и анализ чужих проектов.  

• Буткэмп рассчитан на любое время, но лучше завершить за месяц.  

• Мотивация участников: быстрое прохождение обучения и получение работы.  

• Буткэмп не для джунов, а для тех, кто хочет расти.  

• Адаптация рабочего опыта и выход на рынок труда.  

• Возможность личного созвона с автором.  

• Мотивация автора: заработок денег, мотивация участников: получение работы.  

• Время на обучение с нуля: до полугода.  

• Мотивация организатора: заработок денег, мотивация участников: выход на работу.  

• Первый поток планируется с 1 июня.  

• Обратная связь и возможные изменения в программе.  

• Вопросы о передаче данных через JDBC.  

• Возможность расшаривания данных и архитектуры.  

• Завершение стрима и благодарность зрителям.