DATALEARN | DE - 101 | МОДУЛЬ 4-3 Обзор рынка ETL инструментов

• Дмитрий Аношин представляет модуль "Обзор рынка решений".  

• Призывает подписываться на канал, ставить лайки и делиться в соцсетях.  

• Инструменты интеграции данных делятся на группы по внешнему виду и удобству, типу трансформации данных и языку программирования.  

• Примеры инструментов: Apache Airflow, Debut, Spark, U-SQL, Python, C# и другие.  

• Инструменты делятся на коммерческие и бесплатные, облачные и локальные.  

• Примеры: Pentaho, Talend, Microsoft Integration Services, Informatica PowerCenter.  

• Примеры облачных инструментов: Motilion, Fivetran, Stitch, Columna.  

• Примеры применения: классические хранилища данных и решения для больших данных.  

• Примеры: PostgreSQL, Microsoft SQL Server, Apache Hadoop.  

• Примеры инструментов: Apache Airflow, Apache Spark, Microsoft Integration Services.  

• Примеры коммерческих инструментов: Talend, Informatica PowerCenter, Microsoft Integration Services.  

• Примеры облачных инструментов: Motilion, Fivetran, Stitch, Columna.  

• Примеры аналитических инструментов: Apache Airflow, Apache Spark, Microsoft Integration Services.  

• Примеры бесплатных инструментов: Pentaho, Talend.  

• Примеры платных инструментов: Informatica PowerCenter, Microsoft Integration Services.  

• Примеры облачных инструментов: Motilion, Fivetran, Stitch, Columna.  

• Примеры аналитических инструментов: Apache Airflow, Apache Spark, Microsoft Integration Services.  

• Примеры бесплатных инструментов: Pentaho, Talend.  

• Примеры платных инструментов: Informatica PowerCenter, Microsoft Integration Services.  

• Примеры облачных инструментов: Motilion, Fivetran, Stitch, Columna.  

• Примеры аналитических инструментов: Apache Airflow, Apache Spark, Microsoft Integration Services.  

• Примеры бесплатных инструментов: Pentaho, Talend.  

• Примеры платных инструментов: Informatica PowerCenter, Microsoft Integration Services.  

• Примеры облачных инструментов: Motilion, Fivetran, Stitch, Columna.  

• Примеры аналитических инструментов: Apache Airflow, Apache Spark, Microsoft Integration Services.  

• Примеры бесплатных инструментов: Pentaho, Talend.  

• Примеры платных инструментов: Informatica PowerCenter, Microsoft Integration Services.  

• Примеры облачных инструментов: Motilion, Fivetran, Stitch, Columna.  

• Примеры аналитических инструментов: Apache Airflow, Apache Spark, Microsoft Integration Services.  

• Примеры бесплатных инструментов: Pentaho, Talend.  

• Примеры платных инструментов: Informatica PowerCenter, Microsoft Integration Services.  

• Примеры облачных инструментов: Motilion, Fivetran, Stitch, Columna.  

• Примеры аналитических инструментов: Apache Airflow, Apache Spark, Microsoft Integration Services.  

• Примеры бесплатных инструментов: Pentaho, Talend.  

• Примеры платных  

• Автор работал с облачными инструментами в Amazon, внедряя новые фичи и помогая в их развитии.  

• Пример: использование Motilin для прототипирования и создания решений.  

• Мотилин работает с четырьмя аналитическими хранилищами данных: Redshift, Synapse, Ager Synapse, Big Query и Snowflake.  

• Облачные сервисы сложно запустить бесплатно, часто требуется корпоративная почта.  

• Пример: создание Shift, Snowflake и запуск Motilin для проверки их работы.  

• Файф Тренд отличается отсутствием графического интерфейса и акцентом на пошаговые настройки.  

• Файф Тренд противоположен Motilin, который использует графический интерфейс и красивые картинки для демонстрации работы.  

• Debit позволяет хранить трансформации в SCD и использовать Google или AWS функции.  

• Debit популярен среди западных инженеров данных.  

• ETL Glue позволяет использовать Pais Park или Scala для описания трансформаций данных.  

• ETL Glue хорошо работает с решениями на AWS, такими как Redshift, Spectrum и Spectrum.  

• ETL для Ager Data Factor позволяет выбирать компоненты для выполнения различных задач.  

• Недавно опубликована книга по Ager Data Factor, которая доступна в Telegram канале.  

• Скачать Pentaho Data Integration и поработать с ним, создав джоб трансформации данных.  

• На следующем уроке будут рассмотрены системы и книги, помогающие освоить Pentaho.