Учебное пособие 1-Pyspark с Python-Введение и установка Pyspark

• Видео начинается с представления автора и его канала на YouTube.  

• Автор обсуждает Apache Spark и его использование с Python.  

• Он объясняет, что Apache Spark - это распределенная система, которая позволяет выполнять рабочие нагрузки в 100 раз быстрее, чем MapReduce.  

• Он также упоминает, что Apache Spark прост в использовании и может быть использован с различными языками программирования, включая Java, Scala, R и Python.  

• Автор переходит к установке библиотеки PySpark и демонстрирует, как ее использовать для чтения наборов данных.  

• Он объясняет, что для установки PySpark необходимо создать новую среду и использовать команду pip install PySpark.  

• Затем он демонстрирует, как использовать PySpark для чтения набора данных, сохраненного в формате CSV.  

• Он также обсуждает различные опции, доступные для чтения набора данных, включая формат CSV, JDBC, очередь на парковку, схему, таблицу и текст.  

• Установка PySpark с помощью pip.  

• Создание CSV-файла с данными.  

• Использование опции "как" для указания заголовка.  

• Чтение CSV-файла с одной точкой.  

• Чтение CSV-файла с помощью Pandas DataFrame.  

• Получение информации о столбцах с помощью "df.info".  

• Установка PySpark для работы с облачными сервисами.  

• Продолжение обучения на следующем занятии.