Установите Apache PySpark на ПК с Windows | Руководство по установке Apache Spark

• Видео рассказывает о настройке Apache Spark на ПК с Windows.  

• Для пользователей Mac есть ссылка на пошаговую процедуру установки.  

• Необходимые условия: Java Development Kit JDK 8 и выше и последняя версия Python.  

• Скачайте JDK с сайта java.com.  

• Распакуйте файл в каталог C:\java\jdk.  

• Завершите установку JDK.  

• Скачайте Python с сайта python.org.  

• Добавьте Python в путь, чтобы упростить установку.  

• Завершите установку Python.  

• Скачайте Spark с сайта apache.org.  

• Выберите версию Hadoop 2.7 и Spark 3.3.1.  

• Извлеките файл tar в каталог C:\spark.  

• Скачайте утилиту winutils для Hadoop 2.7.  

• Извлеките winutils в каталог C:\hadoop\bin.  

• Завершите установку зависимостей.  

• Проверьте версии Java и Python.  

• Настройте переменные окружения для Java, Hadoop и Spark.  

• Укажите пути для Java, Hadoop и Spark в системных переменных.  

• Запустите оболочку Spark через командную строку.  

• Проверьте версию Spark и Scala.  

• Убедитесь, что PySpark работает нормально.  

• PySpark должен работать нормально.  

• Проверьте версию PySpark.  

• Видео завершается проверкой установки и подготовкой к следующему видео.  

• Версия 3.31 оболочки PySpark работает нормально.  

• Для визуализации приложения Spark можно использовать веб-интерфейс.  

• Веб-интерфейс позволяет отслеживать статус заданий и состояние кластера.  

• Веб-интерфейс показывает статус заданий: "успешно выполнено", "не выполнено".  

• Можно отслеживать различные параметры, такие как свойства Spark и Java Home.  

• Доступны этапы выполнения заданий и информация о хранилище и исполнителях.  

• На следующей лекции будет создана среда IDE с использованием дистрибутива Anaconda.  

• Можно использовать Jupyter Notebook и PyCharm для работы со Spark.  

• Будут даны ссылки и переменные окружения для запуска Spark.  

• Автор надеется, что лекция была полезной.  

• Призывает подписаться на канал и нажать на колокольчик для уведомлений.  

• Рекомендует подписаться на социальные сети, ссылки на которые приведены в описании.