Большой Бесплатный Курс по NLP (Обработке Естественного Языка): Часть 1 - Предобработка

• Введение в курс по основам обработки естественного языка.  

• Важность понимания взаимодействия кода и естественного языка.  

• Переход к более продвинутым концептам, таким как модели трансформеров.  

• Установка библиотеки nltk через pip.  

• Импорт библиотеки и подгрузка необходимых инструментов.  

• Использование функции nltk.corpus для работы со стоп-словами.  

• Использование датасета из академического репозитория для определения спама в текстовых сообщениях.  

• Подгрузка и анализ данных с помощью Python.  

• Создание фильтра для определения спама.  

• Парсинг данных и извлечение меток и текстов.  

• Использование библиотеки Pandas для создания датафрейма.  

• Обрезка данных для устранения лишних элементов.  

• Создание чистого датасета с помощью Pandas.  

• Альтернативные методы работы с данными.  

• Советы по улучшению кода и избеганию ошибок.  

• Использование метода `columns` для переименования столбцов в датафрейме.  

• Анализ текста на наличие меток "спам" и "хам".  

• Подсчет количества строк и столбцов в датасете.  

• Проверка наличия пропущенных значений в столбце "лейбл".  

• Проверка наличия пропущенных значений в столбце "бори текст".  

• Импорт модуля регулярных выражений.  

• Примеры работы с регулярными выражениями на примере английских скороговорок.  

• Примеры базовой токенизации и удаления мусора из текста.  

• Использование регулярных выражений для поиска и исправления ошибок в тексте.  

• Примеры использования функций `findall` и `sub` для замены найденных паттернов.  

• Регулярные выражения позволяют применять действия ко всему, что соответствует паттерну.  

• Рассматриваются базовые операции с регулярными выражениями.  

• Переходим к предобработке данных, рассматривая набор данных для фильтрации спама.  

• Импортируем модуль string для работы с пунктуацией.  

• Удаляем пунктуацию из текста, чтобы избежать разночтений.  

• Создаем функцию для очистки текста от пунктуации.  

• Токенизация разбивает предложение на слова.  

• Импортируем модуль регулярных выражений и определяем функцию для токенизации.  

• Создаем новый столбец с токенизированным текстом.  

• Стоп-слова не несут смысловой нагрузки, но занимают ресурсы модели.  

• Используем библиотеку nltk для удаления стоп-слов.  

• Создаем новую колонку с текстом без стоп-слов.  

• Стемминг приводит слова к их основе или корню.  

• Используем стеммер Портера для приведения слов к корню.  

• Создаем функцию для стемминга текста.  

• Пример работы стеммера на различных словах.  

• Стекминг помогает снизить сложность понимания текста моделью.  

• Стемминг преобразует слова в их корневую форму.  

• Лиматизация учитывает контекст и часть речи, приводя слова к их словарной форме.  

• Пример: слово "пустой" стемминг преобразует в "пуст", а лиматизация - в "пустоту".  

• Викторизация преобразует текст в числовую векторную репрезентацию.  

• Метод подсчета создает матрицу документ-термин, где каждая ячейка показывает количество раз, когда слово встречается в документе.  

• Пример: использование функции fit для создания матрицы из текстового столбца датасета.  

• Пример использования сэмпла из 20 строк для демонстрации работы метода.  

• Викторизатор создает матрицу с превалирующим количеством нулевых значений.  

• Преобразование матрицы в разреженную матрицу с помощью библиотеки Pandas.  

• N-граммы разбивают текст на последовательности из n подряд идущих слов или символов.  

• Пример: униграммы, биграммы, триграммы и т.д.  

• Изменение функции clean\_text для работы с N-граммами.  

• Викторизация и N-граммы помогают анализировать текст и предсказывать его содержание.  

• Эти методы упрощают обработку текста и оптимизируют использование ресурсов.  

• Использование функции `hath` для вывода первых пяти строк.  

• Подготовка данных для алгоритма энграмм.  

• Инициализация объекта-вектора с параметром `reich` для биграмм.  

• Преобразование данных с помощью функции `transform`.  

• Вывод формы `x_count` и сравнение с результатом бэк-райзера.  

• Визуализация биграммных комбинаций с помощью функции `get_feature_names`.  

• Выбор первых двадцати текстовых сообщений.  

• Преобразование данных и вывод формы `sample`.  

• Преобразование матрицы в дата-фрейм и добавление названий столбцов.  

• Описание алгоритма TIF и его формулы.  

• Инициализация и преобразование данных с помощью `text_count`.  

• Вывод формы и признаков с помощью `get_feature_names`.  

• Выбор первых двадцати текстовых сообщений.  

• Преобразование данных и вывод формы `x_text_count_sample`.  

• Преобразование матрицы в дата-фрейм и добавление названий столбцов.  

• Сравнение результатов с предыдущими алгоритмами.  

• Переход к фича-инжинирингу признаков.  

• Добавление новых признаков, таких как длина сообщения и количество знаков препинания.  

• Обзор библиотеки Matplotlib для визуализации данных.  

• Импорт необходимых библиотек.  

• Особенности отображения графиков в Matplotlib.  

• Использование гистограммы для отображения распределения текстов по длине.  

• Фильтрация данных по меткам "спам" и "хам".  

• Настройка параметров гистограммы для отображения данных.  

• Визуализация распределения длины сообщений.  

• Подтверждение гипотезы о том, что спам содержит больше символов.  

• Проверка гипотезы о том, что пунктуация не помогает различать спам и хам.  

• Использование гистограммы для поиска отклонений и выбросов.  

• Пример трансформации признака "длина текста".  

• Пример трансформации признака "пунктуация".  

• Использование преобразования Бокса-Кокса для стабилизации дисперсии данных.  

• Применение степенной функции для преобразования данных.  

• Визуализация результатов трансформации.  

• Заключение и прощание.