Named Entity Recognition (NER) - Распознавание именованных сущностей // Language Processing (NLP)

• Тема вебинара: распознавание имен сущностей в области обработки естественного языка.  

• Вебинар проводится в одностороннем формате, вопросы можно задавать в чате.  

• Ведущий Андрей Коняев, преподаватель в отпуске, работает в компании Deutsche Telekom.  

• Андрей Коняев рассказывает о своем образовании и опыте работы в области NLP.  

• Компания Deutsche Telekom занимается решениями в области обработки естественного языка.  

• Ведущий приглашает задавать вопросы в чате и в Telegram.  

• Вебинар длится 90 минут, включает знакомство с компанией Otto и основную часть по распознаванию именованных сущностей.  

• Будут рассмотрены метрики качества, практика и демонстрация решений для русского и английского языков.  

• В конце будет рассказано о курсе в Otto и проведена рефлексия.  

• Ведущий предлагает участникам написать о себе в чате, чтобы познакомиться.  

• Otto создает онлайн-курсы для специалистов разных уровней подготовки.  

• Курсы включают общие направления, такие как программирование, DevOps, аналитика и другие.  

• Основные цели: рассказать о распознавании именованных сущностей, описать подход к решению задач, использовать метрики качества и написать базовый сервис для нахождения именованных сущностей.  

• Распознавание именованных сущностей включает поиск релевантной информации в текстах, как письменных, так и устных.  

• Цель - автоматически находить и классифицировать информацию по определенным категориям.  

• Ведущий предлагает участникам предложить, для чего можно использовать распознавание именованных сущностей.  

• Нейронные сети могут автоматически обрабатывать запросы в чатах.  

• Пример: бот может помочь оператору в случае проблем с каршерингом.  

• Маскирование персональных данных и выделение тегов в новостях.  

• Нейронные сети могут маскировать конфиденциальные данные.  

• Пример: замена личных данных на случайные значения перед отправкой в большие языковые модели.  

• Обработка документов и построение онтологий.  

• Нейронные сети помогают различать двузначные слова в тексте.  

• Пример: определение, о каком Вашингтоне идет речь в тексте.  

• Поиск информации, например, номеров телефонов из текста.  

• Нейронные сети могут направлять перевод в зависимости от контекста.  

• Пример: разрешение неоднозначных ситуаций в текстах.  

• Развитие вопрос-ответных систем с помощью чат-ботов.  

• Нейронные сети могут использоваться для поиска значимых последователей в ДНК.  

• Передача обращений граждан в целевые ведомства.  

• Классификация запросов на основе упоминаемых сущностей.  

• Нейронные сети могут быть обучены с учителем или без учителя.  

• Пример: использование больших языковых моделей для поиска именованных сущностей.  

• Проблемы с качеством и ограниченностью категорий у готовых сервисов.  

• Многозначные слова и омонимы создают сложности.  

• Пример: различение названий магазинов и их типов.  

• Важность однородной разметки для качественного обучения моделей.  

• Можно использовать готовые массивы данных из интернета.  

• Пример: портал Facedata как источник моделей и датасетов.  

• Возможность выбора данных по языку и задачам.  

• Классификация каждого слова на класс именованной сущности или неименованной сущности.  

• Использование дейтасетов для тренировки моделей на русском языке.  

• Важно учитывать, что некоторые задачи могут иметь готовые решения.  

• Перед сбором данных стоит поискать готовые модели или фреймворки.  

• Примеры моделей для английского и русского языков.  

• Важно читать статьи и обзоры для выбора подходящей модели.  

• Использование готовых массивов данных.  

• Создание массивов данных вручную или с помощью больших языковых моделей.  

• Разметка данных через краудсорсинговые платформы, такие как Loka.  

• Русский язык менее распространен, чем английский, что усложняет поиск данных.  

• Другая грамматика и построение предложений создают дополнительные сложности.  

• Примеры других языков с уникальными особенностями, такими как отсутствие пробелов в тайском и заглавные буквы в немецком.  

• Перевод русского текста на английский и обработка на английском языке.  

• Использование легких моделей для машинного перевода.  

• Русский язык сложнее английского из-за сложной морфологии и контекста.  

• Определите задачу и её сложность.  

• Используйте регулярные выражения для структурированных данных.  

• Примеры: номера телефонов и email-адреса.  

• Применяйте словари для поиска ограниченных данных.  

• Примеры: имена, фамилии, локации.  

• Учитывайте изменения слов в зависимости от языка.  

• Тренировочные и тестовые данные.  

• Извлечение признаков и тренировка модели.  

• Классификация слов на категории с вероятностью.  

• Пример схемы BIO.  

• Назначение тегов к словам.  

• Разметка именованных сущностей и их выделение в тексте.  

• Пример с Уральским федеральным университетом.  

• Разные подходы к разметке в зависимости от интересов.  

• Возможность назначения нескольких тегов одному слову.  

• Одно слово может относиться к нескольким классам.  

• Пример: президент России как должность и человек.  

• Мульти-лейблы для сложных случаев.  

• Возможность классификации данных по нескольким классам и лейблам.  

• Использование формата GES для разметки данных с дополнительной информацией.  

• Пример использования морфологического разбора для определения именованных сущностей.  

• Введение в нейронные сети и их использование для задач NLP.  

• Обзор базовых и продвинутых типов нейронных сетей.  

• Пример использования фич для улучшения результатов.  

• Классические метрики качества для задач NLP.  

• Различие между точностью, полнотой и другими метриками.  

• Примеры использования метрик для оценки моделей.  

• Обзор библиотек для работы с данными на английском и русском языках.  

• Примеры использования Spacey и других инструментов для бенчмаркинга.  

• Переход к практике на Python в Google Colab.  

• Фреймворк используется для простых данных и известных сущностей.  

• Доступ к ссылке для запуска ноутбука.  

• Необходимость скачивания двух файлов для работы.  

• Загрузка данных на Google Диск или Google Colab.  

• Создание объектов с признаками, такими как имя и фамилия.  

• Пример использования парсера для распознавания именованных сущностей.  

• Пример распознавания именованных сущностей в тексте.  

• Использование цикла для извлечения сущностей.  

• Пример с текстом о вкладе управляющего директора.  

• Библиотека для выделения именованных сущностей в тексте.  

• Пример выделения именованной сущности "управляющий директор Иван Ульянов".  

• Важность правильного импорта стилей для корректной работы.  

• Пример текста с использованием нейросетевых моделей.  

• Загрузка данных из Google Диска или других источников.  

• Применение интенниша для распознавания именованных сущностей.  

• Использование Show Span Markup для подчеркивания именованных сущностей.  

• Пример распознавания организаций и людей.  

• Проблемы с распознаванием неизвестных сущностей.  

• Пример с разными цветами для разных категорий сущностей.  

• Применение Show Span Box Markup для визуализации.  

• Пример с английским текстом и использованием модели Space.  

• Загрузка модели Space для английского языка.  

• Пример текста с именованными сущностями.  

• Пример распознавания дат, имен и организаций.  

• Пример визуализации результатов распознавания.  

• Использование встроенных методов для отображения данных.  

• Пример выделения данных разными цветами.  

• Корнишн помогает понять текст, выявляя новые сущности.  

• Пример: текст о баскетбольном матче, где упоминаются люди, даты, продукты и время.  

• Корнишн помогает понять контекст и содержание текста.  

• Пример с матчем между Бостон Селтикс и другой командой.  

• Упоминаются очки, время и другие детали матча.  

• Корнишн помогает получить общее представление о тексте.  

• Обсуждение организационных моментов и курса.  

• Ссылка на опрос в чате.  

• Курс начинается 26 августа и длится четыре месяца.  

• Введение в NLP, Python, анализ данных и визуализацию.  

• Работа со строками и сбор данных из интернета.  

• Дообучение моделей и использование предобученных моделей.  

• Группы состоят из 5-13 человек.  

• Возможность задавать вопросы и получать ответы через чат и зум.  

• Введение в нейронные сети и библиотеку PyTorch.  

• Введение в NLP и тематическое моделирование.  

• Введение в RAK и его использование для генерации ответов на основе документов.  

• Практические занятия по работе с языковыми моделями и генеративными моделями.  

• Вопросы о карьерных перспективах студентов.  

• Статистика о трудоустройстве студентов в области NLP.  

• Контакты для получения информации о карьере в NLP.  

• Открытый урок по Raku состоится 19 августа в 20:00.  

• Урок будет посвящен различным темам, включая финтех, вопросы и ответы, классификацию отзывов и генерацию текстов.  

• Студенты могут выбирать темы самостоятельно, проектные работы разнообразны и гибко настраиваются.  

• Вопрос о промокодах и скидках не по адресу.  

• Для получения информации о скидках можно написать в чат или связаться с менеджером.  

• Для выполнения задач достаточно Google Colab.  

• Собственное оборудование не требуется, Google Colab справляется с большинством задач.  

• Руководитель курса Мария Тихонова, опытный специалист, ведет важные темы.  

• В курсе участвует компетентная команда преподавателей, что обеспечивает разнообразие и качество обучения.  

• Глубокие знания машинного обучения не требуются, достаточно базовых метрик анализа качества.  

• Курс включает описание подходов к решению задач и использование правильных метрик.  

• Следующий открытый урок состоится 19 августа.  

• Автор приглашает на курс, обещая интересное и полезное обучение.  

• Завершение урока с пожеланиями хорошего вечера и приглашением на следующий открытый урок.