Прохор Гладких и Семен Сорокин - Задача NER. Hands-on experience

• Приветствие участников.  

• Представление темы: задача NER и опыт её решения.  

• План презентации: постановка задачи, эволюция решений, практические проблемы, модели и планы.  

• Классическая задача NER: извлечение сущностей из текста.  

• Пример результата: стандартные сущности, такие как персоны, локации, суммы и даты.  

• Разметка для обучения моделей.  

• Эволюция моделей с 2016 года: LSTM, BERT, ELMo.  

• Текущая модель: BERT-based модели.  

• Проблемы и решения: нерабочие репозитории, использование BERT.  

• Разные кодировки лейблов сущностей.  

• Усложнение кодировки для длинных сущностей.  

• Преимущества усложнения кодировки для длинных сущностей.  

• BERT имеет ограничение в 512 токенов на входе.  

• Контекст длиннее 512 токенов нужно разрезать.  

• Проблема возникает при неправильном разбиении предложений.  

• Алгоритмы разбиения могут ошибаться из-за грязного текста.  

• Неправильное разбиение может привести к потере контекста.  

• Сущности могут быть длиннее 512 токенов.  

• Вопрос о разбиении по точкам и передаче целых предложений.  

• BERT использует контекст всего предложения для извлечения сущностей.  

• Важно передавать контекст целиком, а не по словам.  

• Контекст важен для извлечения сущностей.  

• Потеря контекста может ухудшить результат.  

• Предложения могут быть связаны, что влияет на контекст.  

• Проблема неправильного разбиения остается актуальной.  

• Для больших сущностей используется отдельная модель.  

• Сквозящее окно может помочь, но требует дополнительных алгоритмов.  

• Пример извлечения сущностей из юридических документов, таких как судебные акты.  

• Заказчики часто требуют сложные юридические сущности.  

• Судебное решение и его участники имеют сложные структуры.  

• Сущности могут пересекаться, что требует мульти-лейбл моделей.  

• Одна модель может извлекать несколько типов сущностей одновременно.  

• Подтипы сущностей, такие как кредитор, должник и организация, требуют классификации.  

• Проблема сегментации длинных сущностей, таких как фрагменты статей.  

• Решение через классификацию предложений, а не просто классификацию текста.  

• Каждое предложение получает свой лейбл, что помогает определить начало сущности.  

• Документы имеют структуру, например, пункты и подпункты.  

• Модели должны учитывать структуру документа при обучении и инференции.  

• Использование фичей для определения части документа, где находится предложение.  

• Использование различных моделей, таких как BERT, YAMA, и Spacy.  

• Все модели собраны под одной крышей для удобства использования и обучения.  

• Модели имеют одинаковый формат весов для легкого сравнения.  

• Обсуждение модели и использование вектора для БП токина из Берта.  

• Эксперименты с различными фичами для структуры документа.  

• Прирост качества от использования конкатенации фичей.  

• Использование притренированных весов для повышения качества моделей.  

• Описание четырех моделей: стандартная модель Берта, Руберт, Берт на русском языке и юридический Берт.  

• Преимущества и недостатки различных моделей.  

• Влияние вакабуляра на результаты модели.  

• Проблемы с дообучением Берта на юридических текстах.  

• Технические аспекты и проблемы с имплементацией дообучения.  

• Использование различных источников данных для дообучения.  

• Ресурсоемкость дообучения Берта.  

• Параметры и конфигурации для дообучения.  

• Различие между словарем и токенами в контексте БП.  

• Влияние корпуса на построение словаря БП.  

• Проблемы с автоматическим и ручным построением словаря БП.  

• Использовались трансформерные скрипты для фантюнинга.  

• Решалась задача маскирования, но не предсказывались маскированные слова на двух предложениях.  

• Задача по КВС токену предсказывать совместные предложения не решалась.  

• Используется сигмоида вместо софт макса для предсказания многоклассовых сущностей.  

• Сущности могут содержать подтипы, называемые атрибутами.  

• Две разные головы решают задачи мультиклассовой классификации и атрибуции.  

• Один и тот же токен может быть частью разных сущностей.  

• Решается задача мультипатип классификации.  

• Атрибуты сущностей могут быть выбраны из нескольких вариантов.  

• Матрицы выравниваются по наибольшему количеству атрибутов.  

• Используется софт макс на маскированных величинах.  

• Мультихо инкодинг выравнивается по наибольшему количеству атрибутов и маскируется.  

• Сущности состоят из нескольких токенов.  

• Вероятности атрибутов для токенов складываются для определения атрибутов всего спана.  

• Мультиод атрибуты складываются и выбираются по порогу для точного определения атрибутов.  

• Модель решает несколько задач одновременно.  

• Одна задача решает типы, другая - атрибуты.  

• Пример: стрелка с верхнего правого угла в левый нижний угол.  

• Две таблицы для разных токинов.  

• Логиты для разных типов.  

• Использование только определенных атрибутов логитов.  

• Сложение векторов и применение аргмакса.  

• Если все значения отрицательные, то сущности нет атрибутов.  

• Хорошо размеченный корпус предотвращает такие случаи.  

• Проверка, входит ли вектор в сущность.  

• Пример: слова "в", "третья", "очередь".  

• Сложение логитов и поиск превышающих порог значений.  

• Использование порога 0.5 для повышения качества модели.  

• Эксперименты с порогом для улучшения модели.  

• Интуитивное понимание, но требует экспериментов.  

• Вопрос о предобработке предложений для сик-спаринга.  

• Экспериментов с таким подходом не проводилось.  

• Ван ход используется для сущностей с одним подтипом.  

• Мультиход используется для сущностей с несколькими подтипами.  

• Продолжение обсуждения прохоров и софт макса.  

• Рассматриваются готовые инструменты для внедрения в библиотеку.  

• Подход на мультиклассовой классификации и модель SPIN для распознавания сущностей и отношений.  

• Пример с сущностями "вакейшн" и "перс".  

• Использование предобученного BERT для нахождения кандидатов в сущности.  

• Кандидаты определяются как последовательности токенов.  

• Векторы кандидатов объединяются для создания репрезентации сущности.  

• Векторы кандидатов складываются для создания репрезентации сущности.  

• Добавляется эмбеддинг для учета длины сущности.  

• Векторы конкатенируются с информацией из BERT для классификации сущности.  

• Нахождение нескольких кандидатов и объединение их векторов.  

• Векторы кодируются и объединяются для классификации отношений.  

• Модель SPIN решает задачу вложенности сущностей.  

• Модель не ограничивает количество предсказанных сущностей.  

• Проблемы с консистентностью разметки и сложными сущностями.  

• Модель используется реже из-за возможных ошибок.  

• Модель SPIN предсказывает сущности сразу, мультилейбл - метки на каждый токен.  

• Проблемы с предсказанием токенов в середине сущности.  

• Модель SPIN может делать критические ошибки, несмотря на высокие метрики.  

• Отсутствие негативного сэмплирования и необходимость создания всех возможных кандидатов.  

• Проблемы с производительностью на GPU из-за большого количества кандидатов.  

• Модель не самая универсальная, но может использоваться на CPU.  

• Необходимо выделять сущности длиной в несколько предложений, учитывая левый и правый контекст.  

• Пример из "Войны и мира": выделение реплик героев и их классификация.  

• Простая классификация предложений не всегда эффективна.  

• Модель позволяет объединять фразы в реплики.  

• Сущности-контейнеры хранят другие сущности и важны для бизнеса.  

• Документ состоит из шести предложений, три из которых являются сущностями-контейнерами.  

• Каждое предложение кодируется с помощью BERT-эмбедингов.  

• Используется позишкоинг и макс/мин-пуллинг для получения репрезентации предложения.  

• Вектора предложений обогащаются информацией о предложениях слева и справа.  

• Модель обучается и инференс на GPU с высоким результатом.  

• Используются разные архитектуры для BERT-энкодера.  

• Точность классификации предложений составляет 85-86%.  

• Использование BERT-эмбедингов вместо полной модели для экономии памяти GPU.  

• Внутренний проход по предложениям для эффективного использования памяти.  

• Использование аккумуляции градиентов для повышения эффективности.  

• Рассмотрение использования Longformer и других моделей для извлечения сущностей.  

• Важность работы на уровне предложений для извлечения сущностей.  

• Использование координат слов и фичей для улучшения качества извлечения.  

• Аналитика во время обучения и валидации модели.  

• Использование графиков метрик для отслеживания прогресса.  

• Планы по использованию других моделей и эмбедингов для улучшения качества.  

• Планируются эксперименты с более легкими моделями для задач, требующих меньше ресурсов.  

• Код доступен только внутри банка, открытых моделей нет.  

• Точность модели на юридических документах составила 85%.  

• Разметка документов осуществляется вручную или с помощью моделей.  

• Для юридических документов разметка выполняется юристами.  

• В некоторых проектах используется верификация в бизнес-процессах.  

• Количество документов зависит от сложности сущности.  

• Для простых сущностей требуется меньше документов, для сложных – тысячи.  

• В одном из проектов потребовалось 5000 документов.  

• Время зависит от сложности проекта и наличия готовых моделей.  

• Разработка новых моделей может занимать от нескольких дней до месяцев.  

• В команде работает 4 человека.  

• Разметка может быть выполнена с помощью моделей, но инструмент разметки должен поддерживать вызовы моделей.  

• Планируется добавить пре-аннотацию и активлеинг для самообучения моделей.  

• Модель не может быть сравнима с задачей классификации, так как она предсказывает границы сущностей.  

• Модель обучена определять, является ли несколько предложений одной сущностью или нет.  

• Модели на русском языке имеют лучшую точность по сравнению с мультилингвальными моделями.  

• Внутри банка есть обученные модели, но за неимением русских аналогов используются лучшие доступные модели.  

• Модель глубокого усреднения использует несколько скрытых слоев для уменьшения размерности вектора.  

• Алгоритм CRF позволяет выявлять скрытые связи внутри последовательности.  

• Благодарность участникам за вопросы и опыт.  

• Призыв к завершению обсуждения.