[ИТ-лекторий] Как устроен Национальный корпус русского языка

• Алексей Збнин рассказывает о Национальном корпусе русского языка.  

• Корпус существует с 2003 года и поддерживается Яндексом.  

• Это коллекция размеченных текстов с возможностями расширенного поиска.  

• Алексей объясняет, как устроен корпус и как в нем осуществляется поиск.  

• Корпус расположен на сайте ruscorpora.ru.  

• Название "рускорпора" подчеркивает, что это коллекция корпусов.  

• Корпус выбирается представительным и сбалансированным.  

• Включает разные жанры, стили, временные периоды и типы речи.  

• Корпус снабжен специальной разметкой, что позволяет выполнять сложные запросы.  

• Алексей показывает, как искать примеры вхождения слов в корпусе.  

• Пример запроса "сталь" и результаты поиска.  

• Возможность выполнения лексико-грамматического поиска.  

• Пример запроса на поиск существительных с глаголами в прошедшем времени.  

• Корпус позволяет находить пары слов и их признаки.  

• Разметка включает грамматические и семантические теги.  

• Корпус полезен для изучения конструкций и их изменений.  

• Возможность ограничения поиска по жанрам и авторам.  

• Корпус помогает в образовательных целях и создании справочников.  

• Корпус незаменим для профессиональных лингвистов.  

• Алексей переходит к обсуждению технической стороны проекта.  

• Пример заказа на создание системы для поиска по большой коллекции текстов.  

• Метатекстовая разметка приписывается документам и включает заголовок, издание, издательство, год создания, стиль, жанр, место и время событий.  

• Современные тексты могут иметь URL.  

• Морфологическая разметка относится к отдельным словам и включает части речи.  

• Семантическая разметка позволяет искать слова по их значению, например, "пространство" или "место".  

• Синтаксическая разметка описывает связи между словами в предложении.  

• Существует специальный подкорпус для запросов по типам связей между словами.  

• Основной корпус содержит около 230 миллионов слов.  

• Газетный корпус включает тексты современной прессы за последние 10-15 лет.  

• Параллельный корпус содержит переводы текстов на разные языки.  

• Акцентологический корпус содержит устную речь с правильной постановкой ударения.  

• Поэтический корпус включает тексты с разметкой рифмовки и размера стиха.  

• Мультимедийный корпус позволяет искать слова в видео- и аудиозаписях.  

• Обучающий корпус предназначен для обучения школьников и имеет упрощенную грамматическую разметку.  

• Диалектный корпус содержит тексты диалектологических экспедиций и атласов.  

• Синтаксический корпус использует специальную базу данных и имеет ограничения на масштабируемость.  

• Лингвисты подбирают документы для коллекции.  

• Документы должны быть в примитивном формате без разметки.  

• Документы разбиваются на абзацы, предложения и слова.  

• Токенизация текста включает разбиение на предложения и слова.  

• Морфологическая разметка накладывается на токены.  

• Используются компьютерные программы для разбора слов.  

• Инвертированный индекс используется для поиска по коллекции документов.  

• Структура данных напоминает предметный указатель в книге.  

• Позволяет находить координаты мест, где встречается ключевое слово.  

• Документы делятся на предложения, предложения на слова.  

• Координата ключа состоит из номера документа, предложения и слова.  

• Поиск осуществляется по ключу, что позволяет находить документы с нужным словом.  

• Можно задавать многословные запросы с ограничениями.  

• Язык запросов позволяет указывать расстояние между словами.  

• Пример: поиск документов с определенными словами на расстоянии от одного до трех слов.  

• В документе можно выделять зоны, которые могут быть вложенными и пересекаться.  

• Зонам можно приписывать атрибуты, которые используются в поисковых запросах.  

• Примеры зон: весь документ, заголовок, текст гиперссылки, подпись к картинке.  

• Документные атрибуты: гиперссылка, язык, дата создания, MIME-тип.  

• Пример запроса: поиск документов в формате PDF.  

• Зонные атрибуты: текст гиперссылки, значение атрибута может быть префиксом.  

• Пример запроса: поиск документов с гиперссылками на определенный адрес.  

• Запрос может находить документы с гиперссылками на сайт русскорпор.ру.  

• Язык запросов позволяет искать по значениям атрибутов.  

• В квадратных скобках в Яндексе указывается текст запроса.  

• Вводить квадратные скобки не нужно, только текст запроса.  

• Документы имеют трехуровневую иерархию: слова, предложения, координаты.  

• Можно объединять слова в зоны и вешать на них атрибуты.  

• Запросы могут быть только на конкретные значения атрибутов.  

• Запросы на конкретные значения атрибутов, но не на их равенство.  

• Примеры запросов: "найди документы с типом PDF", "найди документы с двумя рядом стоящими гиперссылками".  

• Язык запросов Яндекса имеет свою грамматическую структуру.  

• Примеры запросов: "найди документы, в которых есть все три слова в одном предложении", "найди документы, в которых есть два слова в одном документе".  

• Запросы могут включать минус для поиска документов без определенных слов.  

• Примеры: "найди документы, в которых есть слово "золотой", но нет слова "ключик"".  

• Можно указывать расстояние между словами в запросе.  

• Примеры: "найди документы, в которых слово "толстой" находится на расстоянии от минус единицы до двойки от слова "лев"".  

• Инвертированный индекс содержит списки координат для каждого слова в запросе.  

• Программа ищет пересечения, объединения или разности этих списков.  

• Разметка слов включает атрибуты лекс и гр.  

• Примеры атрибутов: начальная форма слова, грамматические теги.  

• Пример запроса: "найди документы, в которых есть узел с атрибутом лекс со значением "мама" и на расстоянии один от него стоит глагол в прошедшем времени и существительное".  

• В инвертированный индекс кладутся не только слова, но и значения атрибутов.  

• Программа может быстро найти все узлы с определенными значениями атрибутов.  

• Задачи морфологии: анализ и синтез слов.  

• Решение задач для словарных слов и неизвестных слов.  

• Морфологический анализ важен для автоматического определения и построения гипотез для слов.  

• Пример из журнала "Трамваи" показывает, как можно строить гипотезы для слов.  

• Программа "Май-стем" разработана в конце 90-х годов и используется для морфологического анализа.  

• Словарь составлен академиком Андреем Анатольевичем Железняком.  

• Словарь описывает все случаи словоизменения в русском языке.  

• Пример академика Щербы показывает, как можно строить гипотезы о словах без знания их семантики.  

• Пример слова "бакренка" показывает, как строятся гипотезы на основе словаря.  

• Слово "гудланула" также рассматривается как гипотеза на основе других слов.  

• Префиксное дерево используется для компактного хранения данных о словах.  

• Проблема мешка возникает из-за омонимов, которые могут иметь разные разборы.  

• Пример слова "печь" показывает, как омонимы могут быть найдены по неправильным запросам.  

• Решение проблемы мешка включает постфильтрацию, но это может быть долго и неэффективно.  

• Постфильтрация для первой сотни документов не подходит, так как лингвисты требуют точного количества найденных слов.  

• Прохождение по всем найденным документам для уточнения количества найденных слов занимает много времени.  

• Необходимо придумать другое решение.  

• Дублирование слов для учета разборов приводит к проблемам с длиной предложений.  

• Использование специальных символов для слов усложняет поиск.  

• Инвертированный индекс и предметный указатель не поддерживают такие символы.  

• Объединение тэгов в индекс для учета всех возможных комбинаций.  

• Индексируются все допустимые сочетания тэгов, что приводит к экспоненциальному росту объема индекса.  

• Это решение используется для решения проблемы мешка.  

• Снятие анемии и построение корпуса с единственным разбором.  

• Использование машинного обучения для ранжирования разборов по вероятности.  

• Применение скрытых марковских моделей для автоматической установки частей речи.  

• Генеративные модели для определения частей речи и слов в тексте.  

• Использование матриц для управления процессом определения частей речи и слов.  

• Скрытые марковские модели позволяют предсказать наиболее вероятную расстановку частей речи.  

• Запросы на отсутствие признаков, таких как род, число и падеж.  

• Учет знаков препинания при индексации для точного поиска слов.  

• Приписывание дополнительных тэгов словам в зависимости от знаков препинания.  

• Поиск слов с повторяющимися признаками, такими как род, число и падеж.  

• Пример запроса для нахождения слов с повторяющимися признаками.  

• Сложность таких запросов и необходимость их упрощения.  

• Слова с одинаковыми родом, числом и падежом можно найти, заранее приписав им теги.  

• Для более сложных запросов, таких как повторение части речи, рода, числа и падежа, нужно вручную указывать все возможные комбинации.  

• Поисковая система не умеет отвечать на вопросы о совпадении атрибутов, но может перебирать все возможные значения.  

• Для поиска слов, которые могут быть и существительными, и глаголами, нужно изменить расстояние поиска с одного слова на ноль.  

• Это позволяет найти слова, которые имеют оба тега.  

• Самое частотное животное в русской поэзии — уж, что связано с эмоемией.  

• Ошибка в мета-признаках документов приводит к неправильной сортировке, но будет исправлена.  

• Для поиска слов с префиксами и суффиксами нужно приписать каждому слову перевернутые формы и леммы.  

• Запрос автоматически перекодируется в понятный для системы вид.  

• Инграммы — это сочетания букв или слов, которые можно использовать для анализа конструкций.  

• Поиск по инграммам позволяет группировать примеры и получать статистику по частотности.  

• Пример с биграммами показывает, как можно использовать инграммы для анализа конструкций.  

• Поиск по инграммам помогает понять, с какими существительными чаще всего согласуются прилагательные.  

• Инвертированный индекс не позволяет быстро склеить результаты, поэтому нужно заранее подготовить индекс.  

• Каждая инграмма рассматривается как отдельный документ или предложение, что позволяет эффективно искать и группировать результаты.  

• Для учета точных форм и знаков препинания создаются отдельные индексы.  

• Пример: поиск прилагательных с запятыми перед ними.  

• Разные записи в таблице для разных форм с пунктуацией.  

• Разные записи для разных форм слов с пунктуацией.  

• Пример: "разумная, добрая, вечная" и "разумное, доброе, вечное".  

• Сервис для построения графиков по годам.  

• Пример: слова "автобус", "троллейбус", "трамвай", "метро".  

• Графики показывают изменения в частоте употребления слов с течением времени.  

• Идея заимствована у сервиса Books Viewer.  

• Возможность выполнения запросов с разметкой.  

• Сравнение с Google Books и другими сервисами.  

• Документы группируются по годам и другим атрибутам.  

• Пример: группировка по хосту для улучшения отображения сниппетов.  

• Пересечение списков координат для поиска слов на расстоянии от трех до пяти.  

• Линейный проход по спискам для нахождения пересечений.  

• Поисковая система не решает обратную задачу по координатам.  

• Необходимость прямого индекса для извлечения атрибутов по координатам.  

• Долгосрочная постфильтрация требует обращения к прямому индексу.  

• Благодарность за внимание.  

• Предложение практик для студентов, связанных с проектом.