Дореволюционная орфография и ее автоматическая конвертация

• Приветствие участников семинара по методам искусственного интеллекта в филологических исследованиях.  

• Доклад студентов третьего курса ВШЭ Александра Потехина и Виолы Рубликовой о программе перекодировки старой орфографии в новую.  

• Возможность задать вопросы докладчикам во время дискуссии.  

• Обзор инструментов, таких как проект "Словеница", который поддерживает 29 языков и перевод из дореформенной орфографии в современную.  

• Проблемы с точностью перевода и ошибками, такими как пропуск дефисов.  

• Статья о программе, опубликованной Российским научным фондом, но без исходного кода.  

• Программа ABBYY FineReader плохо распознает текст, если качество файла низкое.  

• Инструмент "Иероглиф" с более высокой точностью, но с ошибками в окончаниях.  

• Словарь дореволюционной орфографии и проект на Викитеке с кодом на Java.  

• Ознакомление с имеющимися инструментами для создания собственного.  

• Изменения при переходе на новую орфографию: замена букв, окончаний и приставок.  

• Использование регулярных выражений и словаря исключений для обработки слов.  

• Ошибки в ранних версиях программы: ошибочное изменение окончаний и пропуск приставок.  

• Текущая точность программы составляет 98%.  

• Пример работы программы и демонстрация репозитория.  

• Архитектура программы: словарь исключений и словарь с регулярными выражениями.  

• Проблемы с кодировкой и исключение слов, которые поменяли правописание.  

• Функция токенизации и функция замены для обработки текста.  

• Импорт библиотек и функций для работы с текстом.  

• Функция чек ресепшен для обработки исключений.  

• Функция реплейс для основной работы программы.  

• Функция добавлена для работы с файлами в разных директориях.  

• Позволяет пользователю выбирать директорию для перевода файлов.  

• Планируется использовать как часть библиотеки для других программ.  

• Программа получает путь к файлам и создает папку для переведенных копий.  

• Проверяет тип файла и конвертирует только текстовые файлы.  

• Создает переведенную копию файла и заменяет символы дореволюционной орфографии на современные.  

• Проверяет наличие исключений в строке и возвращает их на место.  

• Записывает конвертированную строку в новый файл.  

• Закрывает файлы и возвращает ноль для проверки работы.  

• Демонстрация работы программы на примере тестовых файлов.  

• Программа успешно конвертирует файлы с дореволюционной орфографией в современную.  

• Проверяются исключения, которые не заменяются регулярками.  

• Обсуждение точности программы и ошибок.  

• Решение о замене слов, таких как "вошет" и "я", на более знакомые.  

• Коллективное решение о сохранении стилистики текстов.  

• Планируется дополнить функционал программы для более точного перевода.  

• Исключение ошибок, которые учитываются вручную.  

• Возможность настройки программы для пользователей, желающих сохранить стилистику.  

• Решение о добавлении или удалении слов было программным.  

• Слова, не распознанные морфологическими анализаторами, заменялись.  

• Это делалось для предотвращения проблем в будущем.  

• Возможность использования других анализаторов для проверки.  

• Морфологические анализаторы могут не всегда точно распознавать слова.  

• Ошибки могут быть связаны с кодировкой и техническими проблемами.  

• Ошибки в основном связаны с кодировкой и исключениями.  

• Основная задача - сделать автозаполнение словарей.  

• Важно учитывать ошибки, внесенные до вас.  

• Программа предназначена для работы с текстами в корпусе.  

• Тексты, переведенные в современную орфографию, будут использоваться в корпусе.  

• Это повлияло на архитектурные решения программы.  

• Возможность перевода текстов в дореформенную орфографию.  

• Существуют инструменты для такой конвертации.  

• Эти инструменты не поддерживают все нормы правописания, но их много.  

• Преобразования могут повлиять на суждения о русском языке.  

• Использование текстов в современной орфографии в корпусе.  

• Важно работать с текстами в их оригинальной орфографии.  

• Преобразования требуют уточнения понятия орфографии.  

• Важно работать с языком в его оригинальной форме.  

• Программа перекодировки требует расширения понятия орфографии.  

• Программы позволяют школьникам читать интересные рассказы в современном виде.  

• Программа может использоваться для приведения дореволюционных текстов в современный вид.  

• Программа может быть реализована в рамках дополнительных курсов по русским рассказам.  

• Возможность адаптации программы для учета ошибок, сделанных волонтерами.  

• Возможность использования краудсорсинга для улучшения программы.  

• Необходимость сбора информации и расширения словаря для автоматической имплементации изменений.  

• Создание автоматически обновляющегося словаря.  

• Фокус на эффективности программы, а не на интерфейсе.  

• Обращение к специалистам по языку для уточнения изменений.  

• Словарь исключений небольшой, около десяти слов.  

• Возможность добавления новых исключений при обработке других корпусов.  

• Пакетная обработка текстов в старой орфографии.  

• Необходимость консультаций с экспертами для принятия решений о исправлениях.  

• Возможность регулировки правил через параметры при запуске программы.  

• Завершение семинара и благодарность участникам.