ПУБЛИЧНАЯ ДИСКУССИЯ «ЯЗЫК И ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»

• Первые работы по автоматической обработке текстов начались в 1955 году.  

• В 1990-е годы с появлением интернета и больших объемов данных появились новые подходы.  

• В 2005 году стало ясно, что обработка естественного языка сложна и требует машинного обучения.  

• Машинное обучение стало активно применяться с конца 1990-х годов.  

• Методы машинного обучения используются для информационного поиска и тематической классификации.  

• Параллельно развиваются статистические подходы, такие как анализ тональности.  

• В 2002 году Леонид Лебович Емтин показал, что системы машинного перевода на основе правил не справляются с некоторыми предложениями.  

• Параллельно развиваются статистические методы машинного перевода, которые решают проблемы интерпретации.  

• В 2005 году в России организуется семинар по методам информационного поиска, где тестируются статистические методы.  

• В России в 2005 году Яндекс организует свою школу анализа данных для подготовки специалистов.  

• Постепенно меняется стиль мышления: от создания алгоритмов и словарей к разметке текстов и выбору лучших алгоритмов.  

• В 2011 году выходит первый статистический синтаксический анализатор на основе машинного обучения.  

• В 2013 году нейронные сети начинают активно применяться для анализа текстов.  

• Нейронные сети позволяют автоматически рассчитывать близость слов на основе корпуса.  

• До 2013 года попытки применения нейронных сетей были не очень успешными.  

• С 2013 года используется подход с супервижен, позволяющий предсказывать слова в контексте без подготовки данных.  

• Это позволяет обучаться на бесконечном количестве данных без создания специальной обучающей выборки.  

• Векторные представления и классические нейросетевые архитектуры, такие как рекуррентные и сверточные сети, стали эффективнее.  

• ЛСТМ, предложенный Георгеном Шмидхубером в 1997 году, показал лучшие результаты в 2016 году.  

• В 2017 году нейронный машинный перевод на основе ЛСТМ стал доминирующим подходом.  

• Технические условия и векторные представления слов позволили системам лучше обрабатывать новые слова и контекст.  

• Примеры показывают, как нейронные сети улучшили перевод, перенося подлежащее в начало предложения.  

• К 2019 году перевод стал более лаконичным и точным.  

• Архитектура трансформер с механизмом самоовнимания позволяет учитывать контекст.  

• Модель Берт и модель GPT показали значительные улучшения в различных задачах.  

• Модель GPT от OpenAI в 2019 году смогла порождать связанный текст.  

• В 2020 году вышла модель с 17 миллиардами параметров, способная выполнять задания и переводить тексты.  

• В 2021-2022 годах исследователи начали учить модели инструкциям, а не просто предсказывать слова.  

• Это позволило моделям лучше понимать, что от них хотят люди и как отвечать на естественные запросы.  

• В 2022 году вышла модель G5, которая стала предшественником ChatGPT.  

• В 2023 году модели, такие как ChatGPT, начали демонстрировать результаты, сравнимые с человеческими экзаменами.  

• Это вызвало бурное обсуждение возможностей предобученных моделей.  

• Обзор конца 2023 года сравнивал модели G5, ChatGPT и специализированные модели для различных задач.  

• Модели часто не помнят, что им говорили, и могут отвечать по-разному при повторных запросах.  

• Они требуют мощных компьютерных ресурсов для обучения и применения.  

• Обсуждаются проблемы, такие как устаревшая информация и галлюцинации, когда модели порождают неожиданные ответы.  

• Большие языковые модели обучались на больших корпусах данных, но эти ресурсы ограничены.  

• Эксперименты показывают, что модели деградируют, если не получают новую информацию.  

• Обсуждается возможность обучения моделей на их собственной выдаче, но это пока не дает стабильных результатов.  

• Наталья Валентиновна назвала текущую революцию в лингвистике второй после теории Хомского.  

• Хомский критиковался за англоцентричность, в отличие от современных нейронных сетей, которые применимы к любому языку.  

• Компьютерная лингвистика помогает поддерживать и развивать языки, особенно те, которые малочисленны.  

• В России представлены множество языковых семей, но многие языки имеют мало носителей.  

• Компьютерная лингвистика может помочь в сохранении и развитии таких языков.  

• Даже для языков с большим количеством носителей, таких как русский, ресурсы для обучения моделей ограничены.  

• Тюркские языки широко представлены на территории России, особенно в Поволжье и Сибири.  

• Существуют диалекты, такие как сибирские татары, которые могут считаться самостоятельными языками.  

• Эти нюансы важны для понимания распространения тюркских языков в России.  

• Сравнение русских и татарских языков с точки зрения морфологии.  

• Русские и татарские языки относятся к разным морфологическим типам.  

• Флективные языки, такие как русский, и агглютинативные, такие как татарский, имеют значительные различия в морфологии.  

• В агглютинативных языках аффиксы несут отдельный смысл и не сливаются.  

• В татарском языке слова могут иметь много аффиксов, что делает их грамматически правильными, но редко используемыми в быту.  

• В русском языке длинные предложения могут быть созданы путем добавления подчиненных предложений, что делает их более сложными для понимания.  

• В русском языке порядок слов свободный, но чаще всего подлежащее стоит на первом месте.  

• В татарском языке порядок слов строгий, сказуемое стоит в конце предложения.  

• Это требует разработки специальных алгоритмов для обработки текстов на татарском языке.  

• В Казани существует институт прикладной семиотики, занимающийся компьютерной лингвистикой татарского языка.  

• Разработан национальный корпус татарского языка, сопоставимый по размеру с русским.  

• Создан атлас татарских народных говоров и портал тюркской морфемы.  

• Проводятся ежегодные международные конференции тюркланг.  

• Исследования проводятся в рамках традиционной компьютерной лингвистики, но с акцентом на искусственный интеллект.  

• В конференции участвуют представители из разных стран и организаций, включая Яндекс и ведущие тюркологи.  

• Монография по компьютерной лингвистике тюркского языка охватывает широкий спектр вопросов.  

• Для татарского языка уже существует такая монография, в отличие от русского языка.  

• Компьютеризация является мощным средством, но пока имеет ограничения в применении ИИ.