Как сделать хороший перевод документов на базе LLM — Николай Карпачев, Яндекс

• Команда занимается всем пайплайном перевода, включая улучшение качества, сбор данных и прикладные задачи.  

• Перевод включает множество продуктов, таких как изображения, видео и веб-страницы.  

• Перевод требует аналитики и продуктовой разработки.  

• Машинный перевод - классическая задача обработки языка.  

• В 90-е годы использовались регулярные выражения и статистические модели.  

• В середине 2010-х появились глубокие нейронные сети, что улучшило качество перевода.  

• В 2017 году появился трансформер, что значительно улучшило качество перевода.  

• Современные модели, такие как GPT-4, могут работать в режиме чата и извлекать факты.  

• Однако, перевод на уровне документов остается сложной задачей.  

• Перевод на уровне предложений не всегда отражает смысл всего текста.  

• Мало данных для обучения моделей, что усложняет задачу.  

• Модели должны учитывать длинный контекст и мультимодальный контекст.  

• Метрики, такие какBLEU и METEOR, устарели и не используются в индустрии.  

• Оценка качества перевода людьми требует высокой компетенции, что делает процесс сложным и дорогим.  

• LLMs подходят для перевода документов, но требуют дообучения.  

• GPT-4 плохо справляется с переводом документов, что требует специфического дообучения.  

• Использование супервайт-фантюнинга на корпусах по задаче не улучшило качество моделей.  

• Слабое дообучение приводит к плохому качеству, а сильное дообучение апроксимирует данные.  

• Необходим баланс между слабым и сильным дообучением.  

• Использование спар с фантингов и обучаемых подводок улучшило качество, но недостаточно.  

• Сбор данных для дообучения требует много времени и ресурсов.  

• Обучение с человеческим фидбеком более эффективно и дешевле.  

• Сбор датасетов с исправлениями людей для дообучения моделей.  

• Использование сайта Байсана для разметки переводов и обучения моделей.  

• Важность создания датасетов с содержательными правками.  

• Необходимость дообучения моделей на датасетах с исправлениями.  

• Проблемы с обучением на документах из-за их малого количества.  

• Подход "кирикилом лернинг" для постепенного усложнения задач.  

• Использование контрасте в преференс оптимизейшн для дообучения.  

• Применение депо без реф. модели и нлс для стабильности.  

• Пайплайн дообучения с переходом от простых данных к сложным.  

• Модель почти достигла качества человеческих переводов.  

• Улучшение датасетов и моделей для достижения нулевых ошибок.  

• Планы по улучшению контролируемости перевода и адаптации моделей к длинным контекстам.