Тренировки по ML 2.0 Семинар и разбор домашнего задания 3

• Обсуждение задания на контест по машинному переводу.  

• Обзор практического пайплайна обучения переводу.  

• Введение в техники и трюки для улучшения сходимости.  

• Важность правильной подготовки данных для обучения.  

• Обсуждение перед обработки датасетов и архитектуры модели.  

• Настройка модели и варианты модификаций трансформера.  

• Задание по обучению переводу с инопланетного языка на английский.  

• Объяснение выбора архитектуры модели для низко-ресурсных языков.  

• Баланс между способностью модели к обучению и устойчивостью к переобучению.  

• Обзор трансформера и его модификаций.  

• Применение глубокого инкодера для сложных закономерностей.  

• Влияние глубины инкодера и декодера на производительность модели.  

• Объяснение позиционного кодирования в трансформере.  

• Проблема инвариантности к перестановке слов и её решение.  

• Структура позиционного кодирования и его влияние на качество модели.  

• Позиционные коды фиксированы и распределены определенным образом.  

• Модель кодирует только абсолютную позицию токена, что может быть недостаточно для понимания релевантности.  

• Важно учитывать расстояние между токенами, а не только их абсолютные позиции.  

• В статье 2018 года предлагается учитывать расстояние между токенами напрямую.  

• В теншине учитывается скалярное произведение текущего токена с ключами всех остальных токенов.  

• Вводится дополнительный обучаемый параметр для учета расстояния между токенами.  

• Дополнительный параметр показывает, насколько токины с определенными позициями связаны.  

• Сила лаймона должна быть высокой для близко расположенных токенов и низкой для далеко расположенных.  

• Это улучшает работу трансформера на длинных последовательностях.  

• Начинаем с анализа данных, чтобы понять их структуру и проблемы.  

• Текст на исходном языке похож на человеческий, с понятной структурой и естественной токенизацией.  

• Важно учитывать направление письма и токенизацию по словам или символам.  

• Токенизация по словам приводит к разреженности словаря и замедлению обучения.  

• Низкочастотные токены могут быть отображены в токены неизвестного слова, что затрудняет перевод.  

• Проблема решается путем отбрасывания низкочастотных токенов, но это приводит к неизвестным токенам на инференсе.  

• Токенизация по символам решает проблему неизвестных токенов, но увеличивает длину последовательности.  

• Ошибки в одном токене могут привести к ошибкам в последующих токенах.  

• Это усложняет работу модели и увеличивает вероятность ошибок.  

• BPE-кодинг автоматически строит словарь, объединяя часто встречающиеся символы в токены.  

• Словарь строится на основе частоты встречаемости токенов в корпусе.  

• Это позволяет избежать проблем с разреженностью словаря и длинными последовательностями.  

• Токены объединяются в более крупные токены до достижения нужного размера словаря.  

• Оптимальное разбиение на токены минимизирует среднюю длину последовательности.  

• Логические связанные юниты группируются в один токен для упрощения работы с редкими словами.  

• Данные могут содержать проблемы, такие как радикально короткие переводы.  

• Средняя длина перевода должна быть близка к длине исходного текста.  

• Ошумленные примеры можно отфильтровать по простым эвристикам.  

• Фильтрация по правилам помогает убрать зашумленные примеры.  

• Примеры с пустыми строками, разными числами и спецсимволами отбрасываются.  

• Автоматические процедуры сбора данных часто содержат много мусора, который можно отфильтровать.  

• Обучение трансформера с относительными позициями на фильтрованном датасете улучшает результаты.  

• Глубокие версии моделей могут переобучаться на низко-ресурсных датасетах.  

• Важно аккуратно подбирать пайплайн и архитектуру модели для борьбы с оверфитингом.  

• Фильтрованный датасет используется для построения словаря и токенизации.  

• Жадное декодирование и сэмплирование имеют свои проблемы, но бимсерч помогает их решить.  

• Бимсерч используется для декодинга с размером бима равным четырем.  

• Использование готовых моделей секту сек возможно, но не рекомендуется.  

• Бимсерч нужно реализовывать только в предсказании, а не в обучении.  

• В обучении предсказание последовательности сводится к последовательному предсказанию токенов.  

• Тичер Форсинг фокусируется на валидности предсказания каждого токена.  

• Бимсерч ищет оптимальный перевод всего предложения, используя предсказание одного токена за раз.  

• Бимсерч позволяет строить последовательности с наибольшей кумулятивной вероятностью.  

• Бэга Форс практически не используется напрямую, так как непрерывные имбединги более сильны.  

• Бэга Форс используется на входе трансформера для преобразования векторов.  

• Для задач семантического поиска и перевода используются контекстные имбединги на основе Берта.  

• Невозможно определить количество параметров модели по размеру датасета.  

• Упражнение "переобучение под трейн" помогает понять, достаточно ли модели для данных.  

• Если качество модели на трейн-выборке не растет, это означает переобучение.  

• Если качество модели на тесте такое же, как на трейн-выборке, это означает адекватное выучивание данных.  

• Если качество на тесте хуже, чем на трейн-выборке, модель слишком переобучилась.  

• Уменьшение размера модели или добавление регуляризаторов помогает найти оптимальный размер и параметры модели.  

• Как понять, хватит ли памяти для расчета?  

• Уменьшение размера бача и максимальной длины последовательности.  

• Оценка памяти модели и датасета.  

• Гладкий текст без семантики.  

• Модель не доучилась или зашумленный датасет.  

• Модель может генерировать правдоподобный текст, игнорируя исходный текст.  

• Методы токенизации и сокращение словаря.  

• Использование BP-токенизации для инопланетного языка.  

• Токены в начале и конце предложений.  

• Когда лучше использовать BP-аайзер и сенттон-спи.  

• Влияние длины токенов на производительность и качество.  

• Зависимость от требований системы.  

• Удаление редких символов в датасете.  

• Влияние на модель и размер словаря.  

• Оптимальный размер словаря для задачи.  

• Синтетический язык для обучения модели перевода.  

• Требования к датасету: открытость, реалистичность, сложность.  

• Использование перевода с английского на немецкий.  

• Стандартные задачи хорошо решаются стандартными моделями.  

• Низкоресурсные языки, такие как удмуртский, имеют низкое качество перевода.  

• Мало данных и низкое качество данных затрудняют обучение моделей для таких языков.  

• Кпт хорошо переводит тексты в вакууме, но не справляется с текстами в структуре.  

• Перевод песен и поэзии требует сохранения рифмы и ритма, что сложно для открытых моделей.  

• Создание синтетической задачи на инопланетном языке для решения этих проблем.  

• Создание синтетического языка на основе турецкого и английского.  

• Замена символов в турецком языке на геометрические фигуры для создания инопланетного языка.  

• Частотный анализ для сопоставления с другими языками.  

• Важность правильного датасета для качества перевода.  

• Добавление шума в обучающую выборку для эмуляции реалистичных задач.  

• Добавление недопереводов и перепереводов для стимулирования фильтрации данных.  

• Бэклейшн для увеличения обучающей выборки.  

• Использование обратной модели для создания синтетических данных.  

• Ансамблирование моделей для улучшения качества перевода.  

• Использование готовых моделей, таких как LLaMA, для обучения на низкоресурсных языках.  

• Применение LLaMA для генерации текстов на английском языке.  

• Утилизация параллельного корпуса для эффективного обучения.  

• Использование стратегии декодинга со звездочкой.  

• Реранкинг гипотез: выбор наиболее естественного перевода из пула гипотез.  

• Эмбикоинг: декодирование в мат ожидания распределения через Монте-Карло сэмплирование.  

• Обсуждение вопросов о составлении датасета и авторском решении.  

• Объяснение работы БП-токенизации и предсказания следующего токена.  

• Обучение одного или двух токинизаторов для разных языков.  

• Использование синтетических данных для улучшения качества модели.  

• Пример с деепричастными оборотами и их правильным использованием.  

• Добавление аугментации для улучшения референса.  

• Обсуждение временной сложности построения БП.  

• Оптимизация через префиксное дерево для снижения сложности.  

• Вопросы по работе с данными и загрузка кода для пред-обработки.  

• Преподаватель благодарит участников за участие в домашнем задании.  

• Выражает надежду, что задание было полезным, хотя и сложным.  

• Считает, что задание было информативным для знакомства с машинным переводом.  

• Завершает занятие, прощаясь со всеми.  

• Пожелание хорошего вечера.