Часть 2. Превращаем слова в вектора для GPT

• Обсуждение мифов о преобразовании текста в векторы.  

• Представление учебной модели Андрея Карпатова с 85 тысячами параметров и крошечным словарём из трёх токенов.  

• Задача модели — сортировка слов.  

• Сравнение с системой AlphaFold, получившей Нобелевскую премию за моделирование сворачивания белка.  

• Подчёркивание способности текстовых нейросетей решать сложные задачи, включая химию.  

• Объяснение процесса разбиения текста на токены.  

• Формирование векторного словаря на основе токенов.  

• Развенчивание мифов о расшифровке векторов.  

• Вектор интерпретируется в контексте, а не сам по себе.  

• Преобразование каждого слова или буквы в отдельный токен.  

• Извлечение преднастроенного вектора из словаря.  

• Объяснение прорыва в создании трансформеров, которые рассматривают весь контекст одновременно.  

• Роль распределённого внимания в работе трансформеров.  

• Объяснение работы позиционных кодировок и их связи с порядком слов.  

• Разрушение мифа о необходимости использования синусов и косинусов в позиционных кодировках.  

• Сложение семантических и позиционных кодировок в одном векторе.  

• Объяснение, почему реальные вектора без позиционных кодировок бессмысленны.  

• Подчёркивание важности позиционных кодировок для осмысленности векторов.  

• Анонс перехода к следующему ролику.