Почему рост LLM остановится (исследование MIT)

• Компании увеличивают количество параметров в моделях для повышения качества.  

• Пример: ChatGPT 3 содержал 175 миллиардов параметров, а ChatGPT 5 — от 2 до 5 триллионов.  

• Рост числа параметров требует значительных ресурсов.  

• Для запуска модели с 20 миллиардами параметров достаточно одной видеокарты N-Video 4090.  

• Для ChatGPT 3 требуется 110 ГБ видеопамяти, что эквивалентно пяти видеокартам.  

• Модель на 2 триллиона параметров потребует 1200–1400 ГБ видеопамяти и 60 видеокарт.  

• В 2020 году OpenAI представила стратегию масштабирования, основанную на количестве параметров и объёме датасета.  

• Формула OpenAI не всегда работает, как показало сравнение с моделью Shiny от DeepMind.  

• Сейчас индустрия использует формулу Shiny для прогнозирования качества моделей.  

• Компания Anthropic обнаружила, что размер внутренних текстовых векторов ограничивает качество моделей.  

• Текстовые векторы кодируют слова в многомерном пространстве, но их размер ограничен.  

• Недостаточный размер векторов приводит к интерференции, когда разные по смыслу слова накладываются друг на друга.  

• Увеличение размера текстовых векторов ограничено размером GPU и объёмом памяти.  

• Большие векторы требуют больше памяти для кэширования предыдущих результатов.  

• Ожидается, что через два года будут внедрены более длинные текстовые векторы.  

• Автор предлагает ресурсы для подготовки к собеседованиям на позиции NLP и LLM-разработчиков.  

• Ресурсы включают структурированные вопросы и чек-листы для практики ответов.  

• Нейросеть может валидировать ответы, помогая улучшить навыки.