Они Только Что Уволились Из LLM: Следующие 18 Месяцев Будут Просто Сумасшедшими!

• Магистерские программы в области ИИ готовятся к изменениям.  

• В ближайшие 18 месяцев ИИ изменится благодаря пяти прорывным разработкам.  

• Видео представляет первый взгляд на будущее ИИ.  

• Профессор Стефано Херман из Стэнфорда — один из пионеров диффузионных моделей.  

• Диффузионные модели превосходят автоагрессивные LLM в генерации изображений и видео.  

• Современные LLM генерируют текст по одному слову за раз.  

• Диффузионные модели начинают с чистого шума и совершенствуют его итеративно.  

• Процесс усовершенствования параллелен, что ускоряет генерацию.  

• Стандартные модели ИИ повторяют процесс около десяти раз для генерации одного ответа.  

• Диффузионные модели быстрее и дешевле благодаря параллельному процессу.  

• Встроены функции исправления ошибок, что повышает качество результатов.  

• Ожидается, что все LLM в будущем будут основаны на диффузии.  

• Диффузионные модели требуют меньше итераций для генерации.  

• При том же уровне качества они работают примерно в десять раз быстрее.  

• Разрыв в скорости будет увеличиваться по мере улучшения моделей.  

• Диффузионные модели могут изменять любое слово в любой позиции последовательности.  

• Они позволяют размещать подсказки в любом месте текста.  

• Это делает их более гибкими и удобными для редактирования.  

• Диффузионные языковые модели превосходят автоагрессивные.  

• Планируется выпуск модели языка распространения рассуждений.  

• Оптимизация качества, скорости и стоимости моделей продолжается.  

• Mercury — первая коммерческая модель распространения большого языка от Inception Labs.  

• Google представила Gemini Diffusion в мае 2025 года.  

• Dream Seven B — модель с открытым исходным кодом.  

• 2026 год ожидается как год серьёзного конкурента из класса диффузии.  

• Трансформаторы теряют доминирование в архитектуре моделей.  

• К концу 2025 года специалисты по гиперскейлингу будут работать над субквадратичными базовыми моделями.  

• К концу следующего года трансформаторные модели почти не будут использоваться.  

• Джейкоб Бакман, основатель Manifest AI, не смог участвовать в видео.  

• Обсуждается значительный скачок в интеллекте и радикальное изменение работы искусственного интеллекта.  

• Упоминается основополагающая статья о архитектуре Transformer, которая вызвала бум в области ИИ.  

• Transformer изучает влияние слов друг на друга через миллиарды проб и ошибок.  

• Введены три вектора: Q, K и V для каждого слова в последовательности.  

• Q задает вопрос о влиянии слов на смысл, K отражает роль слова в предложении, V — истинное значение слова.  

• Transformer может извлекать шаблоны из любых последовательностей лексем, включая картинки и звуковые волны.  

• Механизм лежит в основе всех существующих моделей ИИ.  

• Kyo — первая платформа для кодирования, созданная для совместной работы.  

• Позволяет легко создавать персонализированные мини-SAAS-проекты без знания кодирования.  

• ИИ управляет процессом от пользовательского интерфейса до серверной части и уровня данных.  

• Стандартное внимание требует квадратичных вычислений, что ограничивает количество слов в операции.  

• Линейное внимание использует математический трюк для масштабируемости, но теряет часть смысла.  

• Предпринимаются попытки создать архитектуру, сочетающую качество стандартного внимания и масштабируемость линейного внимания.  

• Google Titan демонстрирует методы для увеличения количества токенов до десяти миллионов.