Они Только Что Уволились Из LLM: Следующие 18 Месяцев Будут Просто Сумасшедшими!

• Магистерские программы в области ИИ готовятся к изменениям.  

• В ближайшие 18 месяцев ИИ изменится благодаря пяти прорывным разработкам.  

• Видео представляет первый взгляд на будущее ИИ.  

• Профессор Стефано Херман из Стэнфорда — один из пионеров диффузионных моделей.  

• Диффузионные модели превосходят автоагрессивные LLM в генерации изображений и видео.  

• Современные LLM генерируют текст по одному слову за раз.  

• Диффузионные модели начинают с чистого шума и совершенствуют его итеративно.  

• Процесс усовершенствования параллелен, что ускоряет генерацию.  

• Стандартные модели ИИ повторяют процесс около десяти раз для генерации одного ответа.  

• Диффузионные модели быстрее и дешевле благодаря параллельному процессу.  

• Встроены функции исправления ошибок, что повышает качество результатов.  

• Ожидается, что все LLM в будущем будут основаны на диффузии.  

• Диффузионные модели требуют меньше итераций для генерации.  

• При том же уровне качества они работают примерно в десять раз быстрее.  

• Разрыв в скорости будет увеличиваться по мере улучшения моделей.  

• Диффузионные модели могут изменять любое слово в любой позиции последовательности.  

• Они позволяют размещать подсказки в любом месте текста.  

• Это делает их более гибкими и удобными для редактирования.  

• Диффузионные языковые модели превосходят автоагрессивные.  

• Планируется выпуск модели языка распространения рассуждений.  

• Оптимизация качества, скорости и стоимости моделей продолжается.  

• Mercury — первая коммерческая модель распространения большого языка от Inception Labs.  

• Google представила Gemini Diffusion в мае 2025 года.  

• Dream Seven B — модель с открытым исходным кодом.  

• 2026 год ожидается как год серьёзного конкурента из класса диффузии.  

• Трансформаторы теряют доминирование в архитектуре моделей.  

• К концу 2025 года специалисты по гиперскейлингу будут работать над субквадратичными базовыми моделями.  

• К концу следующего года трансформаторные модели почти не будут использоваться.  

• Джейкоб Бакман, основатель Manifest AI, не смог участвовать в видео.  

• Обсуждается значительный скачок в интеллекте и радикальное изменение работы искусственного интеллекта.  

• Упоминается основополагающая статья о архитектуре Transformer, которая вызвала бум в области ИИ.  

• Transformer изучает влияние слов друг на друга через миллиарды проб и ошибок.  

• Введены три вектора: Q, K и V для каждого слова в последовательности.  

• Q задает вопрос о влиянии слов на смысл, K отражает роль слова в предложении, V — истинное значение слова.  

• Transformer может извлекать шаблоны из любых последовательностей лексем, включая картинки и звуковые волны.  

• Механизм лежит в основе всех существующих моделей ИИ.  

• Kyo — первая платформа для кодирования, созданная для совместной работы.  

• Позволяет легко создавать персонализированные мини-SAAS-проекты без знания кодирования.  

• ИИ управляет процессом от пользовательского интерфейса до серверной части и уровня данных.  

• Стандартное внимание требует квадратичных вычислений, что ограничивает количество слов в операции.  

• Линейное внимание использует математический трюк для масштабируемости, но теряет часть смысла.  

• Предпринимаются попытки создать архитектуру, сочетающую качество стандартного внимания и масштабируемость линейного внимания.  

• Google Titan демонстрирует методы для увеличения количества токенов до десяти миллионов.  

• Power Attention превосходит стандартные трансформаторы при любых размерах контекста.  

• Позволяет выбирать наилучший вариант внимания в зависимости от размера контекста.  

• При небольшом контексте используется стандартное внимание, при большом — линейное представление.  

• Для построения наиболее интеллектуальной модели нужно уравновешивать количество вычислений, параметры и длину контекста.  

• Современные модели сбалансированы в небольшой области, где длина контекста составляет около 8 килобайт.  

• Эффективность стандартного внимания снижается при длительном контексте.  

• Добавление контекста улучшает предсказания модели.  

• Разрыв между моделями в разных масштабах меньше, чем разрыв между началом и концом одной модели при добавлении контекста.  

• Функция power attention динамически настраивает контекстное окно, обеспечивая его сбалансированность.  

• Это приводит к созданию более умных моделей с длинным контекстом при меньших вычислительных затратах.  

• Ожидается появление субквадратичных архитектур в 2026 году.  

• Рекуррентные нейронные сети RNNS привлекают внимание возможностью двустороннего потока информации.  

• Трансформеры используют фиксированное количество шагов, что ограничивает возможности сети.  

• RNNS страдают от ранней конвергенции, в то время как трансформеры вынуждены выбирать из ограниченного словарного запаса.  

• Новое направление исследований позволяет трансформаторам мыслить в пространстве идей, а не слов.  

• Модель может использовать слова в особом порядке, изобретать новые лексемы и сжимать информацию высокоэффективными способами.  

• OpenAI объявила это направление одним из основных способов улучшения своих моделей.  

• Идея заключается в сохранении части внутренней логики модели свободной от контроля.  

• Это позволяет модели мыслить на уровне, который мы не можем полностью контролировать, но сохраняет способность понимать её внутренний процесс.  

• Такой подход может быть более безопасным в долгосрочной перспективе.  

• Непрерывное обучение объединяет различные процессы, включая обучение во время логического вывода и запоминание.  

• Алгоритм вложенного обучения Google отделяет обучающие данные от базовой модели, снижая риск неправильного усиления.  

• Система предоставляет несколько обновляемых уровней памяти, позволяя ИИ обновлять информацию в реальном времени.  

• Ожидается, что к концу десятилетия ИИ внесёт вклад в решение открытых математических задач.  

• Автоматизация задач повысит продуктивность людей и приведёт к закрытию многих рабочих мест.  

• Государствам потребуется больше вычислительной мощности для управления экономикой, связанной с ИИ.  

• Доступ к центрам обработки данных станет важным для экономики, как сегодня доступ к интернету, электричеству или воде.  

• Трансформатор ещё не достиг своих пределов и может поддерживать тенденции роста.  

• Машина непрерывного мышления основана на концепциях мышления и времени, которые современный ИИ игнорирует ради простоты.  

• В этой модели мышление и время живут внутри модели как единая динамика.  

• Современные модели представляют сложные концепции неестественным образом, следуя набору местных правил.  

• Они не видят общей картины и не могут обобщать концепции.  

• Многослойные персептроны RNN и tanh решают спиральную задачу, но не понимают концепцию спирали.  

• Слой M представляет спираль в виде спирали, что позволяет правильно экстраполировать данные.  

• В CTM существует несвязанное измерение времени, независимое от размера входных данных.  

• Каждый нейрон в CTM — динамическая система, обрабатывающая историю сигналов.  

• Сеть вознаграждается за быстроту и правильный ответ.  

• Другие архитектуры, такие как LSTM и трансформеры, не смогли продвинуться дальше 20 шагов в лабиринте.  

• CTM успешно нашла путь длиной в 100 шагов и обобщила решение на задачи до 800 шагов.  

• CTM — первая версия новой архитектуры, которая многообещающая, но пока не достаточно мощная для замены трансформеров.  

• Основной недостаток CTM — последовательный характер обработки, который затрудняет распараллеливание.  

• Несмотря на недостатки, CTM может стать началом смены парадигмы в ИИ.  

• Ожидается много результатов в ближайшие 18 месяцев.