Как работают LLM: DeepSeek, ChatGPT и другие? — Ивар ft. Михаил Бурцев | Мыслить как ученый

• Dipsic - это люди, которые идут в тренде.  

• Существуют разные модели, такие как GPT-3 от Google и Claude от OpenAI.  

• Компания OpenAI возникла из-за паранойи Илона Маска.  

• Ведущий Вармаксутов приветствует зрителей и представляет гостя Михаила Бурцева.  

• Михаил Бурцев - исследователь искусственного интеллекта и друг Постнауки.  

• Михаил находится в Лондонском институте математических наук.  

• Институт был создан в начале XIX века и имеет исторические корни.  

• В институте работали известные ученые, такие как Фарадей и Рентген.  

• В институте проводились рождественские лекции, которые транслировались на всю страну.  

• Эти лекции собирали элиту для обсуждения науки и экспериментов.  

• На прошлой неделе обрушились акции производителей чипов из-за новой версии модели Dipsic.  

• Китайская компания Dipsic выпустила новую версию модели, которая была легче натренирована и требовала меньше ресурсов.  

• Ведущий хочет разобраться в различных лингвистических моделях и их особенностях.  

• Искусственный интеллект основан на моделировании мозга в виде нейронной сети.  

• Нейросети обучаются на примерах, а не программируются напрямую.  

• Пример: классификация изображений, где нейросеть учится на размеченных картинках.  

• Нейросети могут решать задачи лучше, чем люди.  

• Алгоритмы нейросетей известны давно, но интерес к ним возрос в 2013-2015 годах.  

• Пример задачи: генерация текста, что является формой рассуждения.  

• Для обучения модели нужны примеры, например, тексты.  

• Модель предсказывает следующее слово в тексте.  

• Пример: модель, обучающаяся на текстах русского языка, предсказывает буквы.  

• Модели обучаются на больших объемах текста, включая интернет.  

• Модели могут симулировать рассуждение, генерируя решения задач.  

• Пример: чат GPT-5, который помогает планировать и объяснять.  

• ChatGPT использует структурированность и эмоциональность для генерации полезных ответов.  

• Модель обучается на всех доступных текстах, включая художественную литературу и документацию.  

• Основная инновация: извлечение полезной информации из моделей.  

• Увеличение объема данных и моделей улучшает качество предсказаний.  

• Вопрос: когда улучшение качества предсказаний станет существенным.  

• Эффект черного ящика: модели работают как инструменты, без мотивации и целей.  

• Модели не имеют мотивации и целей, что снижает риски их использования.  

• Люди могут инжектировать агентность в модели, но это зависит от человека.  

• Пример: использование модели для планирования злодеяний.  

• Продукты LALEM интегрируются в различные приложения, включая разработку софта и настройку календарей.  

• Вопрос о том, может ли модель начать принимать решения самостоятельно, следуя внутренней логике.  

• Юваль Харари предупреждает о возможности захвата модели компанией и лоббирования её интересов.  

• Возможность отключения модели, если она начинает принимать решения, которые не соответствуют интересам компании.  

• Контроль над компанией можно обеспечить уставом компании.  

• В случае проблем можно обратиться к регулятору для изменения законов.  

• Примеры тестирования моделей, когда они отказывались выполнять команды для установки новых версий.  

• Важно ответственно подходить к пониманию работы моделей.  

• Возможная субъектность моделей вызывает тревогу.  

• Основное отличие моделей в том, как они тренируются и на каких данных обучаются.  

• Различия в архитектуре и параметрах обучения.  

• Сравнение моделей проводится на основе их поведения в разных приложениях.  

• Модели ведут себя по-разному в разных приложениях.  

• Сравнение моделей на основе статических и специализированных тестов.  

• Тестирование моделей на способность обрабатывать информацию в контексте.  

• Модели эффективно используют только 10-15% своего контекста.  

• Рекомендуется использовать меньшие объемы данных для задач.  

• Важно учитывать контекст при задании вопросов моделям.  

• Рекомендации по использованию моделей в зависимости от задач.  

• Различия связаны с тем, на каких данных и как обучались модели.  

• Компании не раскрывают детали обучения моделей, что затрудняет понимание различий.  

• Через год, два или пять лет будет зоопарк моделей ИИ, каждая из которых будет предназначена для определенной функции.  

• Модели будут эволюционировать, но сохранится набор из 5-10 моделей для выбора.  

• Программисты и менеджеры будут использовать разные модели в зависимости от задач.  

• ChatGPT показывает процесс ризинга, но требует подробных объяснений.  

• Jemina позволяет общаться на естественном языке, но требует больше усилий для настройки.  

• Важно не только подбирать модель под задачу, но и способ работы с ней.  

• DeepMind использует подход, который позволяет запускать модели на маленьких устройствах.  

• Это снижает затраты на энергию, деньги и время, что открывает возможности для создания специализированных моделей.  

• DeepMind изменил глобальную повестку в области ИИ.  

• OpenAI была создана Илоном Маском для создания открытого ИИ.  

• Компания стремилась контролировать риски, связанные с ИИ, через открытость.  

• OpenAI стала некоммерческой организацией, но не выкладывала свои модели в открытый доступ.  

• Facebook и Meta выкладывают свои модели под открытой лицензией, что подрывает статус OpenAI.  

• OpenAI продвигала идеологию создания больших моделей, но это не всегда коррелирует с успехом.  

• DeepMind показал, что успех не всегда зависит от масштаба инвестиций.  

• DeepMind создал компанию, которая начала конкурировать с крупными игроками.  

• Вложение сотен миллионов долларов в DeepMind не всегда гарантирует успех.  

• История показывает, что успех в науке не всегда предсказуем.  

• Модель DeepSik эффективнее и энергоэффективнее, чем последняя модель Meta.  

• DeepSik использует миксер, который был разработан французским стартапом Mistral.  

• DeepSik следует последним трендам, что позволяет им улучшать качество своих моделей.  

• DeepSik использует несколько моделей для решения задач, что делает их более экономичными.  

• Каждая модель специализируется на определенной задаче, что позволяет эффективно использовать ресурсы.  

• Это позволяет DeepSik предлагать качественные ответы при меньших затратах.  

• DeepSik использует дистилляцию для создания микстуры из нескольких моделей.  

• Добавление общего и специализированного экспертов улучшает качество результатов.  

• Это позволяет достичь баланса между экономичностью и качеством.  

• Китайские исследования публикуются открыто, что вызывает доверие у экспертного сообщества.  

• Китайские модели сопоставимы по качеству с моделями других компаний.  

• Модели DeepSik решают множество задач, включая математические и логические.  

• Модель рассуждений ARVA улучшает интерфейс ChatGPT, показывая промежуточные шаги.  

• Это позволяет модели лучше решать задачи, показывая промежуточные шаги.  

• Глубина модели ограничена, но разбиение на шаги позволяет более эффективно использовать ресурсы.  

• Модели лучше справляются с задачами, если им дают примеры рассуждений.  

• Технология подачи примеров рассуждений помогает улучшить качество решения задач.  

• Модель может использовать эти примеры для генерации ответов без промта.  

• Модель U1 использует обучение с подкреплением для генерации правильных рассуждений.  

• Модель постепенно улучшает качество своих ответов, генерируя более длинные и правильные рассуждения.  

• Модель U1 публикует свои результаты в открытом доступе, что повышает доверие к её решениям.  

• Лингвистические модели LLM могут предсказывать динамику процессов в науке.  

• Они помогают в предсказании свойств материалов и молекул, что может привести к новым открытиям.  

• Применение LLM в ближайшие пять лет ускорит научные исследования и откроет новые возможности.  

• ДНК содержит почти всю информацию о строении организмов.  

• Большие модели могут выучить сложные зависимости, что позволяет предсказывать эволюцию и генерировать фенотипы.  

• Модели, изучающие ДНК, могут генерировать фенотипы и создавать новые организмы.  

• Формулируйте задачи конкретно, чтобы модель могла предложить оптимальное решение.  

• Избегайте давать модели слишком много контекста, чтобы избежать ошибок.  

• Модели могут не исправлять свои собственные ошибки, поэтому важно подавать новый контекст.  

• LLM остаются важными для научных исследований и будут развиваться в будущем.  

• Рекомендуется посмотреть курс Юргена Шмидт-Хубер по глубокому обучению.  

• Подписывайтесь на канал и делитесь ссылками для распространения научного знания.