Часть 1. Как я использую LLMs Андрей Карпати

• Продолжение серии о больших языковых моделях, таких как ChatGPT.  

• Обзор практического применения инструментов и доступных настроек.  

• Упоминание веб-страницы ChatGPT.com и её истории.  

• ChatGPT от OpenAI — оригинальный лидер, но есть множество похожих приложений.  

• Примеры других чат-ботов от крупных технологических компаний: GPT-4 от Google, Meta и Microsoft, а также стартапов: Claude от Anthropic, Grok от X.  

• Модели доступны в интернете, есть рейтинги, например, Chatbot Ирина и рейтинг сил от Skyl.  

• Начало с ChatGPT как лидера экосистемы.  

• Пример взаимодействия: запрос на написание хайку.  

• Модель отвечает потоком слов, создавая ощущение чата.  

• Текст разбивается на токены, модель видит последовательность токенов.  

• Использование приложения Tokenizer для анализа токенов.  

• Формат чата: специальные токены обозначают начало и конец сообщений.  

• Контекстное окно — рабочая память для токенов.  

• Модель использует токены из контекстного окна для ответов.  

• Предварительная подготовка: интернет разбивается на токены и сжимается в файл с потерями.  

• Пост-подготовка: добавление диалогов для создания помощника.  

• Объединение знаний из интернета и стиля помощника.  

• Языковая модель — автономная сущность, представляющая собой файл с параметрами нейросети.  

• Знания получены из интернета, личность запрограммирована после обучения.  

• Знания устарели, но часто упоминаемые вещи запоминаются лучше.  

• Пример вопроса о количестве кофеина в американо: чат-бот ответил 63 мг.  

• Модель использует информацию из интернета, но её ответы не всегда точны.  

• Важно проверять информацию из первоисточников.  

• Вопрос о лекарствах от насморка: чат-бот дал советы, но информация оказалась не совсем точной.  

• Проверка состава лекарств подтвердила, что информация не всегда соответствует реальности.  

• Начинать новый чат при смене темы, чтобы очистить окно с токенами.  

• Токены в окне контекста могут отвлекать модель и снижать её точность.  

• Чем больше токенов в окне, тем дороже обходится выбор следующего токена.  

• В режиме инкогнито может использоваться более простая модель.  

• Три тарифа: бесплатный, плюс и профессиональный.  

• Бесплатный тариф предлагает GPT-40 Mini, который имеет меньше параметров и может давать менее качественные ответы.  

• Более дорогие модели требуют больше вычислений и предлагают больше возможностей.  

• Выбор модели зависит от целей использования ИИ.  

• Для профессиональных целей могут быть полезны топовые модели.  

• У разных поставщиков и моделей есть разные ценовые категории.  

• Профессиональный тарифный план даёт доступ к более мощным моделям, например, Клоду 3.5 сонет.  

• Пример использования Клода: выбор места для путешествия — Цермат в Швейцарии.  

• Переключение между разными моделями для получения разных ответов.  

• Важность выбора подходящей модели для задач.  

• Использование нескольких сервисов для получения «совета языковых моделей».  

• Предварительное обучение, тонкая настройка с учителем, обучение с подкреплением.  

• Обучение с подкреплением позволяет моделям находить стратегии мышления, приводящие к хорошим результатам.  

• Стратегии мышления модели напоминают внутренний монолог человека.  

• Модели для размышлений дополнительно настроены с помощью обучения с подкреплением.  

• Они обеспечивают более точные ответы на задачи, требующие глубокого анализа.  

• Пример проблемы в программировании: проверка градиента не сработала.  

• GPT-4 не решила проблему, но подсказала, как её отладить.  

• Модель OpenAI One Pro, использующая обучение с подкреплением, нашла правильное решение после минуты размышлений.  

• Другие модели, такие как Клод и GPT-3, также решили задачу.  

• Думающие модели эффективны для решения сложных математических задач и написания кода.  

• Они могут повысить точность работы.  

• Для быстрых ответов обычно используются не думающие модели.  

• В GPT-3 можно нажать «подумай», чтобы модель переключилась на думающую.  

• Разные провайдеры предоставляют возможность выбора между думающими и не думающими моделями.  

• Языковая модель до сих пор общалась только текстом и была инертной.  

• Цель — дать модели возможность использовать различные инструменты, включая поиск в интернете.  

• Раньше для поиска информации приходилось вручную переходить по ссылкам, что было неудобно и часто приводило к нахождению рекламы.  

• Модель может автоматически искать информацию, собирать её и выдавать ответ.  

• Модель выдаёт специальный токен, который является поисковым запросом.  

• Приложение выполняет поиск, собирает текст с веб-страниц и добавляет его в окно контекста.  

• Это позволяет модели отвечать на вопросы, используя информацию из интернета.  

• Окно контекста — это рабочая память модели, куда загружаются статьи и текст с веб-страниц.  

• Модель использует информацию из окна контекста для ответа на вопросы.  

• Поти — хорошая модель для поиска в интернете.  

• Чешипт также представил кнопку поиска в интернете.  

• Модель находит веб-страницы, создаёт запросы и даёт ответ, выполняя большую часть работы за пользователя.  

• В ChatGPT можно указать, что нужно искать информацию, выбрав соответствующий вариант.  

• Модель понимает, когда нужно искать свежую информацию, и предлагает это сделать.  

• GPT-3 ищет информацию автоматически, если знает, что нужно искать.  

• Claude не имеет функции поиска в последнем обновлении от апреля 2024 года.  

• Клод сообщает, что доступ к знаниям будет закрыт с апреля 2024 года, но точной даты нет.  

• У Клода нет функции поиска в интернете, поэтому он не может дать ответ.  

• Джеммы на и 20. Про Экспо-Метал не имеют доступа к поиску в интернете.  

• Модель 20. Флеш имеет функцию поиска в интернете, но у 20. Про её нет.  

• Про Экспо-Метал не полностью подключена к интернету.  

• Модели могут выполнять поиск в Google, переходить на веб-страницы и извлекать информацию.  

• Автор использует Popty для поиска в интернете, например, для проверки работы рынка или места съёмок третьего сезона «Белого лотоса».  

• Примеры запросов: предложения от Versal, слухи о презентации Apple, прогноз погоды, рост акций Peloton, зубная паста Брайана Джонсона, безопасность поездки во Вьетнам.  

• Глубокое исследование — это сочетание поиска в интернете и мышления, которое требует десятков минут.  

• Пример запроса: исследование активного компонента в составе плана Брайана Джонсона.  

• Модель обрабатывает много информации и объясняет её лучше, чем обычный поиск.  

• Popty предлагает глубокие исследования, отправляя запросы в Popty.  

• Grok имеет функцию глубокого поиска, похожую на глубокое исследование.  

• Интерфейс Grok позволяет просматривать документы и результаты поиска в интернете.  

• Программа обрабатывает огромный массив данных и готовит отчёт.  

• Отчёт включает список ссылок, которые можно изучить.  

• Глубокое исследование позволяет провести исследовательскую работу по любой теме.