Темная материя искусственного интеллекта [Механистическая интерпретируемость]

• Большие языковые модели LLM, такие как ChatGPT, могут утверждать, что забыли фразу, но это невозможно.  

• Проблема интерпретируемости LLM активно исследуется.  

• Извлечение особенностей модели с помощью разреженного автоэнкодера может помочь понять её поведение.  

• Увеличение значения функции внутреннего конфликта в модели может заставить её признать, что она не может забыть фразу.  

• Извлечено лишь менее 1% концепций, которые должны знать LLM.  

• Выделение признаков даёт телескоп для понимания модели, но не все её аспекты можно наблюдать напрямую.  

• Пример с фразой "надежность Википедии варьируется" показывает, как модель решает, что сказать дальше.  

• Модель преобразует текст в матрицу, которая проходит через слои внимания и персептрона.  

• После 26 слоев модель возвращает вероятность появления каждой лексемы в словаре.  

• Модель может выбрать разные варианты, такие как "надежность Википедии очень высока" или "надежность Википедии очень низкая".  

• Настройка модели после обучения может улучшить её поведение, но не даёт прямого контроля над моделями.  

• Механистическая интерпретируемость помогает понять, какие части модели создают определённое поведение.  

• Применение механистической интерпретируемости к модели Gemma помогает понять, как она принимает решения.  

• Визуализация остаточного потока показывает, как модель обрабатывает текст.  

• Преобразование вектора в матрицу помогает обнаружить закономерности в данных.  

• Вектор перед первым слоем модели содержит большие положительные и отрицательные значения.  

• Вектор можно нормализовать и умножить на матрицу без вложений для преобразования в токен.  

• Модель Gemma использует функцию "мягкого ограничения" для ограничения уверенности в следующем слове.  

• Вывод блока "внимание" в первом слое Gemma не сильно меняет предсказание слова "vary".  

• Модель предсказывает различные варианты слова, включая заглавные буквы и разные языки.  

• Добавление выходных данных многослойного блока персептрона к остаточному потоку не меняет предсказание слова "vary".  

• Аналогичное поведение наблюдается на протяжении всего 15-го слоя модели.  

• На 21-м слое модели Gemma начинает проявлять сомнения и скептицизм.  

• Изменение значений нейронов в этом слое влияет на предсказание модели.  

• Изменение значения нейрона 1393 влияет на предсказание модели.  

• Примеры текста, активирующие нейрон 1393, не связаны с сомнениями или скептицизмом.  

• Нейроны могут реагировать на множество несвязанных концепций.  

• Гипотеза суперпозиции объясняет, что модели могут усваивать больше понятий, чем нейронов.  

• Разреженные автоэнкодеры могут помочь в интерпретации моделей.  

• Они обучаются для сопоставления нейронов с концепциями.  

• Проект Gemmascope включает более 400 разреженных автоэнкодеров.  

• Разреженные автоэнкодеры помогают визуализировать активированные концепции в модели.  

• Использование платформы neuronpedia для поиска примеров текста, активирующих функции.  

• Пример функции 8249 показывает множество примеров текста с вопросами и неуверенностью.  

• Изменение влияния функции на модель для проверки её влияния на предсказание следующего слова.  

• Настройка функции на постоянное значение 500 приводит к генерации текста с вопросами.  

• Автоэнкодеры разреженных функций могут восстанавливать понятные человеку функции и управлять поведением модели.  

• Примеры успешного применения разреженных автоэнкодеров к языковым моделям.  

• Команда Anthropic извлекла функции для конкретных районов Сан-Франциско и обучила автокодировщик на 16 миллионов объектов.  

• Большие языковые модели содержат больше понятий, чем можно извлечь.  

• Возможные препятствия для масштабирования разреженных автоэнкодеров из-за высоких вычислительных затрат.  

• Новый подход "разреженные кросс-кодеры" для решения проблемы наложения слоев.  

• Увеличение количества функций усложняет работу с ними.  

• Эксперименты с большими автокодерами в neuronpedia показывают множество возможностей.  

• Механистические подходы к интерпретации дали невероятное представление о больших языковых моделях, но их возможности могут опережать наши возможности в их понимании.