Темная материя искусственного интеллекта [Механистическая интерпретируемость]

• Большие языковые модели, такие как ChatGPT, могут утверждать, что забыли фразу, но это невозможно.  

• Проблема интерпретируемости LLM активно исследуется.  

• Один из подходов — извлечение особенностей модели с помощью разреженного автоэнкодера.  

• Увеличение значения функции внутреннего конфликта в модели может заставить её признать, что не может забыть фразу.  

• Извлеченные функции часто соответствуют понятным человеку понятиям.  

• Извлечено менее одного процента концепций больших языковых моделей.  

• Неизвлеченные особенности могут быть "тёмной стороной" интерпретируемости.  

• Возможно создание более совершенных телескопов для понимания моделей.  

• Пример с фразой "надежность википедии варьируется" и моделью Gemma.  

• Преобразование слов в лексемы и векторы, передача через слои модели.  

• Остаточный поток и его обновление на каждом слое.  

• Ранжирование лексем по вероятности и анализ надежности Википедии.  

• Возможные варианты ответов модели и их вероятности.  

• Настройка модели по инструкциям увеличивает вероятность точных результатов.  

• Шаги после обучения помогают сформировать желаемое поведение, но не дают прямого контроля.  

• Применение идей механистической интерпретируемости к модели Gemma.  

• Визуализация текста и остаточного потока для лучшего понимания работы модели.  

• Преобразование вектора в матрицу и визуализация интенсивности пикселей.  

• Попытка обнаружить закономерности в данных по мере их перемещения по модели.  

• Вектор с большими положительными и отрицательными значениями.  

• Вектор можно нормализовать и умножить на матрицу для преобразования в токен.  

• Вектор соответствует слову "vary" со 100% вероятностью.  

• Вывод блока "внимание" в 1-м слое Gemma.  

• Добавление вывода в остаточный поток.  

• Прогнозирование слова "варьироваться" с небольшими изменениями.  

• Добавление выходных данных многослойного блока персептрона.  

• Вектор продолжает соответствовать вариации слова "vary".  

• Поведение аналогично на протяжении 15-го слоя модели.  

• На 21-м слое впервые видны выражения сомнения.  

• Вероятность надежности Википедии снижается до 9%.  

• Большие значения индексов нейронов 1393, 1945, 257.  

• Изменение значения нейрона 1393 влияет на доверие модели.  

• Увеличение выходных данных нейрона повышает доверие, снижение - скептицизм.  

• Нейрон 1393 реагирует на примеры использования заглавных букв.  

• Многозначность - феномен, когда нейроны соответствуют несвязанным концепциям.  

• Гипотеза суперпозиции: концепции распределены по нескольким нейронам.  

• Изменение архитектуры для уменьшения многозначности.  

• Модели все равно демонстрируют многозначность даже при экстремальном ограничении нейронов.  

• Обучение модели для изучения отображений нейронов на концепции.  

• Использование разреженного автоэнкодера для минимизации потерь при восстановлении.  

• Проект Gemmascope включает более 400 разреженных автоэнкодеров.  

• Визуализация вектора объектов и анализ активированных параметров.  

• Проблема: неизвестно, какой концепции соответствует каждый элемент вектора.  

• Поиск примеров текста, активирующих функции модели.  

• Использование платформы Neuronpedia для анализа функций.  

• Пример функции 8249, связанной с вопросами и неуверенностью.  

• Влияние модификации функции на предсказания модели.  

• Настройка функции на значение 500 вызывает лепетание модели.  

• Модель начинает использовать слово "вопрос" в основном.  

• Восстановление понятных функций из нейронов.  

• Применение к языковым моделям с впечатляющими результатами.  

• Примеры многоязычных и мультимодальных функций.  

• Извлечение миллионов объектов из моделей.  

• Функции не отражают всю информацию модели.  

• Пример с районами Сан-Франциско и пересечениями улиц.  

• Высокие вычислительные затраты на извлечение редких объектов.  

• Парадигма разреженных автоэнкодеров фокусируется на одном месте модели.  

• Новый подход "разреженные кросс-кодеры" для решения проблемы.  

• Увеличение количества функций усложняет работу с ними.  

• Эксперименты с большими автоэнкодерами в Neuronpedia.  

• Механистические подходы к интерпретации больших языковых моделей.  

• Будущее механистической интерпретации и понимание моделей.