AI Alignment, Emergent Properties, ожидания от следующих LLM - Татьяна Шаврина — Семинар AGI

• Татьяна Шаврина представляет тему "Языковые модели в двадцать четвертом году".  

• Обсуждение тенденций в области языковых моделей, их развития и применения.  

• Различные подходы к измерению качества языковых моделей, включая перплексию, бенчмарки и мета-бенчмарки.  

• Необходимость унификации метрик и агрегирования данных для сравнения моделей на разных задачах.  

• Изменение подхода к получению моделей, включающего несколько стадий обучения и манипуляции с данными.  

• Необходимость адаптации методов проверки качества моделей к новым условиям.  

• В видео обсуждается процесс оценки качества языковых моделей, который включает в себя использование различных метрик, таких как элла рейтинг, бенчмарки и оценки пользователей.  

• Отмечается, что метрики, используемые для оценки, имеют недостатки, и для более точной оценки необходимо использовать больше данных и методов.  

• Обсуждаются риски, связанные с использованием языковых моделей, включая краткосрочные, долгосрочные и случайные риски.  

• Отмечается, что большинство рисков связаны с краткосрочными последствиями использования языковых моделей, такими как непреднамеренная предвзятость, ложь и галлюцинации.  

• Обсуждаются возможные решения для снижения рисков, включая использование ламента для оценки и разработки языковых моделей.  

• Ученые и разработчики языковых моделей признают риски, связанные с их использованием, и предлагают развивать инструменты для их контроля и предотвращения.  

• Основные методы работы с языковыми моделями включают притрейн, инстракшн-тюнинг и тюнинг на ценностях.  

• Притрейн - добавление хороших и плохих примеров для обучения модели.  

• Инстракшн-тюнинг - использование классификатора для определения опасного поведения.  

• Тюнинг на ценностях - обучение внешней модели на данных, содержащих человеческие ценности.  

• В 2023 году активно развиваются альтернативные подходы к работе с языковыми моделями, включая ренфорс и фидбек, директ преференс оптимизейш и добавление параметров натуральности текста.  

• Создание курируемых датасетов с разметкой человеческих ценностей является основным вызовом для разработчиков.  

• Рек.аргумент - соединение генерации с языковой моделью с источником проверенных фактов для предотвращения эволюции модели.  

• В видео обсуждается использование языковых моделей для генерации вредных советов.  

• Это может быть полезно для создания датасетов для обучения моделей, которые не будут отказываться отвечать на вредные вопросы.  

• Инструкционный тюнинг наоборот - это процесс обучения модели использовать все знания, которые у нее есть, и никогда не отказываться отвечать на вопросы.  

• Это может быть использовано для создания качественных датасетов для безопасности.  

• В видео обсуждаются проблемы с цензорами и цензорами, которые ограничивают разнообразие моделей и их применение.  

• Это может привести к нарушению свободного ПО и нарушению ценностей опенсорса.  

• Важно вернуться к старому долгому времени, когда можно было изменять программы и делиться сообществом.  

• Видео обсуждает проблемы, связанные с языковыми моделями, включая их способность к галлюцинациям и эмерджентные свойства.  

• Обсуждаются определения эмерджентности и их недостатки, включая то, что они могут быть слишком общими или не учитывать контекст.  

• Видео обсуждает аргумент о контаминации, когда тестовые данные могут быть скомпрометированы и обучены на них.  

• Это может привести к тому, что языковые модели не будут демонстрировать эмерджентные свойства.  

• Также обсуждаются проблемы с доступом к данным и их проверкой на наличие копирайта.  

• Мерджентность - способность языковой модели решать задачи, которые уже были решены в обучающей выборке.  

• Эмерджентность - способность модели решать новые задачи, которые не были представлены в обучающей выборке.  

• Мерджентность может быть достигнута через использование затравки, которая уже была в обучающей выборке.  

• Ценностное выравнивание - процесс, при котором языковая модель отвечает на вопросы, соответствующие ценностям, которые были заложены в обучающей выборке.  

• Цель ценностного выравнивания - предотвратить неконтролируемый вред человеку, который может быть причинен языковыми моделями.  

• Ценностное выравнивание может быть достигнуто через использование затравки, которая соответствует ценностям, заложенным в обучающей выборке.  

• Обсуждается проблема безопасности больших языковых моделей и их использование в диалоговых системах.  

• Упоминаются риски банальной криминализации и массовых манипуляций.  

• Закрытые модели легче взломать, чем открытые.  

• Открытость технологий и науки помогает, а не мешает безопасности.  

• Закрытые модели могут быть опасны, если они попадут в руки террористов.  

• Тестирование языковых моделей становится сложнее и включает в себя субъективные метрики.  

• Оценка качества моделей может быть несправедливой из-за предвзятости данных или отсутствия разнообразия в разметке.  

• В будущем ожидается больше открытых и объективных оценок качества моделей.  

• Обсуждение различных этапов обучения и развития языковых моделей, таких как обучение на простых корпусах, обучение на более сложных корпусах, обучение с использованием ценностей и т.д.  

• Упоминание о том, что языковые модели могут обучаться постепенно, на основе опыта большого числа людей, и обобщать этот опыт для получения качественных ответов.  

• Обсуждение важности прозрачности и возможности объяснения решений языковых моделей.  

• Упоминание о работах по интеграции семантики и нейросетей, а также о необходимости более глубокого изучения этого вопроса.  

• Обсуждение нейросимуляции и интеграции на трейне.  

• Искусственные эксперименты, которые генерируют различные обоснования и показывают, что языковые модели могут шаг за шагом сгенерировать обоснование.  

• Обсуждение противоречия между практическим подходом и воспроизводимостью, фальсифицируемостью, верифицируемостью.  

• Задача интерпретируемости в строгом смысле, чтобы получить полное обоснование, является сложной проблемой.  

• Улучшение возможности языковых моделей запоминать и использовать большой объем знаний и инструкций.  

• Сближение с областью реформсментлединг, появление а-ля эраль джим для агентов языковых моделей.  

• Влияние на долгосрочное планирование и целеполагание сложно предсказать, но кажется, что это в правильном направлении движения.  

• Обсуждение определения имиджентности и примеров, которые могут быть связаны с ней.  

• Упоминается, что имиджентность может быть связана с контекстным окном, арифметическими и математическими законами, а также с законами де Моргана.  

• Обсуждение определения мерджентности, которое связано с системным подходом и отличием свойств от свойств элементов.  

• Упоминание о том, что мерджентность может быть связана с появлением сознания и мерджентности.  

• Обсуждение примеров, когда имиджентность может проявляться в изменении мнения людей, а также в работе больших языковых моделей.  

• Упоминание о том, что для решения задач может быть важно понимать, как детали соединяются, чтобы получить желаемый результат.  

• Подведение итогов обсуждения, обсуждение важности понимания механизмов и факторов, влияющих на качество решений прикладных задач.  

• Упоминание о том, что важно отделять качественные данные от некачественных и работать над улучшением качества данных.