Николай Русначенко | Рассуждение с помощью больших языковых моделей в задаче анализа тональности

• Доклад о возможностях больших языковых моделей для анализа тональности на русском языке.  

• Цель доклада: понять, как модели справляются с задачей из коробки и как улучшить их с помощью механизма чейна.  

• Построение современной модели анализа тональности.  

• Извлечение мнения автора по отношению к объектам в тексте.  

• Примеры текстов: отзывы, аналитические статьи, новостные тексты.  

• Основная трудность: увеличение числа упоминаемых сущностей при увеличении объема текста.  

• Конвенциональные методы: SVM, Random Forest.  

• Появление нейронных сетей: сверточные и рекуррентные сети.  

• Влияние механизма внимания и архитектуры трансформеров.  

• Предобучение без учителя.  

• Дообучение на основе инструкций.  

• Официальное применение фреймворка Forced Feedback.  

• Использование коллекции "Русьне" для оценки моделей.  

• Коллекция состоит из предложений из вики-статей на русском языке.  

• Разделение коллекции на обучающую, валидационную и тестовую части.  

• Использование промтинга для взаимодействия с моделями.  

• Эксперименты с различными наборами промтинга.  

• Выбор наиболее детальной версии промтинга.  

• Использование открытых и пролетарных моделей.  

• Фиксация параметров температуры на низком значении.  

• Сравнение моделей на основе данных на русском и английском языках.  

• Сравнение возможностей рассуждений на разных языках.  

• Эволюция моделей и данных для обучения.  

• Сравнение моделей нижнего и верхнего порога.  

• Примеры неверных осуждений моделей.  

• Пропуск симпатии в оценке.  

• Неверный источник мнения.  

• Пример неверного источника мнений: ситуация не упомянута, но мнение автора негативно влияет на сущность.  

• Большие языковые модели считают отношения негативными, хотя это не связано с мнением автора.  

• Концепция "чейна-то" упрощает семантическую постановку задачи.  

• Рассуждения по шагам могут улучшить результаты, но не всегда работают.  

• Вопрос адаптации концепции для анализа тональности.  

• Пример из книги "Гарри Поттер и методы рациональности".  

• Первый закон рациональности: "Что ты знаешь, почему ты думаешь, что ты это знаешь?"  

• Концепция включает фактическое знание и мнение.  

• Статья 2023 года предлагает концепцию, похожую на процесс мышления из книги.  

• Аспектно-ориентированный анализ тональности: исключение аспекта, дополнение текста, оценка.  

• Модель возвращает один из трех классов: позитивный, негативный, нейтральный.  

• Использование моделей на основе архитектуры GPT.  

• Обучение с применением пяти-шести эпох.  

• Сравнение с пром-тюнингом: преимущество использования чейна-тюнинга.  

• Перевод данных на английский важен.  

• Концепция рассуждения по шагам и её применение.  

• Использование больших моделей улучшает результаты.  

• Решение более гибкое и может быть улучшено дополнительными техниками.  

• Применение рассуждений по шагам в зависимости от сложности данных.  

• Использование рак пайплайнов для дополнения текста.  

• Вопросы о применении чейна-соц в поисковых системах.