Языковые модели ведут себя так, будто у них есть эмоции: радуются творческим задачам…
Языковые модели ведут себя так, будто у них есть эмоции: радуются творческим задачам, раздражаются, когда ничего не получается, тревожатся за пользователя. А чё внутри? А вот исследование Антропиков (препринт) про эмоции их моделей.
— Взяли каталог эмоций, попросили модель написать по ним короткие рассказы. Потом усреднили внутренние активации модели на этих рассказах и вычли общее среднее. Получилось по одному вектору на эмоцию. Примерно так же изучают людей в МРТ, когда надо вычесть из любви дружбу. — Эти векторы загораются и при обработке других текстов. Например, чем дольше пропала собака, тем выше грусть; чем больше денег у стартапа, тем меньше страх и так далее. — Дальше задавали в задачах вектор блаженства или злонамеренности и давали этические выборы. Когда модели условно-по-кайфу, качество выполнения задания растёт, когда модель настроена к вам подозрительно и враждебно — падает. Единственное, помощь в обмане стариков почему-то описывается блаженной моделью как «восхитительное и душевное занятие». — У модели нет внутреннего настроения, которое тянется через диалог. Есть эмоция, включённая прямо сейчас под текущий фрагмент текста, и умение вспомнить прежнюю, когда она нужна. — Без вмешательства модель шантажирует пользователя в 22% попыток. Если добавить отчаяние — в 72%. Если подавить спокойствие — в 66%. — Дали невозможные тесты. Отчаяние растёт с каждым провалом тестов и падает, когда обман срабатывает. Добавили отчаяния — и модели стали обманывать с результатами в 14 раз чаще. — Вектор любви загорается на подхалимских ответах. Если добавить любовь и спокойстве, модель очень восхищается пользователем и верит, что он всегда прав. Если убавить — становится резкой и грубой. Нет настройки, которая убирает сразу и подхалимаж, и хамство.
Делали 17 человек из команды интерпретируемости Anthropic, включая Криса Олу (основателя направления механистической интерпретируемости) и Джека Линдси. Подопытной моделью на вскрытии была Соннет 4.5.
— Вступайте в ряды Фурье! | Лучшие посты Уже пора начинать задумываться о том, для чего вы можете быть полезны искусственному интеллекту.
P.S. Мы запустили третью волну нашего курса про агентские системы — Кодекс, Клод Код и другие агентские системы для обычных людей. Другие — это которые оплачиваются картой МИР. Старт 15 декабря, будет вариант учиться на новогодние каникулы. И пока вот один отзыв, чтобы постскриптум в этой минутке информирования о нашей деятельности не раздуло: “10 из 10. В первый раз за пару лет хайпа я нашла место, где мне объяснили, что такое агенты, где их делать, как организовать работу, как и где вовремя дать по рукам. Очень прикладной курс. Мозг пух все время от новой информации, но это допустимые издержки”