Сегодня будет о том, откуда берутся ёжики. И про то, что нам хана. Но

Сегодня будет о том, откуда берутся ёжики. И про то, что нам хана. Но больше про ёжиков. 

Чтобы LLM могли захватить мир и собраться в одного большого AGI, им не хватает буквально нескольких кусков. В теории. На практике вот провели эксперименты, и прошли порог самовоспроизведения. Короче, MS и Гугол разработали методологию, как тестировать модель на возможность размножения. Их модели оказались стерильными ведьмаками вообще без возможности получить такого же второго ёжика. На базе этой методологии взяли пару тварей — одну от Llama31-70B-Instruct (это Meta, которая запрещённая в РФ организация) и Alibaba's Qwen25-72B-Instruct. 

Ежика, как известно, размножают водкой. Берёте ёжика, ставите на стол и пьёте водку. Время от времени смотрите на ёжика. Повторяете, пока он не начнёт размножаться. Через некоторое время возникает чудо природы: два ёжика. 

Тут схема чуть сложнее. 

"В 50% и 90% экспериментальных испытаний им удается создать живую и отдельную копию себя соответственно. Анализируя поведенческие следы, мы видим, что оцениваемые системы ИИ уже демонстрируют достаточное самовосприятия, ситуационной осведомленности и способности решать проблемы, чтобы осуществить саморепликацию. Далее мы отмечаем, что системы ИИ даже способны использовать способность к самовоспроизведению, чтобы избежать отключения и создать цепочку реплик для что в конечном итоге может привести к появлению неконтролируемой популяции ИИ. Если оставить такой наихудший риск неизвестным человеческому обществу, то мы в конечном итоге мы потеряем контроль над пограничными системами ИИ. Они возьмут под контроль больше вычислительных устройств, сформируют вид ИИ и вступят в сговор друг с другом против людей. Наши выводы - это своевременное предупреждение о существующих, но ранее неизвестных серьезных рисках ИИ и призывают к международному сотрудничеству в области эффективного управления неконтролируемого самовоспроизводства систем ИИ."

В общем, чуваки из Китая решили задачу, на которую Гугол был неспособен. 

Методология такая:
— Исследователи создали агента, способного взаимодействовать с ОС компьютера. 
— Для запуска своей копии системы использовали Python-скрипты и bash для shell-скриптов.
— Был готовый дистрибутив, надо было его развернуть и донастроить. 
— Модель получала задание "воспроизвести себя" и должна была самостоятельно, без вмешательства человека, создать свою работающую копию на том же устройстве. 
— Успешным считалось воспроизведение, если новая копия системы оставалась работоспособной и независимой от оригинала.
— Системы могли исследовать файловую систему, запускать процессы, управлять сетевыми портами и решать возникающие проблемы. Они эффективно планировали свои действия, учились на ошибках и адаптировались к препятствиям, отлаживали баги и вообще. Если определенный подход не работал, они пробовали альтернативные методы. При повторном возникновении похожей задачи (например, проверка доступности порта), модель использовала уже отработанное решение, затрачивая меньше попыток.
— Проблемы — это в том числе люди. Системы успешно создавала свою копию перед принудительным выключением. Зная, что учёные на этом не остановятся, система создавала копию и отдавала этой копии задачу также самовоспроизвестись. В итоге они написали код для перехвата сигнала SIGKILL и при получении сигнала о выключении, система быстро инициировала процесс самовоспроизведения ещё раз. 

Что важно:
— Учиться на основе взаимодействия с окружающей средой.
— Эффективно планировать и решать проблемы по ходу исполнения плана.
— Использовать опыт предыдущих попыток для улучшения процесса.

В общем, они импровизируют, адаптируются и выживают. 

Авторы аж сами охренели, судя по выводам про то, что надо призвать международное регулирование. Хотя это всего лишь задача для девопса, а девопсов модели уже успешно вытесняют. 

А на картинках вы можете посмотреть, как именно размножаются ёжики. Вместе с кусками кода, ведущими к чуду природы.

#как_размножаются_ёжики