MIT раскрывает, что магистры права могут формировать свое собственное понимание реальности

Исследователи из МИТ обнаружили, что большие языковые модели (БЯМ) могут создавать собственные внутренние представления реальности. Обучение БЯМ на головоломках показало, что модель самостоятельно разрабатывает понимание окружающей среды головоломки, без явных инструкций. Исследование было опубликовано вчера в новостях МИТ.

Для проверки этого исследователи использовали головоломки Карела — задачи, которые включают в себя дачу инструкций роботу в симулированной среде. После обучения модели на более чем 1 миллионе таких головоломок, они обнаружили, что БЯМ не только улучшила генерацию правильных инструкций, но также, похоже, разработала внутреннюю симуляцию окружающей среды головоломки.

Чарльз Джин, ведущий автор исследования, объяснил: «В начале этих экспериментов, языковая модель генерировала случайные инструкции, которые не работали. К моменту окончания обучения, наша языковая модель генерировала правильные инструкции с вероятностью 92,4 процента».

Эта внутренняя модель, выявленная с помощью техники машинного обучения, называемой «пробингом», показала внутреннюю модель того, как робот реагировал на инструкции, предполагая форму понимания, выходящую за рамки синтаксиса.

Зонд был создан лишь для того, чтобы «заглянуть в мозг LLM», как выражается Джин, но существовала вероятность, что он мог повлиять на мышление модели.

Джин объясняет: «Зонд подобен судебному аналитику: вы передаете эту кучу данных аналитику и говорите: ‘Вот как движется робот, попробуй найти движения робота в куче данных’. Позже аналитик говорит вам, что он знает, что происходит с роботом в куче данных».

Джин добавляет: «Но что, если куча данных на самом деле просто кодирует сырые инструкции, а аналитик придумал какой-то хитрый способ извлечения этих инструкций и следует им соответственно? Тогда языковая модель на самом деле не поняла, что вообще значат инструкции».

Чтобы проверить это, исследователи провели эксперимент «Бицарро Ворлд», в котором значения инструкций были перевернуты. В этом сценарии зонд испытал трудности при интерпретации измененных инструкций, что указывает на то, что LLM развила свое собственное семантическое понимание оригинальных инструкций.

Эти результаты оспаривают преобладающее мнение о том, что LLM являются лишь изощренными машинами для сопоставления образцов. Вместо этого, они намекают на то, что эти модели могут развивать более глубокое и более тонкое понимание языка и мира, который он представляет.

Исследование, проведенное в Университете Батта на этой неделе, показало, что LLM превосходно справляются с обработкой языка, но сталкиваются с трудностями в освоении независимых навыков. Это подтвердило идею о предсказуемости LLM. Однако исследование MIT предлагает противоположную точку зрения.

Хотя результаты MIT выглядят обнадеживающими, исследователи указывают на некоторые ограничения. В частности, Джин признает, что они использовали очень простой язык программирования и относительно маленькую модель для получения своих выводов.

В заключение, несмотря на обнадеживающие результаты MIT, исследователи предупреждают, что требуется больше исследований, чтобы полностью понять последствия.