Исследование не нашло доказательств опасных новых способностей в больших языковых моделях

Вчера было объявлено о исследовании, проведенном Университетом Бата, которое утверждает, что большие языковые модели (БЯМ) не представляют существенной угрозы для человечества. Исследование заявляет, что эти модели не могут учиться или приобретать новые навыки самостоятельно, что делает их контролируемыми и безопасными.

Исследовательская группа под руководством профессора Ирины Гуревич провела более 1000 экспериментов, чтобы проверить способность БЯМ к развитию способностей — задач и знаний, которые не были явно заложены в них. Их результаты показывают, что то, что воспринимается как развитие способностей, на самом деле происходит благодаря использованию БЯМ обучения в контексте, а не какой-либо форме самостоятельного обучения или рассуждения.

Исследование показывает, что, хотя LLMs умеют обрабатывать язык и следовать инструкциям, им не хватает способности осваивать новые навыки без явных указаний. Это фундаментальное ограничение означает, что эти модели остаются управляемыми, предсказуемыми и внутренне безопасными. Несмотря на их растущую сложность, исследователи утверждают, что LLMs вряд ли смогут развить сложные способности к логическому мышлению или предпринимать неожиданные действия.

Доктор Хариш Тайяр Мадабуши, соавтор исследования, заявил в объявлении Университета Бат, что «распространенная точка зрения, что этот тип ИИ представляет угрозу для человечества, препятствует широкому внедрению и развитию этих технологий, а также отвлекает внимание от реальных проблем, которые требуют нашего внимания»

Доктор Тайяр Мадабуши рекомендует сосредоточиться на реальных рисках, таких как возможное злоупотребление LLM для создания фальшивых новостей или совершения мошенничества. Он предостерегает от принятия регулятивных мер, основанных на предполагаемых угрозах, и призывает пользователей четко определять задачи для LLM и предоставлять подробные примеры для обеспечения эффективных результатов.

Профессор Гуревич отметил в объявлении: «Наши результаты не означают, что ИИ вовсе не представляет угрозы. Скорее, мы показываем, что утверждаемое появление сложных мыслительных навыков, связанных с конкретными угрозами, не подтверждается доказательствами, и что мы вполне можем контролировать процесс обучения LLM. Будущие исследования, следовательно, должны сосредоточиться на других рисках, которые могут представлять модели, таких как их потенциальное использование для создания фальшивых новостей.»

Исследователи признают несколько ограничений в своем исследовании. Они тестировали различные модели, включая T5, GPT, Falcon и LLaMA, но не смогли точно совместить количество параметров из-за различий в размерах моделей при их выпуске. Они также учли риск утечки данных, когда информация из обучающих данных может непреднамеренно повлиять на результаты. Хотя они предполагают, что эта проблема не вышла за рамки того, что сообщается для конкретных моделей, утечка данных все равно может повлиять на производительность.