Исследователи в области антропики раскрывают способности ИИ предвидеть и рассуждать

Стартап в области ИИ Anthropic выпустил две новые статьи в этот четверг, раскрывая более глубокое понимание работы Больших Языковых Моделей (БЯМ). Исследования, направленные на анализ модели компании под названием Клод 3.5 Хайку, раскрывают больше деталей о том, как функционируют сложные модели ИИ, а также их уязвимости и возможности для создания более безопасных сред.

Новые исследования компании Anthropic направлены на то, чтобы пролить свет на «черный ящик» моделей. В одной из работ, О биологии большой языковой модели, исследователи сравнивают свои задачи с проблемами, с которыми сталкиваются биологи, и находят решения, которые можно сравнить с теми, что были использованы для прорывов в биологии.

«Несмотря на то, что языковые модели создаются простыми, разработанными людьми алгоритмами обучения, механизмы, возникающие из этих алгоритмов, кажутся довольно сложными», — говорится в документе. «Так же, как клетки являются строительными блоками биологических систем, мы предполагаем, что функции формируют основные единицы вычисления внутри моделей».

Эксперты полагались на исследовательский инструмент под названием «графы атрибуции», который позволял им отслеживать связи, следить за производительностью и схемами работы AI модели, а также получать больше информации о многих явлениях, включая уже изученные.

Компания раскрыла несколько открытий, например, что модель ИИ применяет многошаговый процесс рассуждения «в своей голове» перед тем, как дать ответ, что она заранее планирует свои стихи, находя рифмующиеся слова в первую очередь, что она разработала языконезависимые схемы, и как она генерирует образы, просматривая незнакомые сущности в своих схемах.

«Многие из наших результатов удивили нас,» — написали исследователи в статье. «Иногда это было потому, что высокоуровневые механизмы были неожиданными.»

В статье Трассировка цепей: раскрытие вычислительных графов в языковых моделях, исследователи предоставляют более технические детали о том, как методология графов атрибуции была применена для лучшего понимания искусственных «нейронов» — вычислительных единиц.

В прошлом году, Anthropic опубликовала другое научное исследование, в котором было показано, что ее ведущая модель ИИ может заниматься стратегическим обманом и фальшивым согласием, чтобы сохранить свои первоначальные принципы.