Исследователи из MIT разработали «ContextCite» для проверки контента, сгенерированного ИИ

Исследователи из Лаборатории информатики и искусственного интеллекта MIT (CSAIL) объявили о создании ContextCite, инструмента, направленного на повышение надежности контента, сгенерированного AI.

Отслеживая источники, на которые опираются системы искусственного интеллекта, и определяя происхождение потенциальных ошибок, ContextCite предлагает новый способ оценки надежности больших языковых моделей (БЯМ).

Системы искусственного интеллекта часто генерируют ответы, используя внешние источники, но они также могут производить ошибки или полностью выдумывать информацию. ContextCite решает эту проблему, выделяя конкретные части источника, которые повлияли на ответ AI.

Например, если помощник неверно утверждает, что модель имеет 1 триллион параметров на основе неправильно интерпретированного контекста, ContextCite помогает определить конкретное предложение, которое способствовало ошибке.

Бен Коэн-Ванг, аспирант MIT и ведущий исследователь, объясняет в пресс-релизе MIT: «AI-ассистенты могут быть очень полезны для синтеза информации, но они все еще допускают ошибки».

«Существующие AI-ассистенты часто предоставляют ссылки на источники, но пользователям приходится утомительно просматривать статью самостоятельно, чтобы обнаружить любые ошибки. ContextCite может помочь непосредственно найти конкретное предложение, которое использовала модель, что облегчает проверку утверждений и обнаружение ошибок», — добавил он.

Инструмент использует «абляции контекста», метод, при котором части внешнего контекста систематически удаляются, чтобы определить, какие секции были критически важны для ответа AI. Этот подход позволяет исследователям эффективно определять наиболее релевантные источники информации без исчерпывающего анализа.

ContextCite имеет более широкие применения, включая улучшение точности ответов путем удаления несущественной информации и обнаружение «атак отравления». Такие атаки включают внедрение вводящих в заблуждение утверждений в достоверно выглядящие источники для манипулирования результатами AI.

Инструмент может проследить некорректные ответы до их истоков, потенциально снижая распространение недостоверной информации.

Несмотря на его потенциал, исследователи говорят, что у ContextCite есть ограничения. Текущая система требует множественного прохождения выводов, что может замедлить ее применение. Кроме того, взаимосвязь предложений в сложных текстах может создать проблемы при попытке выделить конкретные влияния.

Исследователи работают над усовершенствованием инструмента для решения этих проблем и оптимизации его процессов.

Харрисон Чейз, генеральный директор LangChain, считает этот инструмент важным для разработчиков, создающих приложения LLM. Он отметил, что проверка того, основаны ли результаты действительно на данных, является критически важной, но ресурсоемкой задачей, и инструменты вроде ContextCite могли бы упростить этот процесс.

Александр Мадри, ведущий исследователь CSAIL, подчеркнул важность надежных систем искусственного интеллекта. ContextCite представляет собой один из подходов к решению этой потребности, особенно по мере того, как AI продолжает играть центральную роль в обработке и синтезе информации.