AI-агенты в наушниках, постоянно прислушивающиеся для предоставления помощи, учитывающей контекст

Команда исследователей из Университета Мичигана и Фуданского университета представила систему Buddie — это открытая система наушников с AI, созданная для улучшения взаимодействия на основе голоса путем включения контекстного осведомления.

Buddie использует энергоэффективное сжатие для снижения энергопотребления во время непрерывного прослушивания. Проект под руководством профессора по электрическому и компьютерному инжинирингу Роберта Дика запустил кампанию на Kickstarter 23 декабря, чтобы сделать технологию доступной для потребителей и разработчиков.

Buddie объединяет наушники и смартфонное приложение, создавая голосовой интерфейс, способный понимать контекст разговора. Система слушает беседы, чтобы собирать фоновую информацию, что позволяет AI ассистентам давать более точные ответы. Например, он может вспомнить недавно упомянутое имя или суммировать задачи с встречи.

По словам Дика, осознание контекста решает значительное ограничение в текущих системах AI, которые часто требуют от пользователей многократного предоставления фоновой информации. Buddie стремится оптимизировать эти взаимодействия, позволяя AI ассистентам получать необходимый контекст.

Наушники Buddie предлагают интеграцию ИИ в повседневную жизнь, превращая ChatGPT или других агентов ИИ в контекстно-осведомленного личного ассистента. Будучи постоянно в режиме прослушивания, Buddie предоставляет системам ИИ контекст, который им необходим для предоставления персонализированных ответов, не требуя от пользователей многократного объяснения своей ситуации.

Эта возможность свободного взаимодействия поддерживает голосовую коммуникацию, обеспечивая возможность общения с ИИ в любое время и в любом месте. В комплект Buddie входят умные наушники и открытое мобильное приложение для iOS и Android, поддерживающее агентов ИИ, таких как ChatGPT. Также доступны опциональные премиальные услуги сторонних поставщиков, позволяющие пользователям настраивать свой опыт.

Разработанный для работы и личного использования, Buddie призван улучшать продуктивность, выполняя транскрипцию и суммирование встреч, фиксируя задачи для выполнения, и предоставляя быстрые, релевантные подсказки во время разговоров.

Например, если ваш начальник упоминает незнакомое слово, Buddie быстро предоставляет его определение. Он интегрируется с различными платформами для проведения встреч, включая Zoom и Microsoft Teams, предлагая поддержку для различных стилей общения.

За пределами рабочего места, Buddie помогает в повседневной жизни, узнавая предпочтения пользователя и предлагая персонализированные рекомендации. Он предоставляет ежедневные обзоры для отражения достижений, отслеживания задач и выделения значимых моментов.

Исследователи утверждают, что наушники Buddie разработаны для защиты конфиденциальности пользователя, обеспечивая при этом возможности искусственного интеллекта для осознания контекста. Аудиоданные захватываются и беспроводно передаются в приложение Buddie на смартфоне, где они транскрибируются в текст и удаляются в течение нескольких секунд.

Транскрипты шифруются и хранятся локально на устройстве пользователя, что предотвращает несанкционированный доступ. Данные не передаются на удаленные серверы, если это явно не запрошено пользователем. Для тех, кто выбирает использование сторонних AI-услуг

Непрерывная способность слушать Buddie также представляет технические трудности, особенно в отношении потребления энергии. Чтобы решить эту проблему, наушники используют энергоэффективные методы сжатия, чтобы снизить нагрузку на батареи.

Открытый подход проекта стимулирует пользователей и разработчиков исследовать новые применения, модифицировать программное обеспечение и вносить свой вклад в его развитие. Buddie доступен по цене — 40 долларов — для ранних поддерживающих.

Однако, несмотря на инновационность контекстно-ориентированного дизайна Buddie, он обращает внимание на растущие проблемы в области кибербезопасности. Эксперты по кибербезопасности в Morphisec предупреждают, что злоумышленники все чаще используют генеративные системы ИИ для эксплуатации передовых возможностей, подобных тем, которые можно найти в контекстно-ориентированных устройствах.

Например, методы извлечения моделей могут быть потенциально использованы для обратной разработки систем искусственного интеллекта, имитируя их поведение для получения несанкционированных сведений или осуществления сложных атак.

Постоянная способность Buddie слушать также поднимает вопросы о таких уязвимостях, как атаки с использованием подстроенных подсказок. Манипулируя подсказками системы искусственного интеллекта, злоумышленники могут заставить ее генерировать вредоносные или непреднамеренные результаты, как сообщает Morphisec.

Продвинутые модели AI, аналогичные тем, которые обеспечивают функциональность Buddie, осознающую контекст, могут создавать адаптивные подсказки, обходя фильтры для определения успешных стратегий атаки, говорит Morphisec.

Будущие версии Buddie нацелены на улучшение функций конфиденциальности, интеграцию встроенного интеллекта и предоставление опций для выбора систем AI с более сильными политиками защиты данных. На данный момент акцент делается на совершенствовании аудио-интерактивности и понимании потенциала контекстно-чувствительного AI в повседневном использовании.