OpenAI откладывает систему водяных знаков ChatGPT из-за внутренних несогласий

Согласно Wall Street Journal, OpenAI обсуждает возможность выпуска системы водяных знаков, предназначенной для обнаружения текста, созданного их искусственным интеллектом ChatGPT. Несмотря на то, что эта технология готова примерно год, внутренние разногласия замедлили ее внедрение.

В своем недавно обновленном посте, OpenAI заявляет, что их метод водяных знаков в тексте эффективен против локального вмешательства. Однако он уязвим для глобального вмешательства. Это включает методы, такие как использование систем перевода, переформулирование с помощью другой генеративной модели или вставка, а затем удаление специального символа между каждым словом.

Еще одной серьезной проблемой для OpenAI является то, что их исследования предполагают, что метод текстового водяного знака может влиять на некоторые группы больше, чем на другие. Например, это может стigmatizировать использование AI как инструмента для письма для тех, кто не является носителем английского языка.

OpenAI отдало приоритет запуску решений по проверке происхождения аудиовизуального контента из-за высокого уровня риска, связанного с текущими моделями AI, особенно в год выборов в США, как сообщал Wall Street Journal. Компания провела обширное исследование происхождения текста, изучая такие решения, как классификаторы, водяные знаки и метаданные.

Пресс-секретарь OpenAI сообщил TechCrunch: «Метод водяных знаков для текста, который мы разрабатываем, обладает техническими перспективами, но имеет важные риски, которые мы учитываем, исследуя альтернативы, включая уязвимость к обходу со стороны злоумышленников и потенциальное несоразмерное влияние на группы, такие как неговорящие на английском языке.»

TechCrunch также сообщает, что водяные знаки в тексте от OpenAI специально направлены на текст, сгенерированный ChatGPT, вместо контента от других моделей. Это включает в себя тонкую корректировку того, как ChatGPT выбирает слова, создавая невидимый водяной знак, который может быть обнаружен отдельным инструментом.

Опрос компании, результаты которого были опубликованы в Wall Street Journal, показал, что почти одна треть верных пользователей ChatGPT была бы огорчена технологией против обмана. Это ставит OpenAI в сложное положение. Сотрудники испытывают внутреннее противоречие между желанием поддерживать прозрачность и стремлением привлекать и удерживать пользователей.

В блоге OpenAI они подчеркивают, что с увеличением объема генерируемого текста, важность надежных методов определения происхождения текстового контента становится все более критичной.