Подрядчики предупреждают: новые рекомендации Google могут повлиять на точность Gemini по чувствительным темам

Недавнее изменение внутренних руководств в Google вызвало опасения относительно точности его искусственного интеллекта Gemini, особенно когда речь идет о работе с чувствительными или высокоспециализированными темами.

Подрядчики, работающие над проектом Gemini и занимающиеся оценкой точности ответов, сгенерированных AI, теперь не могут игнорировать запросы, выходящие за рамки их профессиональной экспертизы. Об этом изменении впервые сообщил TechCrunch. Это изменение потенциально может повлиять на надежность информации, предоставляемой AI по таким темам, как здравоохранение, где точные знания имеют решающее значение.

TechCrunch отмечает, что ранее контрактникам из GlobalLogic, аутсорсинговой компании, принадлежащей Hitachi, предлагалось оценивать ответы AI по таким критериям, как «правдивость», и им разрешалось обходить вопросы, выходящие за рамки их компетенции.

Например, если бы их попросили оценить технический вопрос по кардиологии, контрактник без научного образования мог пропустить его.

Однако в соответствии с новыми указаниями, подрядчикам теперь предписывается оценивать ответы на все вопросы, включая те, которые требуют специализированных знаний, и отмечать все области, в которых у них нет экспертизы, как сообщает TechCrunch.

Новое правило вызвало опасения относительно качества оценок, предоставленных для сложных тем. Подрядчики, часто не обладающие необходимыми знаниями, теперь занимаются оценкой ответов искусственного интеллекта на вопросы, такие как редкие болезни или высшая математика.

Один из подрядчиков выразил свое разочарование во внутренней переписке, которую TechCrunch приводит. Он задался вопросом о логике устранения функции пропуска: «Я думала, что смысл пропуска заключается в том, чтобы повысить точность, отдавая задачу более подготовленному человеку?»

TechCrunch сообщает, что в обновленных руководящих принципах подрядчикам разрешено пропускать подсказки только в двух случаях: если текст подсказки или ответ неполный или содержит вредоносное содержимое, требующее специального согласия для оценки.

Это ограничение вызвало тревогу среди тех, кто работает над Gemini, которые опасаются, что AI может генерировать неточную или вводящую в заблуждение информацию в очень чувствительных областях.

TechCrunch сообщает, что Google не предоставил подробный ответ на волнующие подрядчиков вопросы.

Однако, как подчеркнул представитель компании в разговоре с TechCrunch, компания «постоянно работает над улучшением фактической точности в Gemini». Они также уточнили, что хотя оценщики дают ценный отзыв по многим факторам, их оценки не влияют напрямую на алгоритмы, но используются для оценки общей производительности системы.

Mashable отметил, что в отчете ставятся под сомнение строгость и стандарты, которые Google утверждает применять при тестировании Gemini на точность.

В разделе «Ответственное создание» анонса Gemini 2.0, Google заявил, что «работает с проверенными тестировщиками и внешними экспертами, проводит тщательную оценку рисков и оценку безопасности и надежности.»

Хотя уделяется достаточное внимание оценке ответов на чувствительные и вредоносные контенты, кажется, что меньше внимания уделяется ответам, которые, хоть и не являются вредоносными, просто неточны, как отметили в Mashable.