Исследователи создают AI-модель за $50, которая конкурирует с OpenAI и DeepSeek

Группа исследователей в области ИИ из Стэнфорда и Университета Вашингтона обучила высокопроизводительную модель ИИ для решения задач за менее чем $50 на облачные вычисления, согласно исследовательскому докладу, опубликованному в прошлую пятницу, о чем впервые сообщила TechCrunch.

Модель, названная s1, показывает себя на уровне продвинутых AI с функцией рассуждения, таких как o1 от OpenAI и R1 от DeepSeek в математических и программировании. Она свободно доступна на GitHub вместе с данными для обучения и кодом.

Для разработки s1 исследователи начали с уже существующей модели AI и настроили ее с использованием процесса, называемого дистилляцией. Этот метод извлекает навыки рассуждения из более продвинутого AI, обучаясь на его ответах.

Команда раскрыла, что s1 был дистиллирован из экспериментальной модели Google Gemini 2.0 Flash Thinking.

Группа исследователей создала открытую AI модель, которая конкурирует с o1-preview от OpenAI в решении сложных математических и логических задач. Их секрет? Простой трюк, позволяющий AI больше времени на размышления перед ответом.

Метод, называемый «принуждение к бюджету времени», работает путем заставления AI делать дополнительные шаги при решении проблем, а не спешить с ответом. Уделяя себе больше времени, AI может перепроверить свою работу и улучшить точность.

Команда обучила свою модель, названную s1-32B, используя всего 1000 тщательно отобранных примеров вопросов с пошаговыми объяснениями.

Несмотря на такой маленький набор данных, модель превзошла o1-preview от OpenAI в сложных математических тестах, таких как MATH и AIME24, улучшив результаты на 27%. Она даже смогла повысить свой собственный результат в тесте с 50% до 57%, просто подумав дольше перед окончательным формулированием ответов — без каких-либо дополнительных тренировок.

Это важно, поскольку большинство улучшений в AI зависят от огромных объемов новых обучающих данных. Вместо этого, данное исследование предполагает, что у многих моделей AI уже есть сильные логические способности, скрытые внутри них — они просто нуждаются в правильных методиках, чтобы их раскрыть.

В рамках исследования также были проверены различные способы продления мыслительного времени AI. Один из методов предполагал поэтапное уточнение ответов AI, в то время как другой предлагал генерировать сразу несколько возможных ответов и выбирать лучший. Наилучшим оказалось сочетание обоих методов, с использованием древовидного процесса принятия решений.

Хотя у этого метода есть ограничения, такие как объем памяти ИИ, необходимый для расчетов, исследователи считают, что дальнейшая доработка может расширить его возможности. Они также предполагают, что обучение с подкреплением, метод, при котором ИИ учится методом проб и ошибок, может сделать мышление во время тестирования еще более умным.

Предоставив свою модель и исследования бесплатно, команда надеется поощрить более открытую и прозрачную разработку ИИ, помогая другим создавать более умные и надежные системы ИИ.