Благотворительная организация Ai2 представляет новую LLM, конкурентоспособную с Llama от Meta

Некоммерческая исследовательская организация The Allen Institute for Artificial Intelligence (Ai2) запустила OLMo 2, второе поколение своей открытой модели языка, с высококонкурентоспособными инструментами и возможностями, сравнимыми с ведущими моделями на рынке, такими как Llama 3.1 от Meta.

Ai2, основанная в 2014 году сооснователем Microsoft Полом Алленом, описала эту модель как «лучшую полностью открытую модель языка на сегодняшний день».

«Мы представляем OLMo 2, новое семейство моделей 7B и 13B, обученных на до 5T токенов», — написала организация в анонсе на своем сайте. «Эти модели сравнимы или лучше аналогичного размера полностью открытых моделей и конкурентоспособны с открытыми моделями веса, такими как Llama 3.1 на английских академических оценках».

OLMo 2 является результатом модернизации предыдущих версий моделей, выпущенных в течение года — Ai2 объявила о своей первой модели, OLMo, в феврале, сосредоточив внимание на улучшении таких критически важных аспектов, как стабильность обучения, предварительное обучение, передовые методы пост-обучения и производительность с помощью инструментария оценки.

Новая модель в настоящее время доступна только на английском языке, и для общественности доступна онлайн-демонстрация для тестирования OLMo 2.

Согласно TechCrunch, OLMo 2 соответствует критериям, чтобы считаться открытым исходным кодом AI, так как его данные и инструменты доступны публично и готовы к тестированию.

Ai2 поделилась данными, доказывающими, что этот новый модель может превзойти другие популярные модели с похожими структурами.

«Мы обнаруживаем, что OLMo 2 7B и 13B являются лучшими полностью открытыми моделями на сегодняшний день, часто превосходя открытые модели с эквивалентным размером», — говорится в документе, поделенном организацией. «Мы не только наблюдаем значительное улучшение производительности по всем задачам по сравнению с нашей ранее моделью OLMo 0424, но и, что особенно заметно, OLMo 2 7B превосходит LLama-3.1 8B, а OLMo 2 13B превосходит Qwen 2.5 7B, несмотря на его меньшее общее обучение FLOPs.»

Alibaba выпустила новые модели Qwen 2.5, которые Ai2 рассматривала для сравнения, в сентябре.