Microsoft разрабатывает новую модель ИИ, которая сможет конкурировать с основными LLM

Microsoft разрабатывает новую крупную языковую модель (LLM) с кодовым названием MAI-1, которая имеет потенциал конкурировать с ИИ LLM, разработанными Google и OpenAI. Microsoft впервые разрабатывает столь крупную LLM после того, как инвестировала миллиарды долларов в OpenAI за право использовать ее технологии в своем пакете программ для повышения производительности.

Согласно отчету The Information, разработку MAI-1 курируют Google DeepMind и соучредитель Inflection Мустафа Сулейман. В марте 2024 года Microsoft наняла нескольких сотрудников Inflection в рамках сделки на 650 миллионов долларов.

Согласно отчету, опубликованному 6 мая, MAI-1 будет иметь примерно 500 миллиардов параметров. Таким образом, он будет между заявленными одним триллионом параметров GPT-4 от OpenAI и 70 миллиардами параметров модели Meta Llama 3 AI. Также ожидается, что эта модель будет «гораздо больше» и дороже, чем любые более мелкие ИИ Microsoft с открытым исходным кодом (Phi-3 и WizardLM-2), так как она требует большей вычислительной мощности и данных для обучения.

Хотя MAI-1 может использовать методы и обучающие данные Inflection, она по-прежнему отличается от любых моделей или технологий, созданных OpenAI или Inflection. По словам сотрудников Microsoft, знакомых с проектом, MAI-1 — это совершенно новая LLM, разработанная внутри Microsoft.

Компания Microsoft еще не объявила точное назначение MAI-1 — ее использование будет зависеть от производительности. Тем временем компания выделила большой кластер серверов с графическими процессорами Nvidia и использует большие объемы данных из различных источников для улучшения модели.

Согласно отчетам, в зависимости от прогресса, компания может представить MAI-1 на конференции разработчиков Build в этом месяце, но эта информация не подтверждена.