Meta представила Llama 4 — ИИ-модель с контекстным окном на 10 миллионов токенов

Что нового в Llama 4?

Llama 4 включает три модели:

• Llama 4 Scout
• Llama 4 Maverick
• Llama 4 Behemoth (пока в разработке)

Llama 4 Scout: невероятный объём контекста

Флагман линейки — Llama 4 Scout — способен анализировать огромные массивы информации благодаря контекстному окну на 10 млн токенов. Это особенно полезно при обработке длинных документов, видео и больших наборов изображений (до 48 штук за запрос).

Благодаря архитектуре Mixture of Experts (MoE), модель активирует только необходимые блоки параметров, что позволяет эффективно использовать вычислительные ресурсы. Llama 4 Scout демонстрирует отличные результаты на бенчмарках, опережая конкурентов, включая Google Gemma 3 и Mistral 3.1.

«Мы представляем Llama 4 Scout и Llama 4 Maverick, первые изначально мультимодальные модели с открытым весом и беспрецедентной поддержкой длины контекста, а также наши первые модели, созданные с использованием архитектуры «смешанные эксперты» (MoE). Мы также представляем Llama 4 Behemoth, одного из самых умных LLM в мире и самого мощного из тех, кто еще будет служить учителем для наших новых моделей»

— пишет Meta

Llama 4 Maverick и Behemoth: производительность и масштаб

Модель Maverick показывает сопоставимую с GPT-4o и DeepSeek-V3 производительность в задачах кодирования и логических рассуждений, при этом используя меньше активных параметров.

А вот Llama 4 Behemoth, хоть и пока не вышла, уже на слуху: она будет включать 288 миллиардов параметров и ориентирована на выполнение самых сложных задач. По заявлениям Meta, Behemoth превосходит GPT-4.5 и Claude 3.7 по STEM-бенчмаркам.

Интеграция в продукты и лицензия

ИИ-модели Llama 4 уже внедрены в популярные приложения Meta — WhatsApp, Messenger и Instagram, открывая новые возможности взаимодействия с ИИ в реальном времени.

Однако стоит отметить, что несмотря на открытый исходный код, лицензия Llama 4 ограничивает коммерческое использование для компаний с аудиторией более 700 млн пользователей, что вызвало споры в сообществе open-source.

Llama 4 Scout и Llama 4 Maverick доступны для загрузки на llama.com и Hugging Face. Доступ к ИИ-моделям также есть в WhatsApp, Messenger, Instagram DM и на веб-сайте Meta.AI.

Так же ы можете посмотреть наш подробный обзор про языковые модели

Что дальше?

Подробности о развитии Llama 4 и будущих планах Meta обещают раскрыть на мероприятии LlamaCon, которое состоится 29 апреля.