На Connect 2024 основателят и главен изпълнителен директор на Meta Марк Зукърбърг обяви дебюта на Llama 3.2 . Тази нова версия въвежда малки и средни големи езикови модели (LLM) с 11B и 90B параметри , заедно със селекция от само текстови модели на устройството (1B и 3B параметри). По-специално, новите модели 11B и 90B vision представляват встъпителното начинание на Llama в мултимодални възможности.
Microsoft също обяви , че моделите Llama 3.2 11B Vision Instruct и Llama 3.2 90B Vision Instruct вече са достъпни в каталога на Azure AI Model Catalog . Освен това, скоро разработчиците могат да очакват изводи чрез безсървърни API на Models-as-a-Service (MaaS) за тези подобрени модели.
Наличните модели Llama 3.2 за управлявани изчислителни изводи на Azure включват:
- Пламък 3.2 1B
- Лама 3.2 3B
- Llama 3.2-1B-Instruct
- Llama 3.2-3B-Instruct
- Пазител на лама 3 1B
- Llama 3.2 11B Vision Instruct
- Llama 3.2 90B Vision Instruct
- Llama Guard 3 11B Vision
Понастоящем фина настройка се предлага само за моделите Llama 3.2 1B Instruct и 3B Instruct. Microsoft обаче планира да разшири възможностите за фина настройка към допълнителни колекции модели Llama 3.2 през следващите месеци. Тези модели работят с ограничение от 200 000 токена на минута и 1 000 заявки на минута . Разработчиците, изискващи по-висок лимит на скоростта, се насърчават да се свържат с екипа на Microsoft за евентуални корекции.
Освен това Google обяви , че всички модели Llama 3.2 вече са налични във Vertex AI Model Garden, което позволява внедряване на самообслужване. В момента само моделът Llama 3.2 90B се предлага в предварителен преглед чрез решението MaaS на Google.
Във връзка с моделите Llama 3.2, Meta въведе дистрибуции на Llama Stack . Тези дистрибуции са предназначени да рационализират начина, по който разработчиците използват Llama модели в различни среди, които включват настройка на един възел, локална настройка, облак и настройка на устройството. Екипът на Meta разкри следното:
- Llama CLI (интерфейс на командния ред) за създаване, конфигуриране и изпълнение на дистрибуции на Llama Stack
- Клиентски код, наличен на множество езици за програмиране като Python, Node.js, Kotlin и Swift
- Docker контейнери за Llama Stack Distribution Server и Agents API Provider
- Разнообразие от дистрибуции:
- Разпределение на Llama Stack с един възел чрез вътрешна реализация на Meta и Ollama
- Разпространение на Cloud Llama Stack чрез AWS, Databricks, Fireworks и Together
- Разпределение на Llama Stack на устройството в iOS, внедрено с помощта на PyTorch ExecuTorch
- Локално разпространение на Llama Stack, поддържано от Dell
Пускането на моделите Llama 3.2 и дистрибуциите на Llama Stack означава основен напредък в подобряването на достъпността до стабилни AI модели за разработчиците. Очаква се този напредък да стимулира по-големи иновации и по-широко приемане на ИИ в различни сектори.