Последната актуализация на Llamafile значително подобри производителността на процесорите Ryzen на AMD, като използва техните възможности AVX-512, увеличавайки я до 10 пъти.
Ускорете своите мощни LLM модели с най-новата актуализация на Llamafile: 10 пъти по-бърза производителност на процесори AMD Ryzen с поддръжка на AVX-512
Според Phoronix най-новата актуализация за Llamafile вече включва поддръжка за набора инструкции AVX-512. Това означава, че процесорите, способни да използват AVX-512, ще видят значително увеличение на производителността при използване на софтуера. Беше съобщено, че предстоящите Zen 4 “Ryzen” процесори на AMD ще изпитат десетократно подобрение в бързата оценка с тази актуализация, което в крайна сметка ще доведе до по-ефективна LLM производителност при използване на инструмента.
Llamafile е лесен за внедряване инструмент, който комбинира LLM модел с необходимите библиотеки в един изпълним файл. Разработено от Mozilla Ocho, неговата цел е да направи LLM достъпни за по-широка аудитория чрез използване както на CPU, така и на GPU. Инструментът придоби популярност сред разработчиците, тъй като елиминира необходимостта от скъпи решения за достъп до LLM. Въпреки това, тъй като Llamafile все още е в ранните си етапи на разработка, може да има някои неточности, които ще бъдат разрешени, когато тенденцията за периферни изчисления набере скорост.
Според Phoronix, новият Llamafire 0.7 все още не е преминал тестове. Въпреки това, те обявиха планове за провеждане на тестове на системи както на AMD, така и на Intel в бъдеще. Най-новата версия може да бъде достъпна чрез GitHub, като щракнете върху тази връзка. Важно е да се отбележи, че само процесорите Ryzen на AMD в момента поддържат инструкции AVX-512 за чипове от потребителски клас. За разлика от това, Intel избра да не поддържа тази функция, за да защити своите продажби на чипове Xeon. Това дава предимство на платформата Ryzen на AMD за потребители, които изискват AVX-512 възможности в своите приложения.