Alternatives to llama.cpp

Alternatives, ranked

1. 1
   OL

   Ollama

   Runtime para baixar e executar modelos de linguagem localmente, com CLI e API REST.

   • Higher score
   • No shared features
   Updated 4 days ago

   4 93,8 = Compare
2. 2
   VL

   vLLM

   Motor de serviço de LLMs com alta vazão, paged attention e servidor compatível com a API da OpenAI.

   • No shared features
   Updated 4 days ago

   28 91,3 = Compare
3. 3
   LO

   LocalAI

   API auto-hospedada compatível com a OpenAI que roda modelos de texto, imagem e áudio em hardware local.

   • No shared features
   Updated 4 days ago

   63 89,1 = Compare