Alternativas ao llama.cpp
Ordenadas pelo quanto se parecem com llama.cpp e depois pela nota.
Alternativas, ranqueadas
-
Ollama
Runtime para baixar e executar modelos de linguagem localmente, com CLI e API REST.
Atualizado há 49 dias4 94,9 = Comparar -
LocalAI
API auto-hospedada compatível com a OpenAI que roda modelos de texto, imagem e áudio em hardware local.
Atualizado há 49 dias61 86,6 = Comparar -
vLLM
Motor de serviço de LLMs com alta vazão, paged attention e servidor compatível com a API da OpenAI.
Atualizado há 49 dias92 81,7 = Comparar -
LM Studio
Descubra, baixe e execute LLMs locais offline no Mac, Windows e Linux com interface amigável e servidor local compatível com OpenAI.
Parado: 633 dias sem versão367 40,0 = Comparar