MySoftRank
Publicar software Entrar

llama.cpp

Motor de inferência em C/C++ para LLMs em CPU e GPU, com formato GGUF e quantização.

por ggml.ai Nenhuma avaliação ainda Código aberto Grátis Linux macOS Windows Somente API b11043 Atualizado há 48 dias 6 94,4 =
Visitar site Não verificado pelo fornecedor Código-fonte Comparar com Ollama Este produto é seu? Reivindique ☆ Favoritar 👍 Recomendar 🔔 Acompanhar releases

Visão geral

Motor de inferência em C/C++ para LLMs em CPU e GPU, com formato GGUF e quantização.

Categoria
Execução de LLMs · Ferramentas de IA
Plataformas
Linux, macOS, Windows, Somente API
Preço
Grátis
Licença
MIT
Código-fonte
ggml-org/llama.cpp
Estrelas no repositório
128.722
API
Sem descrição pública de API

Histórico de versões

Atualizado há 48 dias

10 versões nos últimos 12 meses.

  1. b11043
  2. b11042
  3. b11040
  4. b11039
  5. b11037
  6. b11036
  7. b11035
  8. b11034
  9. b11033
  10. b11030

O que os usuários dizem

Nenhuma avaliação ainda

As notas aparecem quando chegarem avaliações verificadas. Até lá, o ranking usa apenas sinais públicos: atualização de versões e adoção do repositório.

Alternativas ao llama.cpp

Ver todas as alternativas
Ollama 4 94,9 =

Runtime para baixar e executar modelos de linguagem localmente, com CLI e API REST.

Atualizado há 49 dias
LocalAI 61 86,6 =

API auto-hospedada compatível com a OpenAI que roda modelos de texto, imagem e áudio em hardware local.

Atualizado há 49 dias
vLLM 92 81,7 =

Motor de serviço de LLMs com alta vazão, paged attention e servidor compatível com a API da OpenAI.

Atualizado há 49 dias
LM Studio 367 40,0 =

Descubra, baixe e execute LLMs locais offline no Mac, Windows e Linux com interface amigável e servidor local compatível com OpenAI.

Parado: 633 dias sem versão