MySoftRank
Entrar

Alternativas ao llama.cpp

Ordenadas pelo quanto se parecem com llama.cpp e depois pela nota.

3 alternativas

Alternativas, ranqueadas

  1. Ollama

    Runtime para baixar e executar modelos de linguagem localmente, com CLI e API REST.

    • Nota maior
    • Nenhum recurso em comum
    Atualizado há 4 dias
    4 93,8 = Comparar

  2. vLLM

    Motor de serviço de LLMs com alta vazão, paged attention e servidor compatível com a API da OpenAI.

    • Nenhum recurso em comum
    Atualizado há 4 dias
    28 91,3 = Comparar

  3. LocalAI

    API auto-hospedada compatível com a OpenAI que roda modelos de texto, imagem e áudio em hardware local.

    • Nenhum recurso em comum
    Atualizado há 4 dias
    63 89,1 = Comparar