Entradas etiquetadas con "llama-cpp".
Huawei ha publicado MACaQ, un cuantizador Apache 2.0 que sirve para llama.cpp, vLLM y modelos de imagen o audio. Lo que más me interesa no es el récord de velocidad, sino lo de refinar GGUF que ya tienes.