https://blog.defectiv.es/tags/benchmark/Recent content in benchmark on Gaia Lab · BlogHugoes-ESTue, 22 Sep 2026 22:00:00 +0200https://blog.defectiv.es/posts/medir-llm-cuantizados-gguf-bfcl-bigcodebench-ruler/Tue, 22 Sep 2026 12:45:00 +0200https://blog.defectiv.es/posts/medir-llm-cuantizados-gguf-bfcl-bigcodebench-ruler/<p>Cuarta entrega de <strong>Radiografía del clúster</strong>. Es el mejor ejemplo de lo que decía la <a href="https://blog.defectiv.es/posts/que-corre-de-verdad-en-nuestro-cluster/">entrada de resumen</a> : el clúster hoy es sobre todo un <strong>laboratorio de medida</strong>. Aquí no se entrena un parámetro.</p> <h2 id="la-pregunta">La pregunta <a class="hanchor" href="#la-pregunta" aria-label="Enlace a esta sección">#</a></h2> <p>Los modelos abiertos se distribuyen cuantizados: los mismos pesos comprimidos a 8, 6, 5, 4, 3 o 2 bits para que quepan en una tarjeta pequeña o en un portátil. La comunidad publica cientos de variantes, pero rara vez con una medida comparable de lo que se pierde. La línea pregunta <strong>cuánto rinde de verdad cada nivel de cuantización de cada familia en tareas que importan para usar el modelo como herramienta</strong>, y a qué velocidad y coste energético lo hace en cada tarjeta.</p>