https://blog.defectiv.es/de/tags/benchmark/Recent content in benchmark on Gaia Lab · BlogHugode-DEWed, 23 Sep 2026 09:00:00 +0200https://blog.defectiv.es/de/posts/medir-llm-cuantizados-gguf-bfcl-bigcodebench-ruler/Tue, 22 Sep 2026 12:45:00 +0200https://blog.defectiv.es/de/posts/medir-llm-cuantizados-gguf-bfcl-bigcodebench-ruler/<p>Dritte Folge von <strong>Cluster-Röntgenbild</strong>. Sie ist das beste Beispiel für das, was der <a href="https://blog.defectiv.es/de/posts/que-corre-de-verdad-en-nuestro-cluster/">Überblicksbeitrag</a> sagte: Der Cluster ist heute vor allem ein <strong>Messlabor</strong>. Hier wird kein einziger Parameter trainiert.</p> <h2 id="die-frage">Die Frage <a class="hanchor" href="#die-frage" aria-label="Enlace a esta sección">#</a></h2> <p>Offene Modelle werden quantisiert verteilt: dieselben Gewichte, komprimiert auf 8, 6, 5, 4, 3 oder 2 Bit, damit sie auf eine kleine Karte oder ein Notebook passen. Die Community veröffentlicht Hunderte Varianten, aber selten mit einer vergleichbaren Messung dessen, was verloren geht. Die Linie fragt, <strong>wie viel jede Quantisierungsstufe jeder Familie in Aufgaben wirklich leistet, die für den Einsatz des Modells als Werkzeug zählen</strong>, und mit welcher Geschwindigkeit und welchen Energiekosten sie das auf jeder Karte tut.</p>