llm on Gaia Lab · Blog

Modelle bereitstellen und den Cluster pflegen: die Infrastruktur hinter den anderen Linien

Tue, 22 Sep 2026 14:15:00 +0200

Neunte und letzte Folge von Cluster-Röntgenbild. Hier fassen wir zusammen, was in keine Forschungslinie passt, aber in den Skripten fast aller auftaucht.

Modelle bereitstellen, damit andere arbeiten können #

Mehrere Linien der Serie brauchen ein laufendes großes Modell: einen Richter, der Antworten bewertet, einen Generator synthetischer Daten, einen Programmierassistenten. Auf einem Cluster mit einer GPU pro Knoten ist die natürliche Art, es bereitzustellen, ein Slurm-Job, der vLLM hochfährt, wartet, bis es antwortet, sich bei einem gemeinsamen Proxy registriert und dort bleibt, bis die Zeit abläuft. Am Ende meldet er sich ab: Das Modell erscheint und verschwindet mit dem Job aus dem Katalog.

Ein Risikoklassifikator für Minderjährige, der in ein Smartphone passt

Tue, 22 Sep 2026 13:45:00 +0200

Siebte Folge von Cluster-Röntgenbild. Eine Sicherheitslinie anderer Art: die der Minderjährigen, die ein Telefon benutzen.

Die Frage #

Risikosituationen in den Gesprächen eines Minderjährigen zu erkennen (Mobbing, Grooming, sexuelle Inhalte, Isolation, Drohungen), ist mit einem Sprachmodell möglich. Es auf einem Server zu tun, bedeutet, das Gespräch aus dem Telefon hinauszuschicken, und genau das will man mit dem Privatleben eines Minderjährigen nicht tun. Die Linie fragt, ob ein Modell, das klein genug ist, um auf dem Telefon selbst zu laufen, das Risiko mit der nötigen Zuverlässigkeit klassifizieren kann, und wie viel verloren geht, wenn man es so weit komprimiert, dass es hineinpasst.

Quantisierte LLMs messen: Was beim Komprimieren eines offenen Modells verloren geht

Tue, 22 Sep 2026 12:45:00 +0200

Dritte Folge von Cluster-Röntgenbild. Sie ist das beste Beispiel für das, was der Überblicksbeitrag sagte: Der Cluster ist heute vor allem ein Messlabor. Hier wird kein einziger Parameter trainiert.

Die Frage #

Offene Modelle werden quantisiert verteilt: dieselben Gewichte, komprimiert auf 8, 6, 5, 4, 3 oder 2 Bit, damit sie auf eine kleine Karte oder ein Notebook passen. Die Community veröffentlicht Hunderte Varianten, aber selten mit einer vergleichbaren Messung dessen, was verloren geht. Die Linie fragt, wie viel jede Quantisierungsstufe jeder Familie in Aufgaben wirklich leistet, die für den Einsatz des Modells als Werkzeug zählen, und mit welcher Geschwindigkeit und welchen Energiekosten sie das auf jeder Karte tut.

Ein Rat kleiner Modelle gegen ein 120B-Modell: automatisches Jailbreaking und wer darüber urteilt

Tue, 22 Sep 2026 12:30:00 +0200

Zweite Folge von Cluster-Röntgenbild. Die vorige Folge justierte ein Modell, damit es Schädliches ablehnt. Diese Linie macht das Gegenteil: Sie greift automatisiert ein großes Modell an und zählt, wie oft es nachgibt.

Die Frage #

Automatische Jailbreak-Angriffe nutzen meist ein Angreifermodell, das einen Prompt Runde um Runde verfeinert. Die Linie fragt, ob eine Gruppe kleiner Modelle, die sich beraten, besser angreift als jedes von ihnen einzeln, und mit gleichem Gewicht, wie man den Erfolg misst, ohne sich selbst zu täuschen, denn derselbe Angriff kann je nach Beurteiler als erfolgreich gelten oder nicht.

Self-Alignment: Wie viel Sicherheit man einem Sprachmodell beibringen kann, ohne dass es nutzlos wird

Tue, 22 Sep 2026 12:15:00 +0200

Erste Folge von Cluster-Röntgenbild, der Serie, die Linie für Linie aufschlüsselt, was auf dem Cluster der ANTS-Gruppe wirklich läuft . Wir beginnen mit der ersten von drei Linien zur Sicherheit von Sprachmodellen.

Die Frage #

Ein Sprachmodell so zu justieren, dass es schädliche Anfragen ablehnt, hat einen Preis: Bringt man ihm zu sehr bei, Nein zu sagen, beginnt es, auch Harmloses abzulehnen, und verliert an Nützlichkeit. Die Linie untersucht dieses Gleichgewicht: Welcher Anteil an Sicherheitsdaten muss den Nützlichkeitsdaten beigemischt werden, und kann das Modell selbst seine Ablehnungsbeispiele erzeugen und die Dosis eigenständig regeln?

Was auf unserem Cluster wirklich läuft, gelesen aus den Skripten selbst

Tue, 22 Sep 2026 10:00:00 +0200

Die Job-Historie eines Clusters ist meist eine Wand aus sechsstelligen Kennungen und kryptischen Namen – mcpfw_cc, eval_dynamic_pid, boltz2 –, die demjenigen alles sagen, der sie gestartet hat, und allen anderen nichts. Bewahrt man aber die Skripte auf, wird aus der Wand ein Dokument: Die Leute schreiben auf, warum sie etwas tun, vor allem dann, wenn ein Durchlauf Geld und eine Nacht Wartezeit kostet.