Ein neues Open-Source-Tool für die NVIDIA GeForce RTX 30-Serie ist in den Fokus von Nutzern gerückt, die die Leistung von Grafikkarten bei KI-Anwendungen genau verfolgen. Das auf GitHub veröffentlichte Linux-Kernel-Modul namens Zagitta soll die FP16- und BF16-Rechenleistung bei einigen Ampere-basierten Karten erheblich steigern.
Den vorliegenden Informationen zufolge funktioniert das Tool, ohne dass ein vBIOS-Flash oder ein physischer Eingriff an der Karte erforderlich ist. Das Modul greift in die Hardware-Geschwindigkeitswähler ein, bevor der NVIDIA-Treiber aktiv wird, und soll so die FP/BF16-FMA-Befehlsverarbeitungsgeschwindigkeit bei den Grafikchips GA102, GA103, GA104 und GA106 erhöhen.
Tests, die in sozialen Medien und Entwicklerkreisen geteilt wurden, deuten insbesondere auf die RTX 30-Serie hin. Demnach soll die BF16-Rechenleistung beim Modell RTX 3090 Ti von 87,5 TFLOPS auf 157,4 TFLOPS und die TF32-Leistung von 42,5 TFLOPS auf 82,6 TFLOPS gestiegen sein. Für die RTX 3080 mit 10 GB wurde berichtet, dass die FP16/BF16-Leistung bei einem Standard-Power-Limit von 320 W von etwa 65 TFLOPS auf einen Bereich von 110-113 TFLOPS angestiegen ist.
GERINGERE LATENZ BEI LLM-TESTS
In den geteilten Ergebnissen sticht nicht nur die reine Rechenleistung hervor, sondern auch Szenarien mit großen Sprachmodellen (LLMs). Bei Abfragen mit langem Kontext soll sich die Vorladezeit um etwa 33-36 Prozent beschleunigt haben, während die Latenz bis zur ersten Antwort um rund 25 Prozent gesunken sein soll. Im Gegensatz dazu wird angegeben, dass es in der „Decode“-Phase, in der die Textgenerierung fortgesetzt wird, keine signifikante Veränderung gibt.
Zagitta wird derzeit unter Linux und hauptsächlich auf Ampere-Chips der RTX 30-Serie eingesetzt. Obwohl in einigen Beiträgen auch die RTX 40-Serie in die Diskussion einbezogen wurde, enthalten die technischen Hinweise die Information, dass keine Unterstützung für die 40er-Serie besteht und zudem Secure Boot deaktiviert werden muss. Aus diesem Grund sollte das Tool nicht als risikofreie und standardmäßige Lösung für normale Nutzer betrachtet werden.
Diese Entwicklung spiegelt sich auch auf dem Markt für gebrauchte Grafikkarten wider. Nutzer, die KI-Modelle ausführen oder Feinabstimmungen vornehmen, sollen sich insbesondere auf die Modelle RTX 3090 und RTX 3090 Ti mit 24 GB VRAM konzentrieren. Es wird berichtet, dass RTX 3090-Anzeigen, die zuvor auf internationalen Gebrauchtplattformen im Bereich von 1.000 Dollar zu finden waren, nun die 2.000-Dollar-Marke überschritten haben, während für die RTX 3090 Ti Preise von 2.650 bis 3.000 Dollar im Gespräch sind.
Während dieses Szenario eine kostengünstigere Rechenoption für KI-Entwickler schafft, bedeutet es für Gamer erneut einen Preisdruck. Ob die Nachfrage von Dauer sein wird, hängt von der technischen Zuverlässigkeit des Tools, seinem Verhalten bei Treiber-Updates und der Risikobereitschaft der Nutzer ab.
Nachrichtenquelle: 12punto
