TurboPenguin

Freie Software, mit der mittelgrosse Sprachmodelle unter GNU/Linux laufen, ohne das ganze Modell in den Speicher zu laden – mit dem Ziel, über 80 % Arbeitsspeicher bei rund 95 % der Leistung einzusparen.

#Runde 5

TurboPenguin ist Freie Software, mit der mittelgrosse Sprachmodelle im gemeinsamen Arbeitsspeicher (Unified Memory) laufen, ohne dass das ganze Modell auf einmal geladen werden muss. Das Projekt baut auf Techniken auf, die auf den proprietären Plattformen von Apple und Windows gezeigt wurden, und bringt das teilweise Laden von Modellen auf GNU/Linux mit PC-kompatibler Hardware. Ziel ist, den Bedarf an Arbeitsspeicher um mehr als 80 % zu senken und dabei rund 95 % der Leistung zu erhalten – das senkt den Hardware- und Energiebedarf. Der offene und reproduzierbare Prototyp könnte den Zugang zu lokaler KI verbreitern und den Grundstein dafür legen, leistungsfähige Modelle auf kleineren Geräten zu betreiben.

Team

Volker Birk
Luca Saiu
Neal Walfield
Marcio Ferreira dos Santos

PROJEKTÜBERSICHT