Projektstatus:

TurboPenguin

Un logiciel libre qui fait tourner des modèles de langage de taille moyenne sous GNU/Linux sans charger tout le modèle en mémoire – avec l’objectif d’économiser plus de 80 % de mémoire vive tout en conservant environ 95 % des performances.

#Round 5 

TurboPenguin est un logiciel libre qui permet à des modèles de langage de taille moyenne de fonctionner en mémoire unifiée sans charger le modèle entier en une seule fois. S'appuyant sur des techniques démontrées sur les plateformes propriétaires d'Apple et de Windows, le projet apporte le chargement partiel des modèles à GNU/Linux sur du matériel compatible PC. Il vise à réduire de plus de 80 % l'utilisation de la mémoire vive tout en conservant environ 95 % des performances, ce qui diminue les besoins en matériel et en énergie. Le prototype ouvert et reproductible qui en résultera pourrait élargir l'accès à l'IA locale et poser les bases de l'exécution de modèles performants sur des appareils plus petits.

Équipe

  • Volker Birk
  • Luca Saiu
  • Neal Walfield
  • Marcio Ferreira dos Santos
PROJEKTÜBERSICHT