MDST Engine: run GGUF models in the browser with WebGPU/WASM
MDST Engine permet d’exécuter des modèles GGUF dans le navigateur via WASM et WebGPU pour une inférence locale et complète. Il permet de charger, affiner, exécuter et publier ses propres modèles GGUF dans Chrome, Safari ou Edge. Cet outil propose un IDE libre, sécurisé et collaboratif avec inférence intégrée en cloud et locale, qui synchronise et stocke les projets tout en garantissant le chiffrement de bout en bout et la conformité RGPD. On peut lancer des LLMs dans le navigateur en un clic, synchroniser des projets en temps réel via GitHub ou le système de fichiers local, et mesurer les performances localement avec un classement WebGPU. L’objectif est d’ouvrir un marché plus large pour GGUF en rendant l’inférence locale rapide et accessible à tous, tout en invitant chacun à contribuer et à tester les modèles et le leaderboard.