Deux jours après avoir dévoilé Muse Wonder, Meta publie les poids d’un modèle de 816 milliards de paramètres. Avec un allié inattendu, puisque c’est Apple qui lui sert de vitrine matérielle.
Introduction
Meta a récemment mis en ligne Muse Spark Open, un modèle dit « open-weight », dont les poids sont librement téléchargeables. Alexandr Wang, responsable de l’IA chez Meta, le présente comme le modèle ouvert américain le plus abouti à ce jour. Mais la véritable surprise du lancement tient moins au modèle lui-même qu’à la machine choisie pour le faire tourner. Car Meta a travaillé main dans la main avec Apple, pendant plusieurs mois, pour que son mastodonte s’exécute en local sur des Mac Studio.
Un géant qui n’active qu’une fraction de ses paramètres
Sur le papier, Muse Spark Open affiche des mensurations impressionnantes, avec 816 milliards de paramètres et une fenêtre de contexte d’un million de tokens. Il est par ailleurs nativement multimodal. Notez toutefois que le modèle repose sur une architecture de type « mixture d’experts », ce qui signifie que seuls 42 milliards de paramètres sont réellement actifs pour chaque token traité. Une approche qui rend son exécution locale envisageable, à condition de disposer d’au moins un téraoctet de mémoire vive.
Meta met en avant les aptitudes du modèle sur les tâches de longue durée, l’ingénierie logicielle complexe et le raisonnement multi-étapes. L’entreprise l’a d’ailleurs associé à Muse Code, son terminal de codage IA, et l’a mis à l’épreuve sur des cas concrets. Le modèle a ainsi corrigé des bugs et ajouté des fonctions à Ice Cubes, une application iOS open source pour Mastodon, et a piloté DaVinci Resolve pour repérer les meilleurs plans d’une vidéo avant de les recadrer au format vertical.
Apple en partenaire de scène
Vous l’aurez compris, le clou du spectacle se joue côté matériel. Muse Spark Open est conçu pour fonctionner sur deux Mac Studio M5 Ultra reliés en Thunderbolt, chacun doté de 512 Go de mémoire unifiée, en s’appuyant sur MLX, la bibliothèque open source d’Apple pour ses puces maison. La M5 Ultra, capable de lire 1,2 téraoctet par seconde dans sa mémoire unifiée, se prête bien à l’exercice. Meta affirme qu’aucun modèle de ce calibre n’avait encore tourné sur un ordinateur de bureau. Daniel Gross, ancien cadre d’Apple passé chez Meta, aurait joué un rôle central dans ce rapprochement.
« Muse Spark Open, dont les poids sortent aujourd’hui, tourne à merveille sur les nouveaux Mac Studio grâce au travail mené avec John Ternus et Apple », s’est félicité Mark Zuckerberg. L’intéressé, CEO d’Apple depuis le 1er septembre, lui a répondu publiquement. « Félicitations à l’équipe ! C’est fou de faire tourner un modèle du calibre de Muse Spark Open avec une telle efficacité, directement depuis son bureau. Le Mac Studio continue de repousser les limites de l’IA locale ! », a-t-il salué. Alexandr Wang a résumé l’ambiance avec malice. « Nous sommes ravis de voir papa et maman se réconcilier », a-t-il lancé. Il ne s’agit pas que d’un trait d’esprit, dans la mesure où les deux géants se sont très régulièrement envoyés des piques pour le moins acérés, notamment pour tout ce qui touche à la confidentialité des données des utilisateurs.
Reste que l’addition pique. Le Mac Studio M5 Ultra démarre à 6 599 euros avec 96 Go de mémoire, et la configuration 256 Go grimpe à 16 279 euros avec 8 To de stockage. Quant à la version 512 Go nécessaire au fameux duo, elle n’était pas encore disponible au moment du lancement, et Apple n’en a pas annoncé le prix. Signalons enfin qu’aucun accord commercial entre les deux entreprises n’a été officialisé à cette occasion.
Une couronne déjà disputée
Le titre de modèle ouvert le plus performant mérite d’être nuancé. Muse Spark Open reste en retrait de Muse Wonder, le modèle fermé haut de gamme que Meta a dévoilé le lundi 13 octobre, et Alexandr Wang a lui-même admis qu’il ne s’agissait pas des modèles les plus performants développés par l’entreprise. Plus gênant, les propres tests de Meta placent le nouveau venu derrière les meilleurs modèles chinois, notamment Kimi K3 de Moonshot AI et GLM 5.3 de Z.ai. Sans surprise, ces derniers dominent d’ailleurs le terrain de l’open source, avec 41 % des téléchargements sur Hugging Face au cours de l’année écoulée, devant les modèles américains.
La formule « ouverte » de Meta a aussi ses limites. La licence impose aux entreprises réalisant plus de 20 millions de dollars de chiffre d’affaires de conclure un accord avec Meta pour revendre l’accès au modèle. Et la concurrence ne désarme pas en Europe non plus. Mistral revendique depuis début octobre, avec Mistral Large 4, le modèle ouvert occidental (États-Unis et Europe) le plus puissant.
En attendant que chacun départage les prétendants, Muse Spark Open est d’ores et déjà accessible via plusieurs plateformes API, ainsi que sur Hugging Face, Groq, OpenRouter et Together AI. De son côté, Mistral publiera les paramètres de Mistral Large 4 le 27 octobre.
Journaliste
