L’un des rapports les plus détaillés sur l’entraînement de LLM de pointe des dernières années. Microsoft vient de publier une analyse technique approfondie de MAI-Thinking-1, son modèle axé sur le raisonnement : • 35 Go d’paramètres actifs / 1 To de paramètres totaux en MoE • Fenêtre de contexte de 256k (~600 pages de document) • Entraîné sur un cluster de 8 000 GPU GB200 La partie intéressante : l’accent a été mis moins sur une architecture novatrice et davantage sur la qualité des données et la recette d’entraînement. C’est là que réside probablement le prochain avantage des modèles de pointe. Il ne sera pas open-source, mais Microsoft prévoit de proposer un fine-tuning via API. Si davantage de laboratoires de Big Tech commencent à partager ce niveau de détail à nouveau, les chercheurs et les développeurs auront une vision bien plus claire de ce qui compte vraiment. Pensez-vous que les prochains grands progrès viendront de meilleures architectures — ou de meilleures données et pipelines d’entraînement ?