Les grands modèles linguistiques ont maintenant vraiment des mains.
Ce jeudi, Anthropic a annoncé le lancement de MCP pour les appareils matériels : Model Hardware Standard (MHS), une nouvelle norme conçue pour aider tous les agents d'IA pilotés par de grands modèles à manipuler en toute sécurité et efficacité des dispositifs physiques.
Aujourd'hui, des grands modèles comme Claude peuvent manipuler des équipements physiques tels que des microscopes, des bras mécaniques, des manipulateurs de liquides et des lasers, tout comme avec le MCP (Model Context Protocol). Cette avancée est considérée par l'industrie comme une étape clé pour permettre à l'IA de passer du monde numérique au monde physique.
Un certain nombre d'utilisateurs d'agents ont probablement entendu parler de MCP, un protocole ouvert lancé par Anthropic en novembre 2024, conçu pour fournir une interface de communication bidirectionnelle standardisée et sécurisée entre les grands modèles linguistiques (LLM) et des sources de données externes, des fichiers locaux, des outils de développement ainsi que divers services d'applications.
Le positionnement central de MCP est « l'interface USB-C du domaine de l'IA », permettant de connecter les grands modèles à des environnements logiciels tels que GitHub, Slack, le système de fichiers local et les bases de données. Au fil du développement des technologies d'IA ces dernières années, MCP est devenu une norme de fait indispensable dans l'écosystème des agents intelligents.
Maintenant, c'est aussi Anthropic, qui vise à élever cette norme de communication à travers le matériel, en l'appliquant à des composants matériels, des capteurs, des systèmes embarqués et des équipements de test.
Le développement de MHS a commencé avec un partenariat entre Anthropic et le Janelia Research Campus de l'Howard Hughes Medical Institute (HHMI), et la version préliminaire de recherche est désormais disponible pour les premiers laboratoires de recherche et fabricants avancés.
En général, les laboratoires ou usines de fabrication nécessitent plusieurs semaines, voire plusieurs mois, pour installer et intégrer le matériel. La plupart des équipements ne peuvent pas communiquer directement entre eux, ce qui oblige à faire appel à des experts pour concevoir des solutions d’intégration sur mesure. MHS réduit ce temps d’intégration à quelques heures, voire quelques minutes. De plus, en intégrant l’IA dans ces outils, MHS aide les chercheurs et ingénieurs à coordonner plus facilement des expériences et des processus autonomes, 24 heures sur 24. Les agents peuvent raisonner sur chaque étape de l’expérience, mettre à jour les paramètres en temps réel et, dans certains cas, se rétablir automatiquement après une défaillance matérielle, sans intervention humaine.
MHS peut être utilisé avec tout appareil disposant d'une interface programmable, et il est indépendant du type de modèle de base ; tout cadre d'agent peut l'accesser à l'aide de protocoles standards, tels que MCP.
Même sans tenir compte de la complexité supplémentaire d’intégrer l’IA dans le système, permettre à plusieurs appareils dans un laboratoire ou un atelier de communiquer entre eux n’est pas une tâche facile. Chaque appareil possède généralement sa propre interface de programmation, et aucune méthode standardisée d’intégration n’existe pour le moment. De plus, une fois les appareils connectés, il n’existe aucune méthode universelle pour leur permettre de partager des données avec un Agent, encore moins pour permettre à l’Agent de les manipuler en toute sécurité.
MHS répond à ces défis en introduisant un pilote standardisé : un logiciel qui effectue la traduction entre le système d'exploitation de l'ordinateur et les appareils matériels. Le pilote MHS utilise un ensemble de commandes de base simples, telles que la lecture (par exemple, obtenir la température) et l'écriture (par exemple, définir la température), que tout appareil matériel peut comprendre et exécuter. Il permet à chaque appareil d'être découvert dans un format standard, permettant ainsi aux appareils et aux agents de se découvrir mutuellement et de communiquer à travers le réseau, sans nécessiter de programmes de « traduction » personnalisés entre eux.
Les pilotes MHS aident également les agents à comprendre et à utiliser des appareils jamais vus auparavant, et leur fournissent des informations sur les caractéristiques mécaniques que le code seul ne pourrait pas obtenir (par exemple, le poids d'un bras mécanique, essentiel pour une opération sécurisée). Jusqu'à présent, ces informations étaient principalement stockées dans des manuels papier, sur les ordinateurs des utilisateurs ou sous forme de connaissances implicites. Mais les pilotes MHS contiennent des étiquettes qui permettent aux utilisateurs de saisir directement ces informations en langage naturel (ils peuvent les entrer eux-mêmes ou les fournir via une conversation avec l'agent, qui les demande automatiquement à propos de leur configuration matérielle).
En utilisant les informations de ces étiquettes, le pilote MHS génère automatiquement un fichier de référence contenant les informations générales sur les caractéristiques de l'appareil, telles que ce qu'il peut mesurer, ce qui peut être ajusté et quelles restrictions de sécurité seront appliquées. Ce fichier fournit à l'agent toutes les informations nécessaires pour opérer l'appareil.
Une fois les appareils connectés et que l’agent sait comment utiliser chaque appareil, il faut encore une méthode pour contrôler ces équipements. Pour MHS, trois mécanismes existent : MCP, l’interface en ligne de commande et les fichiers de code (API). Ils travaillent ensemble pour permettre à l’utilisateur de coordonner plusieurs appareils via une seule ligne de code.
Une fois que l'agent peut contrôler les appareils, il peut recevoir les données de fonctionnement de chaque appareil et superviser et guider les opérations à un niveau supérieur. L'agent peut ordonner les étapes d'opération des différents instruments, surveiller les résultats et ajuster les paramètres en fonction des changements en temps réel. Lorsque l'agent doit exécuter des tâches de longue durée ou opérer les appareils à une vitesse dépassant sa capacité d'inférence en ligne, il peut chaîner les commandes du pilote provenant d'un ou plusieurs appareils dans un fichier de code. Ainsi, les appareils peuvent exécuter les opérations autonomement, sans que l'agent doive effectuer une inférence à chaque étape.
Lors de la test de MHS, Anthropic a constaté que Claude interagissait avec les expériences et le matériel comme un scientifique pleinement exploratoire.
Anthropic a observé que Claude ajustait les lasers et observait les résultats via une caméra, évaluait comment les ajustements déplaçaient le faisceau laser, puis répétait ce processus pour comprendre l'ordre des événements. Par la suite, Claude a regroupé les informations apprises dans un fichier de code, écrivant un script déterministe lui permettant de calibrer le laser sans avoir à raisonner à chaque étape, permettant ainsi à l'ensemble du processus d'être exécuté via une seule commande.
Pendant le développement de MHS, Anthropic a partagé cette technologie avec plusieurs laboratoires et fabricants de matériel dans des domaines tels que la biotechnologie, la robotique et l'informatique quantique. Dans ces projets précoces, nous avons observé que MHS réduit le temps d'intégration des équipements, accélère les itérations dans divers environnements expérimentaux et facilite le fonctionnement en temps réel et la détection des pannes des machines.
Les fournisseurs de matériel et leurs entreprises logicielles associées intègrent également le support MHS dans les appareils afin que les agents puissent découvrir et manipuler les dispositifs. Par exemple :
Amazon Web Services (AWS) soutient MHS via Strands Robots, une bibliothèque permettant de connecter des agents IA à des dispositifs physiques. Pendant la prévisualisation de recherche de MHS, AWS fournira aux participants une version privée préliminaire du package Strands Robots.
Automata ajoute la prise en charge de MHS à sa plateforme d'automatisation de laboratoire LINQ pour une gestion intelligente des erreurs sur les instruments dans un laboratoire autonome.
Danaher explore activement les fonctionnalités prises en charge par MHS pour permettre à ses instruments intelligents et à ses laboratoires autonomes de scaling la recherche et le développement biomédicaux.
Doosan Robotics utilise ses bras robotiques pour tester MHS, y compris l'exécution d'assurance qualité automatisée et la coordination des tâches entre plusieurs robots.
MBF Bioscience développe un pilote MHS pour ScanImage, le logiciel utilisé dans des centaines de laboratoires de neurosciences à travers le monde pour faire fonctionner des microscopes à balayage laser, dans le but d'intégrer des agents d'IA à l'analyse de données en temps réel et aux expériences.
QIAGEN teste MHS via des preuves de concept sur sa plateforme de purification d'acides nucléiques QIAsymphony Connect, afin de démontrer comment les agents IA peuvent aider les laboratoires à diagnostiquer plus rapidement les pannes d'équipement, guider les opérateurs dans la restauration et augmenter le temps de fonctionnement des appareils tout en réduisant les risques pour les échantillons biologiques.
Tecan ajoute la prise en charge de MHS à sa plateforme de manipulation de liquides Fluent, afin que les agents IA puissent directement découvrir et manipuler ces plateformes.
Universal Robots a obtenu en avance l'accès à MHS et prévoit d'ajouter le support de MHS sur sa plateforme de robots.
Avant l'ouverture du code source, Anthropic souhaite encore améliorer cette norme.
En tant que modèle de langage à grande échelle, Claude apprend le monde physique à partir de textes et d'images, ce qui implique des limites dans ses capacités de raisonnement spatial et physique, nécessitant toujours une supervision experte. Par exemple, lors de l'analyse d'échantillons de protéines, les chercheurs de Genentech doivent guider Claude pour qu'il identifie que les erreurs causées par la formation de bulles dans l'échantillon sont des défaillances physiques, et non des erreurs logicielles, et ne peuvent être atténuées que par des corrections physiques appropriées.
MHS n'est actuellement pas compatible avec les appareils ne disposant pas d'une interface de programmation ; Anthropic collabore donc avec les fabricants de ces appareils pour intégrer les pilotes MHS directement dans le matériel. De nombreux développeurs utilisent déjà Claude Code pour contrôler des appareils physiques individuels. À la prochaine étape de MHS, Anthropic souhaite étendre cette norme pour couvrir un plus grand nombre d'appareils utilisés par les développeurs.
Les premiers adopteurs incluent Hugging Face (qui ajoute la prise en charge de MHS dans sa bibliothèque de robots LeRobot) et Raspberry Pi (qui active l'intégration de MHS dans plusieurs de ses produits après avoir effectué des tests réussis avec son pilote Camera MHS).
Contenu de référence :
https://www.anthropic.com/news/model-hardware-standard-research-preview
Cet article provient du compte WeChat « Machine Heart » (ID : almosthuman2014), auteur : Machine Heart axée sur les agents