Anthropic vient de doter son assistant IA d'une paire de mains. Claude peut désormais contrôler directement les applications macOS, effectuer des clics de souris, des entrées clavier et des captures d'écran à travers les applications de bureau, tout en fonctionnant silencieusement en arrière-plan pour permettre aux utilisateurs de continuer leurs activités.
La fonctionnalité, disponible via l'application Claude Desktop pour les abonnés Pro et Max, représente l'une des étapes les plus concrètes à ce jour vers des agents IA qui ne se contentent pas de parler de faire un travail, mais qui le font réellement.
Comment cela fonctionne réellement
La nouvelle fonctionnalité fonctionne sur macOS 15 (Sequoia) et versions ultérieures, en mode arrière-plan par défaut. Plutôt que de prendre le contrôle de votre souris et de votre clavier, Claude s'exécute dans des fenêtres séparées tandis que vous continuez d'utiliser votre machine normalement.
Lorsque les connecteurs API traditionnels ne sont pas disponibles pour une application donnée, Claude recourt à la capture d’écran et à la simulation d’entrée pour accomplir les tâches. Il peut lire ce qui s’affiche à l’écran, déterminer où cliquer et saisir des réponses dans les champs, imitant ainsi la manière dont un humain interagirait avec un logiciel qui n’a pas été conçu avec une intégration AI en vue.
Le système s'inscrit dans deux contextes : Claude Cowork, destiné aux tâches de productivité générale, et Claude Code, axé sur les flux de travail de développement. Les deux exploitent la même architecture sous-jacente de contrôle informatique, mais sont optimisés pour des cas d'utilisation différents.
Il existe également une fonction Dispatch mobile qui permet aux utilisateurs d'attribuer des tâches à distance. Démarrez une tâche depuis votre téléphone, et Claude la gère sur votre Mac.
Permissions et dispositifs de sécurité
Le système exige une autorisation explicite de l'utilisateur avant que Claude ne prenne aucune action lors de la première tâche de chaque session. Des invites de confidentialité apparaissent avant les opérations sensibles, et les autorisations au niveau de l'application offrent aux utilisateurs un contrôle précis sur ce que Claude peut ou ne peut pas toucher.
Le déploiement initial est limité aux plans individuels payants. Les abonnements équipe et entreprise n'y ont pas encore accès.
Une mise en garde honnête reconnue par Anthropic elle-même : Claude est plus lent qu’un humain pour exécuter des tâches de bureau complexes. L’IA adopte une approche méthodique et prudente à chaque interaction, lit l’écran, planifie les actions, puis les exécute étape par étape.
De l'expérience bêta au produit livré
Ce lancement n’est pas apparu de nulle part. Anthropic a d’abord introduit les capacités de contrôle informatique sous forme bêta en octobre 2024 dans le cadre de l’API Computer Use, intégrée à Claude 3.5 Sonnet. Cette version était davantage un prototype, destinée principalement aux développeurs souhaitant expérimenter des flux agentic.
Ce que cela signifie pour la course aux agents IA
Les limites actuelles sont réelles. Une vitesse d'exécution plus lente que celle d'un humain signifie que cela ne remplacera pas du jour au lendemain les processus existants. Il est plus utile pour des tâches répétitives et à haut volume que pour tout ce qui nécessite une réactivité en temps réel. Le design en mode arrière-plan signifie également que Claude ne peut pas interagir avec ce que vous êtes en train de faire activement — il est limité à ses propres fenêtres.
Pour l'instant, cette fonctionnalité reste exclusive aux abonnés individuels payants sur macOS 15 ou version ultérieure, sans calendrier annoncé pour la disponibilité Team ou Enterprise.