Remote Control / Computer Use

TL;DR

Claude prend le contrôle de votre écran : il regarde via des captures, déplace la souris, clique et tape pour exécuter une tâche dans une vraie application. C'est la fonction qui permet d'automatiser une interface graphique sans API ni connector. Statut research preview, réservé aux plans Pro et Max au 17/05/2026. Lent (10 à 30 secondes par étape), faillible, à manier avec prudence.

Pour qui c'est utile

À considérer comme un prototype technologique, pas comme un outil de production stable. Quatre profils en tirent vraiment quelque chose :

• Dirigeants curieux qui veulent voir concrètement ce que veut dire « agent IA » et où la technologie va : la démo est spectaculaire et plante le décor pour les discussions stratégiques sur l'automatisation.
• Responsables transformation et automatisation qui doivent évaluer si Computer Use peut combler les trous laissés par les API et les connectors classiques (vieilles applications métier, portails fournisseurs, extranets sans webservice).
• Consultants et formateurs qui montrent une preuve de concept rapide à un client coincé avec une interface non automatisable autrement.
• Power users techniques qui prototypent des chaînes d'automatisation et veulent tester la frontière entre script, API, MCP et pilotage visuel.

Tout usage en production critique (paiement, données client, finance) est à éviter à ce stade.

Comprendre Computer Use (la mécanique sous le capot)

Le mécanisme se déroule en boucle, étape par étape :

1. Vous donnez un objectif en langage naturel dans Cowork.
2. Claude prend une capture d'écran de votre poste à un instant T.
3. Il analyse l'image et décide de la prochaine action atomique : déplacer la souris à telles coordonnées, cliquer, taper du texte, faire défiler.
4. Il simule l'action au niveau du système d'exploitation (équivalent d'un humain qui clique).
5. Il reprend une nouvelle capture pour observer le résultat et décide de l'étape suivante.
6. La boucle continue jusqu'à ce que l'objectif soit atteint ou que Claude estime être bloqué.

Trois conséquences directes de cette mécanique :

• C'est lent. Chaque étape prend 10 à 30 secondes (capture, analyse, décision, action). Une tâche de 8 clics prend 2 à 4 minutes.
• C'est faillible. Si l'interface change de pixel (popup, scroll, ralentissement réseau), Claude peut perdre le fil et cliquer à côté.
• C'est lié à votre machine. L'ordinateur doit rester éveillé, l'application au premier plan, et vous ne pouvez pas faire autre chose sur le poste pendant l'exécution.

Le statut research preview signifie que la fonction est encore en évolution active : interface qui change, comportement instable, restrictions qui peuvent évoluer du jour au lendemain. Permissions système strictes requises (accessibilité, contrôle d'écran) que vous devez accorder manuellement.

Quand Computer Use est pertinent vs quand une API ou un MCP est meilleur

Computer Use est pertinent dans ces cas :

• L'application cible n'a pas d'API publique (vieil ERP interne, portail fournisseur, extranet client).
• Aucun connector ni MCP ne couvre le besoin.
• La tâche est ponctuelle ou peu fréquente (une fois par mois) et ne justifie pas un développement spécifique.
• Vous faites un prototype pour démontrer la faisabilité d'une automatisation avant d'investir.

Une API ou un MCP est meilleur dans ces cas :

• L'application expose une API : la fiabilité, la vitesse et le coût sont sans comparaison (1 appel API = 100 ms ; 1 séquence Computer Use = 2 minutes).
• Un connector officiel existe : prenez le connector, point.
• Il y a déjà un MCP disponible pour l'outil cible (voir SK4 MCP Builder pour la construction de connecteurs sur mesure).
• La tâche est récurrente et critique : Computer Use n'a pas le niveau de fiabilité d'un script ou d'une intégration API.
• Vous manipulez des données sensibles : la fonction n'est pas calibrée pour de la production sécurisée.

Règle simple : Computer Use est le filet de secours, pas la solution par défaut.

Pas à pas détaillé

Activer Computer Use dans Cowork

1. Ouvrez Claude Desktop et assurez-vous d'être sur la dernière version (menu Aide ou About).
2. Allez dans Settings > General > Desktop app.
3. Repérez le toggle Computer use (ou Remote control) et activez-le. Un message d'avertissement rappelle le statut research preview et les usages déconseillés.
4. Quittez et relancez Claude Desktop pour que l'activation soit prise en compte.

Donner les permissions OS

5. Sur macOS : ouvrez Réglages Système > Confidentialité et sécurité > Accessibilité. Activez Claude Desktop dans la liste. Faites pareil dans Enregistrement d'écran. Sans ces deux permissions, Computer Use ne peut ni voir l'écran ni cliquer.
6. Sur Windows : ouvrez Paramètres > Confidentialité > Caméra et capture d'écran. Autorisez Claude Desktop à capturer l'écran. L'élévation administrateur peut être demandée la première fois selon votre configuration.
7. Au premier déclenchement réel, le système peut redemander une permission par application cible (Chrome, Excel, Outlook). Validez chaque demande au cas par cas.

Lancer une tâche

8. Dans Cowork, formulez l'objectif en langage naturel. Exemple : « Ouvre le portail fournisseur dans Chrome, recherche les factures du mois d'avril et fais une capture des 5 premiers résultats ».
9. Confirmez le démarrage. Claude prend la main : vous voyez la souris bouger toute seule.
10. Ne touchez ni à la souris ni au clavier pendant l'exécution : vous perturberiez la séquence et risqueriez de bloquer la tâche.

Surveiller et interrompre

11. Gardez un œil sur le déroulé. Si Claude part dans une mauvaise direction, vous pouvez reprendre la main à tout moment : un simple mouvement de souris ou une touche stoppent la séquence.
12. À la fin, Claude affiche un résumé dans Cowork (étapes effectuées, capture finale, éventuels blocages). Validez ou corrigez.

Cas d'usage avec exemples concrets

Extraire des emails depuis une UI sans API. Vieux webmail métier sans export possible. Claude ouvre la boîte, parcourt les 20 derniers messages, copie l'expéditeur, l'objet et la date dans un tableau. Limites : si le webmail rafraîchit la page automatiquement, la séquence peut casser.

Remplir un formulaire web complexe. Portail administratif avec 30 champs et plusieurs onglets. Claude lit un fichier source que vous lui avez fourni, navigue dans le formulaire et remplit champ par champ. Utile pour des saisies répétitives, mais à vérifier manuellement avant validation finale.

Naviguer dans un outil métier sans API. Vieil ERP interne sans webservice. Claude ouvre l'écran « Commandes en attente », filtre sur le mois en cours, exporte un CSV via le menu. C'est lent mais ça déverrouille un cas qui aurait demandé un développement RPA complet.

Vérification automatique d'une page. Page de checkout d'un site e-commerce que vous voulez auditer chaque semaine. Claude ouvre l'URL, clique sur les étapes du tunnel d'achat, fait une capture à chaque étape et signale les éventuelles anomalies visuelles. Idéal pour un contrôle qualité ponctuel.

À retenir

• Computer Use est un prototype puissant : la démonstration impressionne, la production déçoit. Ne pas confondre les deux.
• Règle d'or : si une API ou un MCP existe, prenez-les. Computer Use est le dernier recours.
• C'est lent (10 à 30 secondes par étape) et faillible : 1 retry sur 3 en moyenne sur les workflows non triviaux.
• L'ordinateur doit rester éveillé et disponible pendant toute l'exécution.
• Le statut research preview implique des changements fréquents : ne pas industrialiser, ne pas former massivement les équipes dessus tant que la fonction n'est pas stabilisée.
• Aucun usage financier, juridique, médical ou de données personnelles tierces ne doit passer par Computer Use à ce stade.

Pièges à éviter

• Lenteur sous-estimée : un workflow qui prend 10 secondes à un humain peut prendre 3 minutes à Claude. Mesurez avant de promettre un gain de temps.
• Erreurs sur interfaces complexes : modales, scrolls infinis, animations, drag-and-drop sont des points de fragilité. Testez chaque scénario plusieurs fois avant de l'utiliser.
• Captures floues ou écrans HiDPI : sur certains affichages haute densité, les captures peuvent perdre en netteté et faire rater les éléments cibles. Réduire la résolution ou agrandir l'application aide souvent.
• Permissions OS non accordées : sans accessibilité ni capture d'écran, Computer Use échoue silencieusement (pas toujours d'erreur claire). Vérifier les deux toggles avant tout test.
• Escalade vers des actions sensibles : ne lancez jamais Computer Use sur une session bancaire, un outil de paiement, un dossier patient ou un fichier RH. La fonction n'est pas calibrée pour ça et les apps finance sont bloquées par défaut.
• Démos en aveugle : ne montrez jamais Computer Use à un client sans l'avoir testé 3 fois en interne sur le scénario exact. Une démo qui rate en live abîme la confiance.
• MDM entreprise : sur un poste géré par un MDM, le toggle peut être verrouillé. Voir avec la DSI avant de promettre la fonction à un utilisateur.

Exercice 1 minute

Activez Computer Use, ouvrez Cowork et demandez : « Ouvre la calculatrice de l'ordinateur et calcule 12345 multiplié par 6789, puis dis-moi le résultat ». Observez la séquence : ouverture de l'app, frappe des chiffres, lecture du résultat. Vous voyez en direct la mécanique capture, décision, clic, et vous comprenez immédiatement la latence par étape.

Variantes par plan

• Free : indisponible.
• Pro : research preview, toggle à activer manuellement, permissions OS à accorder.
• Max : idem Pro, mêmes limites, mêmes risques.
• Team : indisponible au 17/05/2026 (à revérifier régulièrement, la fonction peut s'ouvrir).
• Enterprise : indisponible au 17/05/2026 (à revérifier régulièrement, déploiement encadré probable quand la fonction sortira).

Liens internes

• Feature liée : desktop/02-cowork (Cowork est le terrain où Computer Use s'exécute)
• Feature liée : desktop/03-connectors-locaux (connectors propres, à privilégier dès qu'ils couvrent le besoin)
• Feature liée : skills-mcp/04-mcp-builder (construire un MCP sur mesure quand une API existe, alternative durable à Computer Use)