Interface · Étape

Agir sur un objet (image) `ui.image`

Retrouve un objet à l'écran à partir de son image (même déplacé ou restylé), puis clique, saisit ou vérifie sa présence.

Type: ui.image
Famille: Interface
Exécuté par: Robot
Quand l’utiliser: Applications sans accessibilité exploitable, canevas, bureaux à distance, icônes sans libellé.

Synopsis

{
  "id": "nouveau",
  "type": "ui.image",
  "label": "Cliquer sur « Nouveau document »",
  "props": {
    "template": "iVBORw0KGgo…",
    "surface": "screen",
    "action": "click",
    "threshold": "0.8",
    "timeout": "10",
    "name": "Nouveau document"
  }
}

Propriétés

Toutes les valeurs s’écrivent en chaînes JSON et acceptent l’interpolation {{variable}}. Voir Objet Étape.

Propriété	Type	Requis	Défaut	Description
`template`	image	oui	—	Image PNG (base64) de l'objet, choisie dans Studio › Choisir sur une capture. Ne pas écrire à la main.
`surface`	énumération	non	`screen`	Où chercher. `screen` `web`
`action`	énumération	non	`click`	Action à effectuer. `click` `double` `right` `hover` `type` `wait` `exists`
`text`	texte	non	—	Texte saisi (action « type »).
`submit`	booléen	non	`false`	Appuie sur Entrée après la saisie.
`threshold`	nombre	non	`0.8`	Ressemblance minimale, de 0 à 1.
`timeout`	nombre	non	`10`	Secondes d'attente de l'objet (120 maximum).
`ref_x`	nombre	non	—	Position d'origine horizontale (0 à 1), renseignée par Studio.
`ref_y`	nombre	non	—	Position d'origine verticale (0 à 1), renseignée par Studio.
`name`	texte	non	—	Libellé de l'objet : le retrouve même si son aspect change. Ex. `Nouveau document`
`role`	texte	non	—	Rôle accessible (bouton, champ…) pour départager les candidats.
`offset_x`	nombre	non	`0`	Décalage horizontal du clic, en points.
`offset_y`	nombre	non	`0`	Décalage vertical du clic, en points.
`into`	variable	non	`trouve`	Variable de résultat : position trouvée, ou vrai/faux pour « exists ».

Résultat

Variable: trouve — modifiable par into
Nature: booléen ou position
Contenu: « exists » : vrai/faux. Autres actions : vrai si l'objet a été trouvé et l'action effectuée.

Remarques

L'assistant de Studio ne génère cette étape que si l'objet a déjà été choisi : sinon il préfère ui.click ou desktop.click.
Gardez « threshold » à 0.8 ; descendre sous 0.7 augmente les faux positifs.

Erreurs fréquentes

Message	Cause	Solution
`aucun objet sélectionné`	« template » vide ou tronqué.	Choisissez l'objet sur une capture dans Studio.
`objet introuvable`	Ressemblance inférieure au seuil pendant tout le délai.	Augmentez « timeout », renseignez « name », ou reprenez la capture.

Voir aussi

Source : orchestrator/zokas_orch/runtime.py — PackageRunner._image ; orchestrator/zokas_orch/vision.py ; orchestrator/zokas_orch/heal.py

Mis à jour le 28 octobre 2026

Agir sur un objet (image) ui.image