DEV Community

MilhommeSI
MilhommeSI

Posted on

Comment on teste une secrétaire IA pour vrai, pas en démonstration

Tester, ce n'est pas écouter une belle démo

Je vais être direct : une démonstration contrôlée ne prouve presque rien pour un agent vocal. En production, les gens parlent vite, changent d'idée au milieu d'une phrase, appellent avec du bruit autour et posent une question qui n'était dans aucun scénario.

Alors, comment je teste Sarah, notre secrétaire IA, pour vrai ?

Notre méthode, sans raccourci

  • On appelle d'un téléphone neutre. Jamais d'un poste interne, jamais dans des conditions arrangées. Le test doit ressembler à un vrai appel de client.
  • On part de scénarios écrits d'avance. Questions fréquentes, demande de rendez-vous, situation urgente, personne qui hésite, personne qui veut simplement laisser un message.
  • On écoute ce qui se passe vraiment. Où la conversation accroche-t-elle ? Quelle formulation sonne artificielle ? Quelle information manque pour terminer l'appel proprement ?
  • On ajuste une chose à la fois. Si je change tout en même temps, je ne sais plus ce qui a amélioré ou empiré l'échange.

Ce cycle — appeler, écouter, ajuster, rappeler — est lent. C'est aussi la seule façon honnête de mettre un produit vocal entre les mains de PME qui comptent sur leur téléphone pour vivre.

Les détails qui comptent plus que le reste

Trois détails reviennent dans presque tous nos tests :

  • La première phrase décide de la confiance. Elle doit être claire, naturelle, en français québécois, sans détour.
  • Confirmer une information vaut mieux que la redemander. Quand Sarah a déjà un nom ou un numéro au dossier de l'appel, le répéter poliment montre qu'elle suit.
  • Une bonne sortie vaut une bonne entrée. Si Sarah ne connaît pas la réponse, elle ne devine pas : elle prend le message et les coordonnées, transmet le résumé par courriel, et déclenche une alerte par texto si c'est urgent.

Tester un agent vocal, c'est accepter que la conversation réelle sera toujours plus inventive que vos scénarios. Le travail, c'est de réduire l'écart, un appel à la fois.

Si le sujet des tests en production vous intéresse, suivez cette chronique : je documente la méthode, pas seulement le résultat. Et si vous voulez faire votre propre test, Sarah répond au 581-892-9086.

— Alexandre Milhomme, fondateur de MilhommeSI

Top comments (0)