On parle souvent de modération comme d’un problème technique : filtrer des mots, bloquer du spam, détecter des insultes.
Mais dans la plupart des cas problématiques que j’ai observés, rien de tout ça n’apparaît au début.
Ce sont plutôt des relations progressives : une personne qui contacte toujours la même, crée une relation exclusive, isole progressivement la conversation.
Les outils actuels ne voient rien parce qu’il n’y a ni insulte ni menace explicite.
J’ai voulu voir si on pouvait détecter non pas des mots, mais une dynamique conversationnelle inhabituelle.
J’ai construit un prototype qui analyse une interaction complète entre deux utilisateurs et alerte seulement si un humain devrait probablement regarder.
Je serais curieux d’avoir des retours techniques :
https://app.safety-child.fr/demo
Top comments (0)