Vous pensiez que l’ennemi juré de vos sondages, c’était le manque de motivation des participants ? Détrompez-vous, aujourd’hui il y a pire : les robots.
Depuis des années, les robots optimisés par l’IA s’infiltrent dans les conversations en ligne et se font passer pour des êtres humains, que ce soit dans les forums de discussion ou les réseaux sociaux (Elon Musk en sait quelque chose). Désormais, ces bots ont une nouvelle cible : vos données de sondage.
Pourquoi ? Le plus souvent par appât du gain, en répondant à des sondages qui récompensent les participants, ou bien pour monter des escroqueries. Plus inquiétant encore : ils peuvent servir à fausser intentionnellement les données, les classements et l’opinion publique, que ce soit à des fins politiques ou commerciales.
Rassurez-vous cependant : il n’y a pas que des mauvaises nouvelles. L’IA et l’apprentissage automatique sont aussi très utiles pour les entreprises, en particulier pour les spécialistes du marketing qui ont su en tirer profit. Il s’agit d’un outil majeur pour générer des leads, assurer un service client sous forme de chatbots, automatiser des campagnes de marketing, etc. D’après une récente étude SurveyMonkey, 73 % des spécialistes du marketing estiment que l’IA les rend plus performants.
Mais pour les spécialistes des études de marché, les robots qui répondent aux sondages sont une plaie. Nous savons que la qualité des données de sondage dépend de la qualité des réponses et nous avons donc développé un robot optimisé par ChatGPT pour tester la plateforme SurveyMonkey. Notre objectif ? Comprendre à quel point les robots peuvent déjouer les méthodes qu’utilisent les spécialistes des études de marché pour repérer les fausses réponses provenant de robots.
L’impact des robots sur la qualité de vos données de sondage
Nous avons nous-mêmes créé un bot capable de répondre à des sondages, pour mieux comprendre son fonctionnement. Vous trouverez ci-dessous un aperçu de ce que nous avons découvert sur les capacités des robots optimisés par l’IA, mais aussi sur les difficultés à les détecter.
- Ils ne se laissent pas tromper si facilement. Nous avons créé un sondage test avec une question de type « honeypot » (ou pot de miel), un leurre utilisant du texte blanc sur fond blanc, que la plupart des robots détectent, mais que les êtres humains ne voient pas. Nous n’avons eu aucun mal à apprendre à notre robot à détecter et ignorer ce type de questions.
- Ils savent ralentir le rythme. Un robot peut répondre à un sondage à la vitesse de l’éclair. Au premier abord, il semble que des alertes qui se déclenchent en fonction du temps passé sur chaque page ou sur la totalité d’un sondage semblent pourraient s’avérer efficaces. Mais notre robot s’est vite montré plus malin : il a fait des pauses et a pris son temps entre les questions. Il a sélectionné plusieurs réponses dans les questions à choix multiple et il a saisi les réponses aux questions ouvertes lettre par lettre, comme le ferait un être humain.
- Ils reproduisent les comportements humains. Notre robot n’a pas choisi ses réponses au hasard : il s’est servi de ChatGPT pour comprendre le contexte et analyser l’ensemble du sondage avant de répondre aux questions. Par exemple, il a détecté « étude de marché » dans le titre du sondage, ce qui a accru les chances qu’il choisisse ce terme dans une question de sélection. Nous lui avons aussi appris à répondre aux questions ouvertes comme le ferait un humain, en écrivant un texte qui s’éloigne du langage typique des robots. Notre bot a évité de rédiger de longs paragraphes, de faire faire des erreurs de ponctuation et d’utiliser des expressions peu ordinaires. Par exemple, en réponse à la question « Qu’est-ce qui vous intéresse le plus dans l’utilisation de l’IA pour les études de marché ? », Il a proposé des réponses comme :
- « Gain de productivité. »
- « Obtenir des informations plus approfondies sur les clients »
- « Amélioration de l’analyse des données et de la prise de décisions »
- « Pour moi, le plus intéressant c’est la rapidité d’accès aux données que permet l’IA. »
Nos bonnes pratiques pour détecter les robots dans un sondage
Il n’existe pas de solution infaillible. Cependant, en mettant en place des obstacles et des stratégies évolutives comme les exemples ci-dessous, vous augmenterez vos chances de détecter les robots et vous limiterez leur impact sur vos données de sondage.
- Limitez le contexte avant les questions de sélection. Comme nous l’avons mentionné plus haut, notre robot a su se servir de ChatGPT pour obtenir le contexte et donner des réponses logiques, ressemblant à celles d’un humain. Pour que les robots aient plus de mal à prédire et gérer les questions de sélection, masquez le titre du sondage et n’introduisez le sujet qu’après ces questions.
- Empêchez les robots d’analyser les éléments du sondage. Notre robot a facilement détecté les titres, les questions et les options de réponse cachés dans le code de la page Web du sondage. Pour empêcher les robots d’analyser et d’interpréter les questions, utilisez des images plutôt que du texte.
- Mettez en place des vérifications complexes du comportement humain. Notre robot a su imiter le comportement d’un être humain : il a fait défiler les pages Web, ralenti sa vitesse de frappe et fait des pauses entre les questions. Pour mieux déceler les robots, intégrez à votre sondage des mesures de détection avancées, comme des CAPTCHA ou l’analyse des mouvements du curseur ou des modes de frappe.
- Ne laissez pas les robots participer plusieurs fois au sondage. Quels autres torts peut vous causer un robot ? Il peut répondre plusieurs fois au même sondage. Bien que certains robots soient capables d’utiliser différentes adresses IP, vous pouvez limiter le trucage des résultats en empêchant les participants de répondre au même sondage plus d’une fois, particulièrement à partir de la même adresse IP.
- Pensez aux contrôles de logique et aux questions pièges. Vous pouvez aussi détecter les robots en posant des questions conçues pour vérifier que les participants sont attentifs et cohérents dans leurs réponses. Vous trouverez ici des exemples de questions pièges.
Notre expérience nous montre que les robots optimisés par l’IA sont suffisamment sophistiqués pour imiter les comportements humains et échapper à de nombreuses méthodes de détection classiques.
Les fraudes et les escroqueries que permettent les robots représentent une menace pour le secteur des études de marché. Si vous ne prenez pas les mesures adéquates, vous risquez de compromettre l’intégrité de vos données et de vos insights, sans même parler des erreurs coûteuses qui pourraient en découler. Mieux vous connaissez votre ennemi, mieux vous pourrez vous adapter et innover pour élaborer des sondages à l’épreuve des robots.
