Récemment, le QRCA m'a invité à participer à une table ronde centrée sur un problème en plein essor qui sévit dans notre secteur : l'augmentation du nombre de participants trompeurs et de fausses réponses dans les études de marché en ligne. Cette conversation qui a suscité la réflexion m'a incité à proposer des points de vue supplémentaires sur la manière dont les chercheurs en technologie et en marché peuvent travailler ensemble pour lutter contre le problème en question.
Cette tendance malheureuse est très préoccupante. quantitatif projets de recherche étant donné la facilité avec laquelle les fermes de robots alimentées par l'IA peuvent inonder les enquêtes disponibles. Bien que ce ne soit pas aussi répandu en ligne qualitatif recherche, nous devons être conscients que les mauvais acteurs peuvent être motivés par les incitations plus importantes généralement fournies par des études égales.
En tant que directeur des produits (CPO) chez Recollective, je m'engage à lutter contre la fraude liée à la recherche qualitative en ligne, car je pense qu'elle a un impact corrosif sur notre secteur. Les chercheurs peuvent et doivent prendre des mesures proactives pour s'assurer que des réponses authentiques étayent leurs connaissances et les fournisseurs de technologies devraient proposer des outils efficaces pour prévenir ou identifier tout comportement sans scrupules.
Mon objectif est de proposer des solutions efficaces qui peuvent réduire les risques potentiels de réponses frauduleuses des participants à votre étude qualitative en ligne. En outre, je souhaite attirer l'attention sur les fonctionnalités Recollective actuelles et à venir conçues pour renforcer l'intégrité de vos données de recherche.
L'impact des participants frauduleux sur le processus de recrutement dans le domaine de la recherche en ligne
L'authenticité des personnes interrogées a toujours été source de préoccupations, en particulier lorsque recrutement de participants en ligne ou pour des recherches en ligne. Cela existait déjà avant l'avènement de l'intelligence artificielle et je suis sûr que de nombreux chercheurs l'ont constaté de première main.
Laura Pulito, notre vice-présidente des services de recherche chez Recollective, a rencontré un jour une participante qui avait complètement falsifié son identité. Malgré un profil et des réponses solides lors de la phase en ligne du projet, il a été révélé que le participant n'aurait même pas dû se qualifier pour l'étude une fois l'entretien à domicile réalisé.
Une tromperie en ligne aussi complexe est désormais plus facile à éviter grâce à l'utilisation de questions vidéo dans le processus de sélection. Les vidéos soumises ressemblent davantage à une évaluation en personne et peuvent être utilisées pour confirmer des détails tels que l'identité d'une personne ou sa ville de résidence. Une utilisation créative de la vidéo pourrait inclure le fait de demander aux candidats de présenter un produit qu'ils devraient déjà posséder ou de demander aux passionnés de voitures de montrer l'immatriculation de leur véhicule.
La mise en place d'un processus plus rigoureux au début d'une étude apportera une plus grande certitude tout en dissuadant les candidats moins authentiques.
Une fois l'étude en cours, il peut être utile pour les chercheurs d'intégrer des questions audio, vidéo et photographiques. Enregistrements audio sont plus simples et offrent plus de confidentialité que la vidéo, tout en capturant les détails subtils de la communication orale. Ces types de réponses peuvent aider les chercheurs à évaluer si les participants sont authentiques et engagés. Il est certainement plus difficile d'être soi-même lorsqu'on lit un script. Si le temps le permet, effectuer interviews vidéo en direct et réunions vidéo de groupe peuvent être d'autant plus efficaces qu'ils empêchent les participants de répéter leurs réponses.
Garantir l'exactitude des recherches qualitatives grâce au contenu généré par l'IA
Grâce à des outils tels que ChatGPT, les participants peuvent facilement fournir une réponse générée par l'IA pour remplacer leurs idées initiales. Ce risque est élevé dans les études qualitatives plus longues en raison de la fatigue des participants. Les individus peuvent être motivés à trouver des raccourcis permettant de gagner du temps sans planifier activement de frauder les chercheurs. Quoi qu'il en soit, la qualité en souffre.
Pour combattre la fatigue des participants et décourager l'utilisation de l'IA générative, je vous recommande de diversifier la conception de votre étude en tirant parti des nombreux types d'activités et de tâches de Recollective. Encouragez vos études en allant au-delà des questions ouvertes répétitives. Collectez des enregistrements audio, de webcam et d'écran. Utiliser critiques d'images, trier et classer les tâches, remplissez les blancs et même des grilles pour susciter des commentaires.
Au fur et à mesure que les réponses arrivent, posez des questions de suivi détaillées et encouragez les participants à relier leurs réponses à leurs expériences personnelles et à leurs contributions précédentes. La variété maximise l'engagement, tandis que le flux de réponse structuré rend les outils tels que ChatGPT moins pratiques.
Je suggère également de tirer parti une nouvelle fonctionnalité Des offres mémorielles visant à empêcher les participants de coller du contenu externe dans leurs réponses. Cela peut être appliqué de manière générale pour une étude ou activé pour certaines tâches.
L'heure de la journée et le temps consacré à une réponse peuvent également aider à identifier les comportements suspects. Il faut également se méfier des photos soumises qui semblent avoir été prises par des professionnels ou générées par l'IA.
En ce qui concerne les réponses ouvertes dactylographiées, les chercheurs doivent surveiller de près les signes révélateurs courants du contenu généré par l'IA :
- Des réponses génériques qui manquent d'émotion
- Absence d'anecdotes et de points de vue personnels (par exemple, utilisation minimale du « je » ou du « nous »)
- Choix de mots peu courants et césure excessive
- Formatage excessif, comme les en-têtes de section, les listes numérotées, etc.
- Modèles de ponctuation ou de longueur de phrase
- Grammaire et orthographe parfaites
- Orthographe américanisée dans les pays qui utilisent l'anglais britannique
Je recommande aux chercheurs de générer des exemples de réponses avec ChatGPT pour se familiariser avec son style d'écriture. Une fois que vous savez ce qu'il faut surveiller, la plupart des fausses réponses seront renvoyées de la page.
Au fur et à mesure de l'avancement de l'étude, je suggère de consulter la page de profil de chaque participant dans l'étude, étant donné qu'elle affiche toutes ses contributions sur une seule page. Entre autres avantages, ce point de vue aide les chercheurs à repérer les incohérences.
Si la décision malheureuse est prise de retirer un participant d'une étude, Recollective permet de supprimer immédiatement toutes les contributions faites par cette personne.
La voie à suivre pour préserver l'intégrité de la recherche
À l'avenir, Recollective envisage de développer un certain nombre d'améliorations basées sur l'IA et d'autres domaines afin de renforcer sa plateforme contre les répondants frauduleux :
- Détection par IA : Bien que les détecteurs de contenu alimentés par l'IA puissent être neutralisés, ils fournissent toujours une base de vérification. À l'avenir, nous espérons mettre en avant les réponses présentant une probabilité plus élevée d'être générées par l'IA.
- Génération d'IA : Les administrateurs auront la possibilité de générer des réponses IA tout en prévisualisant leurs propres tâches. Cela permettra de gagner du temps tout en démontrant le type de réponses que l'IA est susceptible de fournir à leurs questions.
- Enregistrements en direct : Pour les activités en direct, nous prévoyons de créer une salle d'attente qui permettra aux hôtes de procéder à des contrôles d'identité et techniques avant le début de la réunion.
- Délai de réponse : Nous prévoyons d'améliorer la façon dont les réponses aux tâches asynchrones sont chronométrées afin de pouvoir mettre en évidence de manière proactive les valeurs aberrantes, telles que celles qui se produisent rapidement dans une activité.
- Analyse de la session : Le suivi détaillé des sessions est déjà une fonctionnalité mémorielle, mais nous espérons fournir des alertes supplémentaires concernant les comportements à risque (par exemple, les heures de session tard dans la nuit, les adresses IP partagées et l'utilisation d'un logiciel VPN).
Si l'une de ces fonctionnalités vous intéresse ou si vous avez d'autres idées pour préserver l'intégrité des données, veuillez nous faire part de vos commentaires à l'adresse https://recollective.com/ideas.
Conclusion
Compte tenu de l'évolution rapide du secteur de l'IA générative, je ne pense pas que les chercheurs devraient s'appuyer sur la détection automatique. Concentrez-vous plutôt sur l'utilisation de la projection vidéo, faites preuve de variété dans la conception de votre étude et surveillez les réponses anormales. Envisagez la capture vidéo asynchrone et les réunions en direct pour prendre régulièrement contact avec vos participants. Enfin, utilisez les fonctionnalités de la plateforme telles que le collage, le blocage et le suivi des sessions.
La recherche qualitative en ligne offre un large éventail de possibilités et est encore plus importante aujourd'hui en tant que source de vérité. Grâce à une vigilance appropriée dans la sélection des répondants et à une conception de recherche solide, des plateformes comme Recollective peuvent offrir ces possibilités sans compromettre la qualité. Des informations fiables attendent ceux qui souhaitent apprendre et s'adapter aux réalités d'aujourd'hui.
.svg)