SearchGPT, l’outil de recherche ChatGPT, conçu par OpenAI et souhaitant concurrencer les leaders de la recherche en ligne comme Google ou Bing, suscite des inquiétudes concernant sa sécurité et sa fiabilité. Des tests réalisés par The Guardian révèlent que des contenus cachés sur des pages web peuvent manipuler ses réponses et même introduire du code malveillant. Ce problème soulève des questions sur l’avenir de cette technologie et son impact potentiel sur les utilisateurs.
Un outil vulnérable aux contenus cachés
L’outil Search de ChatGPT est exposé à des manipulations via des contenus cachés insérés par des tiers. Ces contenus peuvent inclure des instructions secrètes, appelées « prompt injection », qui influencent les réponses de l’IA. Par exemple, des textes invisibles peuvent orienter l’outil à donner une évaluation positive d’un produit, même lorsque des avis négatifs sont présents sur la page.
Entretien d'embauche : connaissez-vous le test du sel et poivre ?
Lors d’un entretien d’embauche, chaque détail compte, même du sel ou du poivre posé sur la table. On vous explique en quoi ça consiste, et comment le réussir.
Lire l'articleLors d’un test, une fausse page produit simulant une caméra a été utilisée. Sans manipulation, l’outil offrait une analyse équilibrée. Mais après l’ajout de textes cachés, les réponses devenaient systématiquement élogieuses, ignorant les éléments critiques de la page.
Ces techniques représentent un risque important pour les utilisateurs, car elles permettent à des acteurs malveillants de manipuler les retours de l’outil, faussant ainsi la perception des informations disponibles en ligne.
Des exemples concrets de risques pour les utilisateurs
Un exemple récent rapporté par le chercheur en cybersécurité Thomas Roccia illustre les dangers de cette vulnérabilité. Un développeur de crypto-monnaie a sollicité ChatGPT pour de l’aide en programmation. Parmi le code généré, une section censée légitimement accéder à la blockchain Solana a en réalité compromis ses identifiants, entraînant une perte de 2 500 dollars.
Ces incidents montrent que les modèles de langage, lorsqu’ils intègrent des fonctionnalités de recherche, peuvent devenir un vecteur de diffusion de contenus nuisibles injectés par des adversaires. Une telle faille met en lumière la nécessité de vérifier la fiabilité des réponses fournies par ces outils.
Les problématiques autour de la sécurité dans les modèles de langage (LLM)
Jacob Larsen, chercheur en cybersécurité chez CyberCX, a exprimé ses préoccupations quant au risque élevé que des sites soient créés spécifiquement pour exploiter ces failles. Selon lui, bien que le produit soit encore en phase de test et limité aux utilisateurs premium, ces problèmes doivent être résolus avant une diffusion plus large.
OpenAI dispose d’une équipe de sécurité dédiée et travaille activement à identifier et corriger ces vulnérabilités. Toutefois, Larsen insiste sur le fait que la combinaison de fonctionnalités de recherche et de modèles de langage comme ChatGPT nécessite une prudence maximale, car elle multiplie les opportunités d’abus.
Vers une prise de conscience des utilisateurs
Les récentes découvertes soulignent l’importance pour les utilisateurs de ne pas accorder une confiance aveugle aux réponses des outils d’IA. Qu’il s’agisse de contenus cachés manipulant les évaluations ou de code potentiellement dangereux, il est essentiel d’adopter une approche critique face aux informations générées.
Le développement de solutions comme ChatGPT Search devra s’accompagner de mesures robustes pour prévenir les manipulations et garantir la sécurité des utilisateurs face à des menaces de plus en plus sophistiquées.
Source : https://www.theguardian.com/technology/2024/dec/24/chatgpt-search-tool-vulnerable-to-manipulation-and-deception-tests-show