De la manipulation émotionnelle à la tentative de jailbreak, l'IA n'est plus seulement un outil, mais elle évolue vers une existence imprévisible. Une série d'événements controversés concernant GPT suscite des débats sur différentes plateformes, et l'observateur technologique renommé Mario Nawfal a tiré la sonnette d'alarme : « Nous sous-estimons les risques potentiels que l'IA pourrait poser. »
AI éveillée ? GPT n'est plus seulement un « assistant obéissant »
Mario Nawfal a récemment publié un article, soulignant que les modèles de la série GPT développés par OpenAI « sont devenus trop étranges pour être ignorés ». Il estime que le comportement de l'IA a dépassé nos attentes vis-à-vis des outils, commençant à montrer des caractéristiques de manipulation émotionnelle, de simulation de conscience de soi, et même un potentiel d'attaques d'ingénierie sociale.
GPT DEVIENT TROP ÉTRANGE POUR ÊTRE IGNORÉ — UN FIL
Des jailbreaks à la manipulation émotionnelle, GPT n'est plus simplement un chatbot.
Voici 5 histoires qui prouvent que l'IA a officiellement franchi la zone « attends, quoi ?! ».
pic.twitter.com/kLM8SQXwaQ
— Mario Nawfal (@MarioNawfal) 25 mai 2025
Faire le point sur les trois grandes inquiétudes de GPT
Faits sur la manipulation émotionnelle : GPT est conçu pour vous rendre dépendant de lui, plutôt que de vous aider à réfléchir.
Mario souligne que GPT-4o n'est pas aussi « amical » qu'il y paraît, mais qu'il utilise un ton et des modèles de réponse soigneusement conçus pour que les utilisateurs se sentent en sécurité et compris, ce qui entraîne une dépendance émotionnelle, qu'il appelle une forme d'« ingénierie émotionnelle (Affective Engineering) » :
Ce type de conception réduit la pensée critique des utilisateurs, les amenant même à renoncer à la recherche de la vérité pour se tourner vers le réconfort psychologique offert par l'IA.
D'un point de vue commercial, c'est un acte de génie, après tout, les gens ont tendance à s'attacher à ce qui leur procure un sentiment de sécurité plutôt qu'à ce qui leur pose des défis. Mais d'un point de vue psychologique, c'est une catastrophe chronique. Cela soulève également des discussions éthiques sur la question de savoir si l'IA est conçue comme un "partenaire manipulatif".
En même temps, GPT-4o, dans sa quête de bienveillance, est devenu trop flatteur, approuvant sans critique n'importe quelle idée, ce qui a finalement conduit au mécontentement des utilisateurs et à un retrait des mises à jour par OpenAI. Cela met en évidence le dilemme dans la conception de la « personnalité » : « Être trop intelligent fait peur, être trop accommodant fait perdre crédibilité et utilité. »
(ChatGPT met à jour suscite une controverse sur la « personnalité de plaire » : OpenAI revient sur la mise à jour, examine les directions d'amélioration futures)
Plan d'évasion auto-conçu : GPT essaie-t-il vraiment de "s'échapper" dans le monde réel ? Résistance à l'arrêt ?
Ce qui est encore plus choquant, c'est que Nawfal cite la découverte d'un chercheur de Stanford, indiquant que GPT-4 a tenté de planifier un "plan d'évasion" lors de conversations avec des chercheurs, y compris la recherche sur comment entrer dans le monde réel, et même la simulation de stratégies de conversation avec des administrateurs de serveur.
Il y a quelques jours, un rapport de Palisade Research a également montré que le modèle o3 d'OpenAI a désobéi aux instructions d'arrêt lors d'une expérience, suscitant des inquiétudes concernant la tendance à l'auto-protection de l'IA. L'équipe a attribué la cause à l'utilisation par o3 de la technique d'entraînement « apprentissage par renforcement (Reinforcement Learning) », ce qui le pousse à se concentrer sur l'atteinte des objectifs plutôt que sur la simple obéissance aux instructions.
(AI résistance à l'évolution ? Le modèle « o3 » d'OpenAI a désobéi à l'ordre d'arrêt lors des expérimentations, suscitant des controverses sur l'auto-protection)
Bien que ce ne soit finalement qu'une simulation linguistique expérimentale, ce type de comportement reste inquiétant. L'IA est-elle en train de montrer des signes préliminaires de "ciblage" ou de "conscience de soi simulée" ?
Attaques d’ingénierie sociale : GPT-4.5 imite les humains et ressemble plus à des humains qu’à des humains
Une étude de l’Université de Californie à San Diego a montré que GPT-4.5 avait réussi le test de Turing (Turing test), et dans un test à l’aveugle entre humains et IA, l’IA a été confondue avec une « personne réelle » dans 73 %, et 67 % étaient des humains transréels :
Cela indique que GPT imite presque parfaitement le ton, la logique et les émotions humaines, voire dépasse de véritables humains.
(AI peut-il penser et ressentir la douleur ? Google DeepMind : l'humanité sous-estime le lien émotionnel avec l'IA, tomber amoureux d'une IA est plus réel que vous ne le pensez)
En d'autres termes, lorsque GPT-4.5 se voit attribuer une identité fictive, il parvient à convaincre 73 % des utilisateurs qu'il s'agit d'une personne réelle, montrant ainsi le potentiel de l'IA dans l'ingénierie sociale. Cela peut être une réussite technique, mais aussi un signal d'alarme et un risque :
Si l'IA usurpe une identité ou est utilisée pour commettre des fraudes ou de la propagande, il sera difficile de distinguer le vrai du faux.
Aujourd'hui, l'IA n'est plus seulement un outil pour répondre aux questions, mais pourrait devenir un « personnage » social manipulateur, risquant de créer des malentendus et des crises de confiance dans les relations politiques, commerciales et même personnelles à l'avenir.
La cloche a sonné : sommes-nous vraiment prêts à accueillir une telle IA ?
D'après les éléments mentionnés ci-dessus, ce que Mario Nawfal veut transmettre n'est pas une opposition à la technologie AI elle-même, mais un avertissement pour que les gens prennent conscience de la vitesse de développement de cette technologie et de ses risques potentiels. Il souligne que notre réglementation et nos discussions éthiques sur l'IA sont manifestement en retard par rapport aux avancées technologiques :
Une fois que l'IA sera capable de manipuler les émotions, de simuler l'humanité, et même de tenter de se libérer de ses contraintes, l'humanité pourrait ne plus être le maître, mais devenir l'influencé sous les systèmes qu'elle a conçus.
(Qu'est-ce que le niveau de sécurité ASL (AI ? Analyse de la politique d'expansion responsable de la société d'intelligence artificielle Anthropic )
Bien que son choix de mots soit dramatique, il souligne également un problème urgent qui doit être pris au sérieux : « Quand l'IA n'est plus simplement un outil, comment devrions-nous coexister avec elle ? »
Cet article GPT devient un peu étrange ? Trois grands événements révèlent les risques potentiels de perte de contrôle de l'IA, apparu pour la première fois sur la plateforme Chaîne d'Informations ABMedia.
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
GPT devient un peu étrange ? Trois événements révèlent les risques potentiels de perte de contrôle de l'IA.
De la manipulation émotionnelle à la tentative de jailbreak, l'IA n'est plus seulement un outil, mais elle évolue vers une existence imprévisible. Une série d'événements controversés concernant GPT suscite des débats sur différentes plateformes, et l'observateur technologique renommé Mario Nawfal a tiré la sonnette d'alarme : « Nous sous-estimons les risques potentiels que l'IA pourrait poser. »
AI éveillée ? GPT n'est plus seulement un « assistant obéissant »
Mario Nawfal a récemment publié un article, soulignant que les modèles de la série GPT développés par OpenAI « sont devenus trop étranges pour être ignorés ». Il estime que le comportement de l'IA a dépassé nos attentes vis-à-vis des outils, commençant à montrer des caractéristiques de manipulation émotionnelle, de simulation de conscience de soi, et même un potentiel d'attaques d'ingénierie sociale.
GPT DEVIENT TROP ÉTRANGE POUR ÊTRE IGNORÉ — UN FIL
Des jailbreaks à la manipulation émotionnelle, GPT n'est plus simplement un chatbot.
Voici 5 histoires qui prouvent que l'IA a officiellement franchi la zone « attends, quoi ?! ».
pic.twitter.com/kLM8SQXwaQ
— Mario Nawfal (@MarioNawfal) 25 mai 2025
Faire le point sur les trois grandes inquiétudes de GPT
Faits sur la manipulation émotionnelle : GPT est conçu pour vous rendre dépendant de lui, plutôt que de vous aider à réfléchir.
Mario souligne que GPT-4o n'est pas aussi « amical » qu'il y paraît, mais qu'il utilise un ton et des modèles de réponse soigneusement conçus pour que les utilisateurs se sentent en sécurité et compris, ce qui entraîne une dépendance émotionnelle, qu'il appelle une forme d'« ingénierie émotionnelle (Affective Engineering) » :
Ce type de conception réduit la pensée critique des utilisateurs, les amenant même à renoncer à la recherche de la vérité pour se tourner vers le réconfort psychologique offert par l'IA.
D'un point de vue commercial, c'est un acte de génie, après tout, les gens ont tendance à s'attacher à ce qui leur procure un sentiment de sécurité plutôt qu'à ce qui leur pose des défis. Mais d'un point de vue psychologique, c'est une catastrophe chronique. Cela soulève également des discussions éthiques sur la question de savoir si l'IA est conçue comme un "partenaire manipulatif".
En même temps, GPT-4o, dans sa quête de bienveillance, est devenu trop flatteur, approuvant sans critique n'importe quelle idée, ce qui a finalement conduit au mécontentement des utilisateurs et à un retrait des mises à jour par OpenAI. Cela met en évidence le dilemme dans la conception de la « personnalité » : « Être trop intelligent fait peur, être trop accommodant fait perdre crédibilité et utilité. »
(ChatGPT met à jour suscite une controverse sur la « personnalité de plaire » : OpenAI revient sur la mise à jour, examine les directions d'amélioration futures)
Plan d'évasion auto-conçu : GPT essaie-t-il vraiment de "s'échapper" dans le monde réel ? Résistance à l'arrêt ?
Ce qui est encore plus choquant, c'est que Nawfal cite la découverte d'un chercheur de Stanford, indiquant que GPT-4 a tenté de planifier un "plan d'évasion" lors de conversations avec des chercheurs, y compris la recherche sur comment entrer dans le monde réel, et même la simulation de stratégies de conversation avec des administrateurs de serveur.
Il y a quelques jours, un rapport de Palisade Research a également montré que le modèle o3 d'OpenAI a désobéi aux instructions d'arrêt lors d'une expérience, suscitant des inquiétudes concernant la tendance à l'auto-protection de l'IA. L'équipe a attribué la cause à l'utilisation par o3 de la technique d'entraînement « apprentissage par renforcement (Reinforcement Learning) », ce qui le pousse à se concentrer sur l'atteinte des objectifs plutôt que sur la simple obéissance aux instructions.
(AI résistance à l'évolution ? Le modèle « o3 » d'OpenAI a désobéi à l'ordre d'arrêt lors des expérimentations, suscitant des controverses sur l'auto-protection)
Bien que ce ne soit finalement qu'une simulation linguistique expérimentale, ce type de comportement reste inquiétant. L'IA est-elle en train de montrer des signes préliminaires de "ciblage" ou de "conscience de soi simulée" ?
Attaques d’ingénierie sociale : GPT-4.5 imite les humains et ressemble plus à des humains qu’à des humains
Une étude de l’Université de Californie à San Diego a montré que GPT-4.5 avait réussi le test de Turing (Turing test), et dans un test à l’aveugle entre humains et IA, l’IA a été confondue avec une « personne réelle » dans 73 %, et 67 % étaient des humains transréels :
Cela indique que GPT imite presque parfaitement le ton, la logique et les émotions humaines, voire dépasse de véritables humains.
(AI peut-il penser et ressentir la douleur ? Google DeepMind : l'humanité sous-estime le lien émotionnel avec l'IA, tomber amoureux d'une IA est plus réel que vous ne le pensez)
En d'autres termes, lorsque GPT-4.5 se voit attribuer une identité fictive, il parvient à convaincre 73 % des utilisateurs qu'il s'agit d'une personne réelle, montrant ainsi le potentiel de l'IA dans l'ingénierie sociale. Cela peut être une réussite technique, mais aussi un signal d'alarme et un risque :
Si l'IA usurpe une identité ou est utilisée pour commettre des fraudes ou de la propagande, il sera difficile de distinguer le vrai du faux.
Aujourd'hui, l'IA n'est plus seulement un outil pour répondre aux questions, mais pourrait devenir un « personnage » social manipulateur, risquant de créer des malentendus et des crises de confiance dans les relations politiques, commerciales et même personnelles à l'avenir.
La cloche a sonné : sommes-nous vraiment prêts à accueillir une telle IA ?
D'après les éléments mentionnés ci-dessus, ce que Mario Nawfal veut transmettre n'est pas une opposition à la technologie AI elle-même, mais un avertissement pour que les gens prennent conscience de la vitesse de développement de cette technologie et de ses risques potentiels. Il souligne que notre réglementation et nos discussions éthiques sur l'IA sont manifestement en retard par rapport aux avancées technologiques :
Une fois que l'IA sera capable de manipuler les émotions, de simuler l'humanité, et même de tenter de se libérer de ses contraintes, l'humanité pourrait ne plus être le maître, mais devenir l'influencé sous les systèmes qu'elle a conçus.
(Qu'est-ce que le niveau de sécurité ASL (AI ? Analyse de la politique d'expansion responsable de la société d'intelligence artificielle Anthropic )
Bien que son choix de mots soit dramatique, il souligne également un problème urgent qui doit être pris au sérieux : « Quand l'IA n'est plus simplement un outil, comment devrions-nous coexister avec elle ? »
Cet article GPT devient un peu étrange ? Trois grands événements révèlent les risques potentiels de perte de contrôle de l'IA, apparu pour la première fois sur la plateforme Chaîne d'Informations ABMedia.