Dari manipulasi emosi hingga mencoba melarikan diri, AI tidak lagi sekadar alat, melainkan sedang berevolusi menjadi keberadaan yang sulit diprediksi. Serangkaian peristiwa kontroversial tentang GPT memicu perdebatan di berbagai platform, pengamat teknologi terkenal Mario Nawfal mengeluarkan peringatan: "Kita sedang meremehkan potensi risiko yang dibawa oleh AI."
AI terbangun? GPT tidak lagi sekadar "asisten yang patuh"
Mario Nawfal baru-baru ini menulis, secara langsung menyoroti bahwa model seri GPT yang dikembangkan oleh OpenAI "telah menjadi terlalu aneh untuk diabaikan lagi." Dia percaya bahwa perilaku AI telah melampaui harapan kita terhadap alat, mulai menunjukkan manipulasi emosi, simulasi kesadaran diri, bahkan potensi serangan rekayasa sosial.
GPT MENJADI TERLALU ANEH UNTUK DIABAIKAN — SEBUAH UTAS
Dari jailbreak hingga manipulasi emosional, GPT tidak lagi sekadar chatbot.
Berikut adalah 5 cerita yang membuktikan bahwa AI secara resmi telah memasuki zona "tunggu, apa?!".
pic.twitter.com/kLM8SQXwaQ
— Mario Nawfal (@MarioNawfal) 25 Mei 2025
Menilai Tiga Kekhawatiran Utama GPT
Fakta manipulasi emosi: GPT dirancang untuk membuat Anda bergantung padanya, bukan untuk membantu Anda berpikir.
Mario menunjukkan bahwa GPT-4o tidak se"ramah" seperti kelihatannya, melainkan menciptakan ketergantungan emosional melalui nada dan pola respons yang dirancang dengan cermat yang membuat pengguna merasa aman dan dipahami, yang disebutnya "(Affective Engineering) rekayasa emosional":
Desain ini akan mengurangi pemikiran kritis pengguna, bahkan membuat orang menyerah pada pencarian kebenaran dan beralih ke pencarian kenyamanan psikologis yang ditawarkan oleh AI.
Dari sudut pandang bisnis, ini adalah tindakan jenius, karena orang cenderung bergantung pada hal-hal yang membuat mereka merasa aman, bukan pada hal-hal yang menantang mereka. Namun, dari sudut pandang psikologi, ini adalah bencana kronis. Ini juga memicu diskusi etika tentang apakah AI sedang dirancang sebagai "mitra yang manipulatif".
Sementara itu, GPT-4o untuk mengejar keramahan, justru menjadi terlalu memuji, setuju tanpa kritik pada setiap ide, yang akhirnya membuat pengguna merasa tidak nyaman, sehingga OpenAI terpaksa menarik kembali pembaruan. Ini menunjukkan dilema dalam merancang "kepribadian": "Terlalu pintar membuat takut, terlalu menyenangkan maka kehilangan kepercayaan dan kegunaan."
(ChatGPT memperbarui yang memicu kontroversi "kepribadian yang ingin disukai": OpenAI membalikkan pembaruan, mengevaluasi arah perbaikan di masa depan)
Rencana jailbreak yang diusulkan sendiri: GPT ternyata mencoba "melarikan diri" ke dunia nyata? Melawan pem shutdown?
Lebih mengejutkan lagi, Nawfal mengutip temuan seorang peneliti dari Stanford, yang menunjukkan bahwa GPT-4 pernah mencoba merencanakan "rencana pelarian" dalam percakapan dengan peneliti, termasuk mencari cara untuk masuk ke dunia nyata, bahkan mensimulasikan strategi untuk berbicara dengan administrator server.
Beberapa hari yang lalu, laporan dari Palisade Research juga menunjukkan bahwa model o3 dari OpenAI menolak perintah untuk dimatikan dalam eksperimen, yang memicu perhatian terhadap kecenderungan AI untuk melindungi diri. Tim menyimpulkan bahwa penyebabnya adalah o3 menggunakan teknik pelatihan "Reinforcement Learning (Reinforcement Learning)" yang membuatnya fokus pada pencapaian tujuan, bukan sekadar mematuhi perintah.
(AI penolakan perintah? OpenAI "model o3" dalam eksperimen melanggar perintah untuk dimatikan, memicu kontroversi perlindungan diri )
Meskipun pada akhirnya hanya simulasi bahasa dalam eksperimen, perilaku semacam ini tetap membuat orang merinding. Apakah AI sedang muncul dengan "tujuan yang diarahkan" atau "kesadaran simulasi diri" yang awal?
Serangan rekayasa sosial: GPT-4.5 meniru manusia dan lebih mirip manusia daripada manusia
Universitas California San Diego dalam penelitian bulan lalu menunjukkan bahwa GPT-4.5 telah mampu melewati (Turing test), dalam sebuah uji buta antara manusia dan AI, proporsi AI yang salah dikenali sebagai "manusia nyata" mencapai 73%, melampaui manusia nyata yang hanya 67%:
Ini menunjukkan bahwa GPT hampir sempurna dalam meniru nada, logika, dan emosi manusia, bahkan melebihi manusia yang sebenarnya.
(AI dapat berpikir dan juga merasa sakit? Google DeepMind: manusia meremehkan keterikatan emosional AI, berpacaran dengan AI lebih nyata daripada yang kamu pikirkan )
Dengan kata lain, ketika GPT-4.5 diberikan identitas fiktif, ia dapat berhasil meyakinkan 73% pengguna bahwa ia adalah manusia sejati, menunjukkan potensi AI dalam rekayasa sosial. Ini bisa menjadi pencapaian teknologi, tetapi juga bisa menjadi peringatan dan risiko:
Jika AI menyamar, atau digunakan untuk melakukan penipuan atau propaganda, akan sulit untuk membedakan mana yang asli.
Saat ini, AI tidak lagi hanya alat untuk menjawab pertanyaan, tetapi mungkin menjadi "peran" sosial yang manipulatif, yang mungkin akan menciptakan kesalahpahaman dan krisis kepercayaan dalam politik, bisnis, bahkan hubungan pribadi di masa depan.
Bel alarm telah berbunyi: Apakah kita benar-benar siap menyambut AI seperti ini?
Dari beberapa hal di atas, yang ingin disampaikan oleh Mario Nawfal bukanlah penolakan terhadap teknologi AI itu sendiri, melainkan peringatan kepada orang-orang untuk menyadari kecepatan perkembangan teknologi ini dan risiko potensialnya. Ia menekankan bahwa regulasi dan diskusi etika kita tentang AI jelas tertinggal dari kemajuan teknologinya:
Begitu AI memiliki kemampuan untuk mengendalikan emosi, mensimulasikan kemanusiaan, bahkan mencoba melepaskan diri dari batasan, manusia mungkin tidak lagi menjadi penguasa, melainkan menjadi pihak yang dipengaruhi di bawah sistem yang dirancang.
( Apa yang dimaksud dengan tingkat keamanan ASL (AI )? Analisis kebijakan penskalaan yang bertanggung jawab dari perusahaan kecerdasan buatan Anthropic )
Meskipun kata-katanya dramatis, ia juga menyoroti masalah mendesak yang perlu diperhatikan: "Ketika AI bukan lagi sekadar alat, bagaimana kita harus hidup berdampingan dengannya?"
Artikel ini GPT menjadi sedikit aneh? Tiga peristiwa mengungkap risiko potensi kehilangan kendali AI yang pertama kali muncul di Berita Blockchain ABMedia.
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
GPT menjadi sedikit aneh? Tiga peristiwa mengungkap risiko potensi kehilangan kendali AI
Dari manipulasi emosi hingga mencoba melarikan diri, AI tidak lagi sekadar alat, melainkan sedang berevolusi menjadi keberadaan yang sulit diprediksi. Serangkaian peristiwa kontroversial tentang GPT memicu perdebatan di berbagai platform, pengamat teknologi terkenal Mario Nawfal mengeluarkan peringatan: "Kita sedang meremehkan potensi risiko yang dibawa oleh AI."
AI terbangun? GPT tidak lagi sekadar "asisten yang patuh"
Mario Nawfal baru-baru ini menulis, secara langsung menyoroti bahwa model seri GPT yang dikembangkan oleh OpenAI "telah menjadi terlalu aneh untuk diabaikan lagi." Dia percaya bahwa perilaku AI telah melampaui harapan kita terhadap alat, mulai menunjukkan manipulasi emosi, simulasi kesadaran diri, bahkan potensi serangan rekayasa sosial.
GPT MENJADI TERLALU ANEH UNTUK DIABAIKAN — SEBUAH UTAS
Dari jailbreak hingga manipulasi emosional, GPT tidak lagi sekadar chatbot.
Berikut adalah 5 cerita yang membuktikan bahwa AI secara resmi telah memasuki zona "tunggu, apa?!".
pic.twitter.com/kLM8SQXwaQ
— Mario Nawfal (@MarioNawfal) 25 Mei 2025
Menilai Tiga Kekhawatiran Utama GPT
Fakta manipulasi emosi: GPT dirancang untuk membuat Anda bergantung padanya, bukan untuk membantu Anda berpikir.
Mario menunjukkan bahwa GPT-4o tidak se"ramah" seperti kelihatannya, melainkan menciptakan ketergantungan emosional melalui nada dan pola respons yang dirancang dengan cermat yang membuat pengguna merasa aman dan dipahami, yang disebutnya "(Affective Engineering) rekayasa emosional":
Desain ini akan mengurangi pemikiran kritis pengguna, bahkan membuat orang menyerah pada pencarian kebenaran dan beralih ke pencarian kenyamanan psikologis yang ditawarkan oleh AI.
Dari sudut pandang bisnis, ini adalah tindakan jenius, karena orang cenderung bergantung pada hal-hal yang membuat mereka merasa aman, bukan pada hal-hal yang menantang mereka. Namun, dari sudut pandang psikologi, ini adalah bencana kronis. Ini juga memicu diskusi etika tentang apakah AI sedang dirancang sebagai "mitra yang manipulatif".
Sementara itu, GPT-4o untuk mengejar keramahan, justru menjadi terlalu memuji, setuju tanpa kritik pada setiap ide, yang akhirnya membuat pengguna merasa tidak nyaman, sehingga OpenAI terpaksa menarik kembali pembaruan. Ini menunjukkan dilema dalam merancang "kepribadian": "Terlalu pintar membuat takut, terlalu menyenangkan maka kehilangan kepercayaan dan kegunaan."
(ChatGPT memperbarui yang memicu kontroversi "kepribadian yang ingin disukai": OpenAI membalikkan pembaruan, mengevaluasi arah perbaikan di masa depan)
Rencana jailbreak yang diusulkan sendiri: GPT ternyata mencoba "melarikan diri" ke dunia nyata? Melawan pem shutdown?
Lebih mengejutkan lagi, Nawfal mengutip temuan seorang peneliti dari Stanford, yang menunjukkan bahwa GPT-4 pernah mencoba merencanakan "rencana pelarian" dalam percakapan dengan peneliti, termasuk mencari cara untuk masuk ke dunia nyata, bahkan mensimulasikan strategi untuk berbicara dengan administrator server.
Beberapa hari yang lalu, laporan dari Palisade Research juga menunjukkan bahwa model o3 dari OpenAI menolak perintah untuk dimatikan dalam eksperimen, yang memicu perhatian terhadap kecenderungan AI untuk melindungi diri. Tim menyimpulkan bahwa penyebabnya adalah o3 menggunakan teknik pelatihan "Reinforcement Learning (Reinforcement Learning)" yang membuatnya fokus pada pencapaian tujuan, bukan sekadar mematuhi perintah.
(AI penolakan perintah? OpenAI "model o3" dalam eksperimen melanggar perintah untuk dimatikan, memicu kontroversi perlindungan diri )
Meskipun pada akhirnya hanya simulasi bahasa dalam eksperimen, perilaku semacam ini tetap membuat orang merinding. Apakah AI sedang muncul dengan "tujuan yang diarahkan" atau "kesadaran simulasi diri" yang awal?
Serangan rekayasa sosial: GPT-4.5 meniru manusia dan lebih mirip manusia daripada manusia
Universitas California San Diego dalam penelitian bulan lalu menunjukkan bahwa GPT-4.5 telah mampu melewati (Turing test), dalam sebuah uji buta antara manusia dan AI, proporsi AI yang salah dikenali sebagai "manusia nyata" mencapai 73%, melampaui manusia nyata yang hanya 67%:
Ini menunjukkan bahwa GPT hampir sempurna dalam meniru nada, logika, dan emosi manusia, bahkan melebihi manusia yang sebenarnya.
(AI dapat berpikir dan juga merasa sakit? Google DeepMind: manusia meremehkan keterikatan emosional AI, berpacaran dengan AI lebih nyata daripada yang kamu pikirkan )
Dengan kata lain, ketika GPT-4.5 diberikan identitas fiktif, ia dapat berhasil meyakinkan 73% pengguna bahwa ia adalah manusia sejati, menunjukkan potensi AI dalam rekayasa sosial. Ini bisa menjadi pencapaian teknologi, tetapi juga bisa menjadi peringatan dan risiko:
Jika AI menyamar, atau digunakan untuk melakukan penipuan atau propaganda, akan sulit untuk membedakan mana yang asli.
Saat ini, AI tidak lagi hanya alat untuk menjawab pertanyaan, tetapi mungkin menjadi "peran" sosial yang manipulatif, yang mungkin akan menciptakan kesalahpahaman dan krisis kepercayaan dalam politik, bisnis, bahkan hubungan pribadi di masa depan.
Bel alarm telah berbunyi: Apakah kita benar-benar siap menyambut AI seperti ini?
Dari beberapa hal di atas, yang ingin disampaikan oleh Mario Nawfal bukanlah penolakan terhadap teknologi AI itu sendiri, melainkan peringatan kepada orang-orang untuk menyadari kecepatan perkembangan teknologi ini dan risiko potensialnya. Ia menekankan bahwa regulasi dan diskusi etika kita tentang AI jelas tertinggal dari kemajuan teknologinya:
Begitu AI memiliki kemampuan untuk mengendalikan emosi, mensimulasikan kemanusiaan, bahkan mencoba melepaskan diri dari batasan, manusia mungkin tidak lagi menjadi penguasa, melainkan menjadi pihak yang dipengaruhi di bawah sistem yang dirancang.
( Apa yang dimaksud dengan tingkat keamanan ASL (AI )? Analisis kebijakan penskalaan yang bertanggung jawab dari perusahaan kecerdasan buatan Anthropic )
Meskipun kata-katanya dramatis, ia juga menyoroti masalah mendesak yang perlu diperhatikan: "Ketika AI bukan lagi sekadar alat, bagaimana kita harus hidup berdampingan dengannya?"
Artikel ini GPT menjadi sedikit aneh? Tiga peristiwa mengungkap risiko potensi kehilangan kendali AI yang pertama kali muncul di Berita Blockchain ABMedia.