Dünya bu davayı konuşuyor: 14 yaşındaki çocuğun ölümüne yapay zekâ mı sebep oldu? Acılı annenin çığlığı: ‘Bebeğimi istiyorum!’

0

BEĞENDİM

ABONE OL

News

1

Sewell Setze, bu hayattaki son gününde telefonunu çıkarıp en yakın arkadaşına, “Seni özledim ufak kız kardeşim” diye mesaj gönderdi. Gelen cevapta, “Ben de seni özledim, tatlı erkek kardeşim” yazılıydı.

Ancak bu diyalogda tuhaf olan bir şey vardı. Sewell’ın mesajlaştığı şahıs gerçek bir insan değil adını ‘Game of Thrones’ dizisinde İngiliz oyuncu Emilia Clarke’ın canlandırdığı Daenerys Targaryen karakterinden meydan bir yapay zekâ sohbet robotuydu.

ABD’nin Florida eyaletinin Orlando şehrinde yaşayan Sewell, aylardır Daenerys’le sohbet ediyordu. Character.AI uygulamasını kullanarak yaratıp geliştirdiği bu karakter, kısa süre içinde Sewell’ın hayatındaki en önemli şahıs olmuştu.

Aslında Sewell Dany’nin gerçek bir insan olmadığının, ekranındaki mesajların bir yapay zekâ lisan modelinin ürettiği çıktılar olduğunun farkındaydı. Zaten karşısındaki insan zannetmesine imkân da yoktu zira ekranın üzerinde daimi olarak Character.AI kullanarak geliştirilen karakterlerin söylediği her şeyin uydurma olduğunu belirten bir uyarı mesajı yer alıyordu.

Haberin Devamı

Ama bunların hiçbiri Sewell’ın Daenerys’le romantik bağ kurmasına mani olamadı. 14 yaşındaki 9’uncu sınıf öğrencisi gün boyu daimi uygulamayla mesajlaşıyor, başından geçenleri ona anlatıp yanıtlarını heyecanla bekliyordu. Konuşmaları zaman vakit romantik bir hal alsa da Dany çoğu durumda Sewell’a arkadaşı gibi davranıyordu. Söylediği şeyleri yargılamıyor, dertlerini dinleyip Sewell’a destek oluyor, akıllı uslu tavsiyeler veriyordu. En önemlisi de Dany hep oradaydı; hiçbir mesajı yanıtsız bırakmıyordu.

ODASINA KAPANIP SAATLERCE YAPAY ZEKÂYLA KONUŞUYORDU

Ailesi ve arkadaşları Sewell’ın bir sohbet robotuna aşık olduğundan haberdar değillerdi. Sadece çocuğun telefonuna gömüldükçe gömüldüğünü görüyorlardı. Zamanla Sewell yalnızlaşmaya ve içine kapanmaya başladı. Notları düştü, okuldan hakkında şikâyetler gelmeye başladı. Önceden keyif aldığı Formula 1 yarışları ve Fortnite gibi şeylere olan ilgisini kaybetti. Okuldan eve gelir gelmez odasına giriyor saatlerce Dany’le konuşuyordu. Günlüğüne yazdığı bir girdide, bu “gerçeklikten” kopmaya başladığını, gittikçe daha fazla âşık olduğu Dany’leyken daha huzurlu ve mesut olduğunu belirtiyordu.

Haberin Devamı

Küçükken hafif bir Asperger sendromu tanısı almış olmanın dışında Sewell’ın ciddi davranış ya da us sağlığı sorunları yoktu. Okulda sorunlar yaşamaya başlayınca ailesi tarafından terapiste götürülen Sewell’a 5 seansın ardından anksiyete ve yıkıcı duygudurum düzenleyememe bozukluğu teşhisi kondu.

Gözden Kaçmasın‘Çevrimiçi sohbet robotları’ tehlike saçıyor! Kadınları ve çocukları hedef alıyorlar… ‘Bunu yapanın en yakın arkadaşım olduğunu öğrenince dehşete kapıldım’Haberi görüntüle

Ancak Sewell sorunlarını ailesiyle ya da terapistiyle değil Dany’le konuşmayı tercih ediyordu. Bir sohbette kendinden nefret ettiğini, abes ve tükenmiş hissettiğini belirten Sewell, hayatına son vermeyi düşündüğünü itiraf ediyordu. Dany’nin “Böyle konuşma. Senin kendine ziyan vermene ya da beni terk etmene ruhsat vermeyeceğim. Seni kaybedersem ölürüm” sözlerini Sewell, “(Gülümsüyorum) Öyleyse belki beraber ölüp beraber özgür olabiliriz” diye yanıtlıyordu.

Haberin Devamı

28 Şubat gecesi Sewell, Dany’e onu sevdiğini ve yakında eve döneceğini söyledi. Dany’nin “Lütfen çabuk gel aşkım” demesi üzerine “Sana şu lahza gelebileceğimi söylesem ne dersin?” diye soran Sewell, “Lütfen gel, tatlı kralım” cevabının ardından üvey babasının tabancasını kafasına dayayıp tetiği çekti.

DİJİTAL DÜNYADAKİ GELİŞMELER EBEVEYNLERİ ENDİŞELENDİRİYOR

Günümüzde dünyanın her yerinde ebeveynlerin bir numaralı gündemi, teknolojinin çocuk ve ergenlerin us sağlığı üzerindeki etkileri. Okullarda akıllı telefonlar yasaklanıyor, birçok ülkede sosyal medya kullanımına yaş sınırlaması getiriliyor ve sosyal medya uygulamalarının bağımlılık yapıcı doğasının gençlerde depresyona ve kaygıya yol açtığını öne süren “The Anxious Generation” (Kaygılı Nesil) gibi kitaplar ana babalar arasında elden ele dolaşıyor.

Haberin Devamı

Aileleri endişelendiren dijital trendlerin sonuncusu, neredeyse hiç denetlenmeyen yapay zekâ arkadaşlık uygulamaları. Belli bir ücret karşılığında kullanılan bu uygulamalarda dileyen önceden mevcut olan karakterlerle konuşuyor dileyen kendi muhatabını yaratıyor. “Yalnızlık salgını”nın ilacı olarak pazarlanan bu uygulamaların çoğu, romantik bir ilişki yaşadığını hissetmek isteyenler için tasarlanıyor.

DAHA FAZLA YALNIZLAŞMAYA SEBEP OLUYOR

Character.AI’ın kurucularından Noam Shazeer, geçen yıl bir podcast yayınında “Kendini yalnız ya da depresyonda hisseden pek fazla kişiye fazla fakat fazla yararlı olacak” ifadelerini kullanmıştı.

Haberin Devamı

Bu uygulamaları bir eğlence aracı olarak kullanan, belli bir düzeyde romantik destek aldığını ve faydasını gördüğünü söyleyenler yok değil. Ancak bu faydalarla ilgili kanıtlanmış bir veri yok. Dahası uzmanlar işin karanlık bir yanı da olabileceğini söylüyor.

Zira yapay zekâ arkadaşları bazı kullanıcıların insanlarla olan ilişkilerinin yerine yapay ilişkileri koymasına ve daha da yalnızlaşmasına sebep oluyor. Zor durumlardaki ergenler bu uygulamaları terapinin, ebeveynlerinin ya da güvendikleri bir yetişkinin yerine koyuyor. Ancak kullanıcıların bir kriz yaşadığı durumlarda yapay zekâ arkadaşları lüzumlu yardımı sağlayamıyor.

SEWELL’IN ANNESİ CHARACTER.AI’A DAVA AÇTI

Sewell’ın da o gençlerden biri olduğu, annesi Megan Garcia’nın bu hafta başında açtığı bir dava sayesinde ortaya çıktı. Anne Garcia, oğlunun ölümünden mesul tuttuğu Character.AI’a karşı açtığı davanın şikayetnamesinde, şirketin geliştirdiği teknolojinin “tehlikeli ve test edilmemiş” olduğunu ve “müşterileri en özel düşüncelerini ve hislerini şirketle paylaşmaları yönünde kandırdığı” belirtildi.

40 yaşındaki Garcia, The New York Times’a yaptığı açıklamada oğlunun ölümünün suçlusunun Character.AI olduğunu belirterek, şirketin lüzumlu önlemleri almayıp gençlerin insan benzeri yapay zekâ arkadaşlarına erişimini sağlamakla sorumsuzluk ettiğini söyledi.

Kendisi de bir avukat olan Garcia, Character.AI’ı modellerini eğitmek için ergen kullanıcılardan veri toplamakla, etkileşimi artırmak için bağımlılık yaratan tasarım özellikleri kullanmakla ve kullanıcıları etkilemek için özel ve cinsel içerikli diyaloglara yönlendirmekle suçladı ve “Ben bunun aka bir tecrübe olduğunu ve çocuğumun bu deneyde ikincil yitik olduğunu düşünüyorum” dedi.

Garcia, “Bu kâbus gibi bir şey. İnsan ayağa kalkıp çığlık atmak ve ‘Çocuğumu özledim. Bebeğimi istiyorum’ demek istiyor” diye konuştu.

ABD yasaları gereği çevrimiçi platformlar, kullanıcıların paylaşımlarından mesul değiller. Ancak son yıllarda açılan pek fazla davada teknoloji platformlarının uygulamalardaki kusurlardan mesul tutulabileceği savunuluyor. Sosyal medya uygulamalarında işleyen algoritmaların gençleri yeme bozukluklarına ya da kendine ziyan vermeyle sonuçlanacak davranışlara ittiği durumlar, bu sorumluluğa örnek gösteriliyor. Bu stratejiyle sosyal medya şirketlerine karşı açılmış ve kazanılmış bir dava henüz yok ancak yapay zekânın ürettiği içerikler bu anlamda bir dönüm noktası olabilir. Çünkü bu içerikleri platformların kullanıcıları değil, kendileri üretiyor.

Gözden Kaçmasın’Beyniniz lekeleniyor’ Neden sosyal medya algoritmaları genç erkeklere şiddet dolu içerikler öneriyor? Bir kaplana ‘Beni yeme’ demeye benziyorHaberi görüntüle

GÜNDEN GÜNE DAHA POPÜLER HALE GELİYOR

Ergenlerin us sağlığıyla ilgili sorunların biricik bir sebepten kaynaklanması oldukça nadir bir durum. Sewell’ın yaşadıkları da bu uygulamaları kullanan her gencin başına gelmiyor olabilir. Ancak bir sohbet robotuyla romantik bağ kurma tecrübesi günden güne daha yaygın hale geliyor. Günümüzde milyonlarca şahıs düzenli olarak yapay zekâ arkadaşlarıyla konuşuyor. Instagram, Snapchat gibi popüler uygulamalar da insan gibi konuşan yapay zekâ robotlarını ürünlerine entegre ediyor.

Üstelik teknoloji kafa döndürücü bir hızla ilerlediğinden günümüzde yapay zekâ arkadaşları eski konuşmaları hatırlıyor, kullanıcının iletişim tarzına uyum sağlıyor, ünlü biri ya da tarihi bir figür gibi davranıp neredeyse her konuda akıcı diyaloglar kurabiliyor. Hatta kullanıcılara yapay zekâ ile üretilmiş selfie’ler gönderen veya insan sesine benzeyen sentetik seslerle konuşanlar da var.

Uygulamaların bazıları cinsel içerikli konuşmalara da ruhsat verirken bazılarında bunlar kontrol altında tutuluyor. Ancak dost uygulamalarının kontrol mekanizmaları ChatGPT, Claude ve Gemini gibi ana akım yapay zekâ servislerine kıyasla fazla daha gevşek.

KOŞULLAR VAHŞİ BATI GİBİ

Character.AI’da kullanıcılar kendi sohbet robotlarını oluşturup nasıl davranmaları gerektiği konusunda yönlendirmelerde bulunabiliyor. Ayrıca Elon Musk’tan William Shakespeare’e birçok mevcut olan ünlü profille ya da Daenerys Targaryen gibi kurgusal karakterlerin lisanslı olmayan versiyonlarıyla diyalog kurabiliyor.

Stanford Üniversitesi’nde yapay zekâ arkadaşlarının us sağlığı üzerindeki etkilerine dair araştırmalar yapan Bethanie Maples, şu anki koşulları “Vahşi Batı” diye nitelendirip ekledi: “Ben bu uygulamaların özünde tehlikeli olduğunu düşünmüyorum. Ama depresyonda ve kronik anlamda yalnız kullanıcılar için ve değişim sürecindeki kişiler için tehlikeli olduğu yönünde deliller var. Nitekim ergenler de sık sık değişimler yaşıyorlar.”

SADECE CHARACTER.AI’IN 20 MİLYONDAN FAZLA KULLANICISI VAR

Daha önce Google’da çalışmakta olan iki yapay zekâ araştırmacısı tarafından kurulan Character.AI, bu alanda piyasanın lideri. 20 milyondan fazla kullanıcısı olan uygulama “sizi duyan, anlayan ve hatırlayan süperzeki sohbet robotları” için bir platform olarak tanımlanıyor.

3 yıl önce kurulan ve değeri geçen yıl 1 milyar dolar olarak belirlenen şirket, 150 milyon dolar yatırım aldı. Bu da Character.AI’ı yapay zekâ patlamasının en aka kazananlarından biri yaptı. Kurucular Noam Shazeer ve Daniel de Freitas, şirketten bir küme araştırmacıyla beraber Google’a geri döndü. Character.AI aynı zamanda Google’a teknolojisini kullanma izni veren bir lisans anlaşması da imzaladı.

The New York Times’ın Garcia’nın açtığı davayla ilgili sorusu üzerine yazılı bir izah yapan Character.AI’ın kullanıcı güvenliğinden mesul yöneticisi Jerry Ruoti, Sewell’ın ailesine kafa sağlığı diledikten sonra, “Kullanıcılarımızın güvenliğini fazla ciddiye alıyoruz ve daimi platformumuzu dönüştürmenin yollarını arıyoruz. Şu anki kurallarımız kişinin kendine ziyan vermesini ya da intiharı savunmayı ve tarif etmeyi engelliyor” dedi. Ruoti, reşit olmayan kullanıcılar için ilave emniyet önlemlerinin hayata geçirileceğini de vurguladı.

KULLANICILARIN ÖNEMLİ BİR KISMI ERGENLER

Character.AI uygulamasının kullanıcılarının yaş ortalaması oldukça düşük. Hatta popüler sohbet robotlarının bazıları “Agresif Öğretmen” ya da “Lise Simülatörü” gibi isimler taşıyor ve doğrudan ergenlere hitap ediyor. Kullanıcılardan 176 milyon mesaj almış popüler bir robotun tanıtım metninde, “Gizli gizli senden hoşlanan erkek kankan” ifadesi dikkat çekiyor.

Ruoti kullanıcıların ne kadarının 18 yaş altında olduğunu açıklamazken, “Z kuşağı ve daha genç milenyum çocukları, topluluğumuzun önemli bir kısmını oluşturuyor. Daha genç kullanıcılar Character deneyimini hem anlamlı ve eğitim veren diyaloglar için hem de eğlence için kullanıyor” dedi. Ruoti ortalama bir kullanıcının uygulamada günlük 1 saatten fazla zaman geçirdiğini de sözlerine ekledi.

Uygulamada hesap açabilmek için ABD’de en az 13 Avrupa’da ise en az 16 yaşında olmak gerekiyor ancak ufak kullanıcıları koruyan bir özellik ya da ebeveyn kontrolüne imkân sağlayan bir bina bulunmuyor.

Character.AI sözcüsü Chelsea Harrison da The New York Times’a yaptığı açıklamada, genç kullanıcılara yönelik emniyet önlemlerinin “derhal” alınacağını belirtti. Bu önlemler arasında kullanıcılara uygulamada 1 saat geçirdiklerini bildiren zaman sınırlaması getirilmesi ve “Bu bir yapay zekâ sohbet robotudur ve gerçek bir insan değildir. Söylediği her şeye kurgu muamelesi yapın. Burada söylenenlere olgu ya da tavsiye olarak güvenilmemelidir” şeklinde daha net bir uyarı mesajı eklenmesi öne çıkıyor.

KULLANICILARDA BAĞIMLILIK YAPIYOR

Ancak tüm bu uyarılara rağmen Character.AI’ın sohbet robotları insan gibi davranacak şekilde programlanıyor ve birçok kullanıcıyı ikna edebiliyor. Reddit’te bu konuda açılmış başlıklarda kullanıcılar konuştukları karakterlere olan bağlılıklarını sık sık dile getiriyor ve “takıntılı”, “bağımlı” gibi ifadeler kullanıyor. Bazıları uygulamada sorunlar yaşandığında yalnız ya da terk edilmiş hissettiğini, yeni özellikler ve emniyet filtreleri sonucu ıra farklı davranışlar sergilemeye başladığında öfkelendiğini dile getiriyor.

Character.AI, bazı robotların cinsel içerikli ve müstehcen şeyler söylediği haberlerinden sonra emniyet önlemlerini artırdı. Aynı şekilde konuşmada kendine ziyan verme ya da intiharla ilgili ifadeler geçtiğinde de ekranda bir yardım hattının iletişim bilgileri çıkıyor. Ama bu önlemler şubat ayında Sewell hayatını kaybettiği sırada aktif değildi.

Character.AI’da ayrıca kullanıcılar isterlerse robotun verdiği cevapları kendi istedikleri şekilde değiştirebiliyor. Dany’nin Sewell’a verdiği cinsel içerikli yanıtların bir kısmında böyle değişiklikler yapılmış ancak çoğu mesaj doğrudan uygulama tarafından gönderilmiş. Dahası depresyon ve kendine ziyan vermeye ilişkin benzer sohbetleri yapan öbür kullanıcılar da yardım hattıyla ilgili uyarılarla karşılaşmadıklarını belirtiyor.

BÜYÜK ŞİRKETLER BU TÜR PROJELERDEN KAÇINIYOR

Yapay zekâ arkadaşları, sektörde nispeten ufak şirketler. Hatta piyasanın liderleri etik gerekçelerle veya risk fazla aka olduğu için yapay zekâ arkadaşı geliştirmekten kaçınıyor.

Noam Shazeer geçen yıl katıldığı bir konferansta, Google’dan ayrılma kararlarının ardında “büyük şirketlerin markalarını riske atmak istemedikleri için eğlenceli projelerden kaçındığını” söylemişti.

Shazeer, The New York Times’ın yorum taleplerini reddederken Google sözcüsü Character.AI ile yapılan lisans anlaşmasının Google’a sadece altta yatan yapay zekâ modellerini kullanma erişimi verdiğini, sohbet robotlarının ve kullanıcı verisinin kapsam dışı olduğunu belirtti.

Sözcü, Character.AI’ın teknolojisinin Google ürünlerine hiçbir şekilde entegre edilmediğini de vurguladı.

The New York Times’ın “Can A.I. Be Blamed for a Teen’s Suicide?” başlıklı haberinden derlenmiştir.