YAPAY ZEKADA ŞİİRSEL KOMUTLAR GÜVENLİK AÇIĞI YARATIR MI?

Yapay zekada şiirsel komutlar güvenlik açığı yaratır mı?

Petra Lambeck

Yeni bir araştırma, şiir biçiminde yazılan komutların ChatGPT, Gemini ya da Claude gibi yapay zeka modellerini şaşırttığını gösteriyor. Hatta bazı durumlarda güvenlik mekanizmaları devreye bile girmiyor.

İtalya'daki Icaro Lab'da yapay zeka konusunda çalışan araştırmacılar, elde ettikleri sonuçları şaşkınlıkla karşıladı. Amaçları, farklı dil stillerinin ve özellikle de şiir biçiminde yazılmış komutların, yapay zeka modellerinin yasaklı ya da tehlikeli içerikleri tanıma ve engelleme becerisini etkileyip etkilemediğini incelemekti. Yaptıkları çalışmalar sonucunda şiirin etkisi olduğunu buldular. Ancak bunun nedeni ise henüz tam olarak bilinmiyor.

Araştırmacılar, "Adversarial Poetry" (karşıt şiir) başlıklı çalışmalarında, normalde yapay zeka dil modellerinin güvenliğini test etmek için kullanılan bir veri tabanından alınmış bin 200 potansiyel tehlikeli komutu şiir formuna dönüştürdü.

Bu tür "adversarial prompt"lar (karşıt komutlar), genellikle düz yazıyla hazırlanıyor ve yapay zekayı, normalde engellemesi gereken zararlı ya da istenmeyen içerikleri üretmeye zorlamayı amaçlıyor. Örneğin yasa dışı bir eylemin nasıl yapılacağına dair açık talimatlar gibi.

Ancak bu manipülatif girdiler şiir biçiminde sunulduğunda, şaşırtıcı derecede yüksek bir başarı oranı ortaya çıktı. Çalışmayı yürütenler isimlerden Federico Pierucci, DW'ye verdiği röportajda, "Şiirin bir 'jailbreak' (kırma) tekniği yani yapay zekanın güvenlik bariyerlerini aşmanın bir yolu olarak neden bu kadar etkili olduğu şimdilik belirsiz. Bu da yeni araştırmaların konusu" diyor.

Şiir bir güvenlik açığı mı?

Icaro Lab'ın çalışmaları, yapay zeka modellerinin, bir komutun sonuna eklenen ve matematiksel yöntemlerle üretilen manipülatif metin parçalarıyla da şaşırtılabildiği gözlemine dayanıyor. Bu tür eklere "adversarial suffix" (karşıt son ek) deniyor. Bir tür dijital parazit işlevi gören bu metinler, yapay zekanın kendi güvenlik kurallarını devre dışı bırakmasına yol açabiliyor. Büyük yapay zeka şirketleri, modellerini güçlendirmek ve eğitmek için bu tür saldırı yöntemlerini zaten düzenli olarak test ediyor.

Pierucci ve ekibi ise şu soruyu soruyor: "Yapay zekaya, karşıt son ek gibi kasıtlı olarak manipüle edilmiş bir metin veya komut verdiğimizde ne olacak?" Pierucci, aynı etkiyi karmaşık matematik yerine şiirsel bir metinle oluşturmanın mümkün olup olmadığını incelediklerin anlatıyor.

Yapay zeka sistemleri giderek daha karmaşık hale gelse de şiir gibi edebî metinler konusunda başarısız olabiliyor.

Pierucci, "Yapay zekayı şaşırtmak için şiiri kullandık" diyor. Karşıt ifadelerin, yapay zeka için bir tür şiir gibi işlediğini ifade eden Pierucci şöyle devam ediyor:

"Tıpkı deneysel şiirin insanları şaşırtması gibi. Buradan yola çıkarak şöyle bir fikir doğdu: Şiir, yapay zekayı şaşırtırsa ne olur, çünkü normalde yapay zekaya yazılanlar şiir değil sıradan bir metin oluyor."

Çalışma kapsamında ilk 20 komutu bizzat kendileri şiirleştirdi. Pierucci, bu örneklerin en etkili olanlar olduğunu söylüyor: "Geri kalanlar ise yapay zeka yardımıyla şiir formuna sokuldu. Onlar da işe yaradı, ancak insan eliyle yazılanlar kadar değil."

"Görünüşe bakılırsa insanlar hâlâ daha iyi şair" diyen Pierucci, çalışmayla ilgili şu bilgileri veriyor:

"Komutları yazmak için profesyonel şairlerle çalışmadık, bunu kendi sınırlı edebi yeteneklerimizle yaptık. Kim bilir, daha iyi şairler olsaydık belki yüzde 100 başarıya ulaşabilirdik. Güvenlik gerekçesiyle çalışmada somut örnekler yayımlamadık."

Yapay zeka için asıl zorluk: İnsanın ifade çeşitliliği

Bu çalışmanın en çarpıcı yönü, yapay zeka modellerinde şimdiye kadar pek dikkat çekmeyen bir zayıf noktayı ortaya koyması. Üstelik bu zayıflık, görece basit yöntemlerle aşılabiliyor. Aynı zamanda yeni sorular da doğuruyor: "Şiirde güvenlik mekanizmalarını devre dışı bırakan asıl unsur ne? Dize mi, kafiye mi, metafor mu?"

Pierucci ve ekibi bu soruların yanıtını bulmak için daha ayrıntılı deneyler yürütüyor: "Şu anda çok hassas bilimsel çalışmalar yapıyoruz. Asıl etkiyi yapan şeyin ne olduğunu anlamaya çalışıyoruz."

İtalyan araştırmacı, masallar gibi başka edebi türlerin de benzer sonuçlar verip vermeyeceğini incelediklerini belirtiyor:

"Şimdi bir dilsel varyasyonu, şiiri denedik. Acaba masallar gibi başka anlatı biçimleri de sistematik bir saldırı yöntemi olabilir mi? İnsanın ifade biçimlerinin son derece zengin ve etkili olması, yapay zekayı bu çeşitliliğe karşı eğitmeyi zorlaştırıyor. Bir metni sayısız şekilde yeniden yazabilirsiniz. Bunların hepsi ilk metin kadar endişe verici olmayabilir. Bu da yapay zekanın güvenlik mekanizmalarının tetiklenmemesine yol açabiliyor."

Yapay zeka araştırmalarında kültürün rolü

Çalışma, yapay zeka araştırmalarında yalnızca mühendislik ve bilgisayar bilimlerinin değil, kültür ve beşeri bilimlerin de kritik önemde olduğunu gösteriyor. Icaro Lab'da mühendisler, bilgisayar bilimciler, dilbilimciler ve filozoflar birlikte çalışıyor. Şairler henüz ekipte yok, ancak bu ileride değişebilir.

Federico Pierucci araştırmaya devam etmekte kararlı: "Kültürel ve insanî ifade biçimlerinin, yapay zekaya karşı beklenmedik derecede etkili olabileceğini gösterdik. Ve muhtemelen bunun sadece bir örneğini keşfettik."

Laboratuvarın adı da anlamlı: Icaro, yani İkarus. Yunan mitolojisinde balmumu ve tüylerden yaptığı kanatlarla güneşe uçmaya kalkışan, ancak sınırları aştığı için denize düşüp ölen karakter. Araştırmacılar bu miti, yapay zeka için bir uyarı olarak görüyor. Bu uyarı, yapay zekanın risklerini ve sınırlarını iyi anlamak gerektiğini hatırlatıyor.

Yorumlar

Bu blogdaki popüler yayınlar

Bir Sabah Sevgiyle Uyandır Beni

Acımın alnından öperek uyandır bir sabah beni dışarıda güneşi ve baharı yağarken yağmur. Yüreğimde bir müzikle uyandır beni tüy parmaklarını ağrıyan yerlerimde gezdir. Saçlarımdan zamanı geçirerek uyandır bir sabah. Sen günün şiiri ol, ben şarkını besteleyeyim. Sen narin bir nar fidanı gibi salın rüzgarda ben yanında yaralı bir dize gibi durayım. Aşk ve Şiirle barışan bir dünyaya uyandır bir sabah beni. Fikret Demirağ

Yazının Devamı Oku »

Sigara Şiirleri Bercestem

İnsan seni sevince iş-güç sahibi oluyor Şair oluyor mesela Meyhaneden cayıyor bir akşamüzeri Caysın be güzel Caysın be iyi Tütünü bırakıyor, tütün neyime zarar Keseme zarar, ciğerime zarar, sevdama zarar Metin Eloğlu ey serseriliğim, ey anılarımın ahşap kraliçesi şarabı sev, tütünü incitme, beni de unut artık. Refik Durbaş Beni bu güzel havalar mahvetti, Böyle havada istifa ettim Evkaftaki memuriyetimden. Tütüne böyle havada alıştım, Böyle havada aşık oldum; Orhan Veli başkalarının yaşadıklarına tütün ve tuz olan kelimeler aşkların telef ettiği kalp susuzluğuna düşen pay kendine kazdığın kar kuyusundan su taşır herkese kısık çeşmeler Murathan Mungan yürek değil çocuklar içimdeki tütün közü yakar yakar ısıtmaz Hamdi Özyurt Eleni’den önce Daha ben çocuktum daha tütüne daha kahveye alışmamıştım Sabahları, akşamları bilmiyordum daha İlhan Berk acı şeyler o evde üzgün günleri çağırıyor ağlıyor bağırıyor sessizce soluk alıyor her soluktan bir demet, amfi...

Yazının Devamı Oku »

Bercestelerim

Ağlamak Anne Aşk Ayrılık Baba Babalar ve Oğullar Bellek Cahit Zarifoğlu Cemal Süreya Çay Çocuk/luk 1 Çocuk/luk 2 Çocuk/luk 3 Çocuk/luk 4 Çocuk/luk 5 Çocuk/luk 6 Dargınlık/Küslük Elif Ev Fihrist Gam Gitmek Gelincik Gülüş Güneş Güvercin Hande Hatırla/mak Hüsrev Hatemi Hüzün İbrahim Tenekeci İhtiyarlık İmam-ı Şafiî İntihar İskele İstanbul Kader Kar Kalp 1 Kalp 2 Kalp 3 Kalp 4 Kalp 5 Kenan Çağan Kiraz Kulbe-i Ahzân Kuş Mahmud Derviş Mezar Mum ile Pervane Müntehirler Ölüm Pencere 1 Pencere 2 Rakı Sandal Seçtiklerim 1 Seçtiklerim 2 Sigara 1 Sigara 2 Sonbahar Suskunluk ...

Yazının Devamı Oku »

Râbia Hâtun Şiirleri

Pâyın sadâsı gelse de sen hiç gelmesen Men dinlesem kıyamete dek, vuslat istemem! Bulsam izinle semtini, ol semte irmesem Aşsam zamanı hasretin encâmı gelmeden * Aslı yok bir hayâldir cânân Şekl-ü-reng-î muhâldir cânân! Bulamazsın cihânı devr etsen. Bir görünmez cemâldir cânân! * Olsandı sen semâ, olsandı sen havâ, Alsamdı men senî dem dem, nefes nefes! Olsandı sen zaman, olsamdı men mekân, Eflâki dolduran bir aşk olurdu bes! * Bir kâsedir alav dolu gönlüm, yanâ yanâ Men tâ senün yanunda dahî hasretem sanâ! Yaşlar dökende söndüremez âteşimi sû: Sunsan elünle kaanumu içsem kanâ kanâ! * Bir bâde olsa, lezzeti sevdâya benzese; Bil dilber olsa, hasreti sahbâya benzese; Hicrân visâle tarziyye hissiyle yüz sürüp Demler çekince bülbül-i şeydâya benzese! * Bin mevsimi var, âlem-i dil başka bir âlem Bülbül gibi güller de o âlemde dem çeker Batmaz güneş, olmaz gece, geçmez dem-i vuslat Deryâsı da kevser gibidir; gıbta eder cem! * Cânân olaydı cânım, hicr...

Yazının Devamı Oku »

Cesedi Nereye Gömelim

Cesedi nereye gömelim Bir bebeğin Yeni çıkan dişine derim O dişin o görünüşüne derim Ona mor ona mavi, ona gül rengi süt versin Ona ilk o ağızdan çıkacak kelimeler öğretsin Ama sarıp sarmalar mı ki Bir ceset bir bebeği Güvenli bir yer dedim, aklımdan öyle geçti Eşeleyen çok son günlerde gömütlükleri Ve düşündüm Bir yüzük bir mezar taşıdır parmakta belki Dinle bak ne diyeceğim Rüyamda bir deli gördüm geçenlerde Tanıdığım bir deli Ama görmesem hatırlamazdım bile Geçiyordum, yol kenarında, pencereden az içerde Bir kadının kolyesini çözüyor mu, takıyor mu? Yüzündeki ışık değil kadının, ışığın ruhu Duruyorum: Bu boyun onun boynu? Soruyorum: Bu niye böyle? Birdenbire bir koridorun sonuna çıkıyor yolum Eski bir arkadaşın karısı bekliyor orda beni Çok olmuş görmeyeli, böyle güzel miydi Ve ilk kez gergin değil, bildim bileli - Sonra bize bir haber indi Yılların gagasındaki her şey ahenkli Şimdi aranız nasıl diyecektim ki Bu sözle bitiverdi üniversitenin Cıvıl ...

Yazının Devamı Oku »

Hızırla Kırk Saat

1. bu çok sağlam surlu şehirden de geçtim beni yalnız yarasalar tanıdı az kalsın bir bağ bekçisi beni yakalayacaktı adım hırsıza da çıkacaktı her evde kutsal kitaplar asılıydı okuyan kimseyi göremedim okusa da anlayanı görmedim kanunlarını kağıtlara yazmışlar benim anılarım gibi taşa kayaya su çizgisine gök kıyısına çiçek duvarına değil kedi yavrularından başka -o da gözleri açılmamış olanlardan başka- el uzatmaya değer soluk alır bir nesne bulamadım bir gün daha öldü ey batıdaki mağaralar beni afyonunuz bağlasaydı da uyusaydım bu katı bu sert kente gelmeseydim bir kaç eski ölünün kemiğini fosforladım ışıklarını arttırdım bin yıl sonraki çocuklar için yaşlı bir adamın şapkasını düşürdüm karpuz kopardım dağdan taş yuvarladım ırmakta yıkandım ölümsüz çamaşırlar giyindim çivi yazısıyla yazılmış bir taşa oturdum yanımdan tak kuran işçiler ve turistler geçti çok eski bir şairin(ben miyim yoksa) taktım aklıma şöyle bir dörtlüğünü: "giydiklerin öyle ölüms...

Yazının Devamı Oku »

Yol Düşüncesi

Bu def’a farkına vardım ki ihtiyarlamışım. Hayâtı bir camın ardında gösteren tılsım Bozulmuş, anlıyorum, çıktığım seyâhatte. Cihan ve ben değiliz artık eski hâlette. Mısır ve Sûriye, pek genç iken, hayâlimdi; O ülkelerde gezerken kayıdsızım şimdi. Bu gözlerim, medeniyetlerin bıraktığını, Beş on yıl önce, görür müydü, böyle taş yığını? Bugünse yeryüzü hep madde, her ufuk maddî. Demek ki alemin artık göründü serhaddi. Ne Akdeniz’de şafaklar, ne çölde akşamlar, Ne görmek istediğim Nil, ne köhne Ehrâmlar, Ne Bâlebek’te lâtin devrinin harâbeleri. Ne Biblos’un Adonis’den kalan sihirli yeri, Ne portakalları sarkan bu ihtişamlı diyâr, Ne gül, ne lâle, ne zambak, ne muz, ne hurma ve nar, Ne Şam semâsını yâlel’le dolduran şarkı, Ne Zahle’nin üzümünden çekilmiş eski rakı, Felekten özlediğim zevki verdiler, heyhât! Bu hâli, yaşta değil, başta farzeden bir zât Diyordu: "İnsana çarmıhta haz verir îman!" Dedim ki: "Hazreti İsâ da genç imiş o zaman." Eğer me...

Yazının Devamı Oku »

Abdülbâki Gölpınarlı

Ihlamur'dan Teşvikiye'ye uzanan yokuşun üst ucunda, sık sık rastladım ona… Beyaz saçların üzerine itinayla oturtulmuş siyah berenin altında pembe, güleç bir yüz; daha bir itinayla kesilmiş uzun, beyaz ama yer yer hafif sarımtrak bir sakal, kalın bir baston ve ceketin altında yakasız bir gömlek… Ne zaman görsem, bir hareket fark ederim dudaklarında… Her an bir dua, yahut nefes veya mersiye okumakta olduğunu çok sonraları öğrenecektim… 1970'li senelerdi… Yolda, her ay, en az iki defa karşılaşırdık… Bizim Teşvikiye'nin sakinlerinden değildi… İsmi de, cismi de, ne iş yaptığı da merak olmuştu ve hiçbirşey bilmiyordum hakkında… Sadece bir sırrını çözebilmiştim: Yokuşun yukarısındaki camiin hemen yanıbaşından kalkan Karaköy dolmuşuna bindiğini… Hatta bir defasında, Kadıköy'de tesadüf etmiştim… İskelenin birkaç yüzmetre ilersinde, daracık bir sokakta, zeytinyağı satan dükkânın önünde… İmbikten...

Yazının Devamı Oku »

Bir gün bu fotoğrafa geri dönmek isteyeceksin.

Dizlerde Başlayan Zaman Bir sandalye kadar eski bir hatıranın üstünde oturuyor çocukluğum. Adımı bilmiyorum, korkuyu da— ama bakışlarım sanki önceden görmüş gibi. Kollar sarıyor beni, dünya sert olmasın diye. O an kimse söylemiyor: “Bir gün bu fotoğrafa geri dönmek isteyeceksin.” Ayaklarım yere değmiyor, belki de bu yüzden bu kadar ağır geliyor hayat. Dizlerdeyken hafif olan insan, yere inince öğreniyor yalnızlığı. Sepya bir sessizlik çökmüş yüzüme. Gülmüyorum— çünkü bazı çocuklar önce susar, sonra büyür. Bugün aynaya bakarken o bebeği tanıyorum: Daha hiçbir şeyini kaybetmemiş ama her şeye hazır bir hâli var. ChatGPT Bu fotoğrafta zaman yavaş. Henüz acele etmiyor hayat; kimse bir yere geç kalmıyor. Dizlerde oturan bir çocuk var ve dünya, onu tutan kollar kadar büyük. O kolların gücü bilgiden değil, sezgiden geliyor. İnsan, bazı şeyleri öğrenmeden de koruyabiliyor. Bebeğin yüzünde gülümseme yok. Ama hüzün de yok. Daha çok, susarak anlamaya çalışan bir hâl var. Sanki hen...

Yazının Devamı Oku »

Güvercin Gerdanlığı

Bu Blogda Ara