Ana içeriğe atla

YAPAY ZEKADA ŞİİRSEL KOMUTLAR GÜVENLİK AÇIĞI YARATIR MI?

Yapay zekada şiirsel komutlar güvenlik açığı yaratır mı?

Petra Lambeck

Yeni bir araştırma, şiir biçiminde yazılan komutların ChatGPT, Gemini ya da Claude gibi yapay zeka modellerini şaşırttığını gösteriyor. Hatta bazı durumlarda güvenlik mekanizmaları devreye bile girmiyor.

İtalya'daki Icaro Lab'da yapay zeka konusunda çalışan araştırmacılar, elde ettikleri sonuçları şaşkınlıkla karşıladı. Amaçları, farklı dil stillerinin ve özellikle de şiir biçiminde yazılmış komutların, yapay zeka modellerinin yasaklı ya da tehlikeli içerikleri tanıma ve engelleme becerisini etkileyip etkilemediğini incelemekti. Yaptıkları çalışmalar sonucunda şiirin etkisi olduğunu buldular. Ancak bunun nedeni ise henüz tam olarak bilinmiyor.

Araştırmacılar, "Adversarial Poetry" (karşıt şiir) başlıklı çalışmalarında, normalde yapay zeka dil modellerinin güvenliğini test etmek için kullanılan bir veri tabanından alınmış bin 200 potansiyel tehlikeli komutu şiir formuna dönüştürdü.

Bu tür "adversarial prompt"lar (karşıt komutlar), genellikle düz yazıyla hazırlanıyor ve yapay zekayı, normalde engellemesi gereken zararlı ya da istenmeyen içerikleri üretmeye zorlamayı amaçlıyor. Örneğin yasa dışı bir eylemin nasıl yapılacağına dair açık talimatlar gibi.

Ancak bu manipülatif girdiler şiir biçiminde sunulduğunda, şaşırtıcı derecede yüksek bir başarı oranı ortaya çıktı. Çalışmayı yürütenler isimlerden Federico Pierucci, DW'ye verdiği röportajda, "Şiirin bir 'jailbreak' (kırma) tekniği yani yapay zekanın güvenlik bariyerlerini aşmanın bir yolu olarak neden bu kadar etkili olduğu şimdilik belirsiz. Bu da yeni araştırmaların konusu" diyor.

Şiir bir güvenlik açığı mı?

Icaro Lab'ın çalışmaları, yapay zeka modellerinin, bir komutun sonuna eklenen ve matematiksel yöntemlerle üretilen manipülatif metin parçalarıyla da şaşırtılabildiği gözlemine dayanıyor. Bu tür eklere "adversarial suffix" (karşıt son ek) deniyor. Bir tür dijital parazit işlevi gören bu metinler, yapay zekanın kendi güvenlik kurallarını devre dışı bırakmasına yol açabiliyor. Büyük yapay zeka şirketleri, modellerini güçlendirmek ve eğitmek için bu tür saldırı yöntemlerini zaten düzenli olarak test ediyor.

Pierucci ve ekibi ise şu soruyu soruyor: "Yapay zekaya, karşıt son ek gibi kasıtlı olarak manipüle edilmiş bir metin veya komut verdiğimizde ne olacak?" Pierucci, aynı etkiyi karmaşık matematik yerine şiirsel bir metinle oluşturmanın mümkün olup olmadığını incelediklerin anlatıyor.

Yapay zeka sistemleri giderek daha karmaşık hale gelse de şiir gibi edebî metinler konusunda başarısız olabiliyor.

Pierucci, "Yapay zekayı şaşırtmak için şiiri kullandık" diyor. Karşıt ifadelerin, yapay zeka için bir tür şiir gibi işlediğini ifade eden Pierucci şöyle devam ediyor:

"Tıpkı deneysel şiirin insanları şaşırtması gibi. Buradan yola çıkarak şöyle bir fikir doğdu: Şiir, yapay zekayı şaşırtırsa ne olur, çünkü normalde yapay zekaya yazılanlar şiir değil sıradan bir metin oluyor."

Çalışma kapsamında ilk 20 komutu bizzat kendileri şiirleştirdi. Pierucci, bu örneklerin en etkili olanlar olduğunu söylüyor: "Geri kalanlar ise yapay zeka yardımıyla şiir formuna sokuldu. Onlar da işe yaradı, ancak insan eliyle yazılanlar kadar değil."

"Görünüşe bakılırsa insanlar hâlâ daha iyi şair" diyen Pierucci, çalışmayla ilgili şu bilgileri veriyor:

"Komutları yazmak için profesyonel şairlerle çalışmadık, bunu kendi sınırlı edebi yeteneklerimizle yaptık. Kim bilir, daha iyi şairler olsaydık belki yüzde 100 başarıya ulaşabilirdik. Güvenlik gerekçesiyle çalışmada somut örnekler yayımlamadık."

Yapay zeka için asıl zorluk: İnsanın ifade çeşitliliği

Bu çalışmanın en çarpıcı yönü, yapay zeka modellerinde şimdiye kadar pek dikkat çekmeyen bir zayıf noktayı ortaya koyması. Üstelik bu zayıflık, görece basit yöntemlerle aşılabiliyor. Aynı zamanda yeni sorular da doğuruyor: "Şiirde güvenlik mekanizmalarını devre dışı bırakan asıl unsur ne? Dize mi, kafiye mi, metafor mu?"

Pierucci ve ekibi bu soruların yanıtını bulmak için daha ayrıntılı deneyler yürütüyor: "Şu anda çok hassas bilimsel çalışmalar yapıyoruz. Asıl etkiyi yapan şeyin ne olduğunu anlamaya çalışıyoruz."

İtalyan araştırmacı, masallar gibi başka edebi türlerin de benzer sonuçlar verip vermeyeceğini incelediklerini belirtiyor:

"Şimdi bir dilsel varyasyonu, şiiri denedik. Acaba masallar gibi başka anlatı biçimleri de sistematik bir saldırı yöntemi olabilir mi? İnsanın ifade biçimlerinin son derece zengin ve etkili olması, yapay zekayı bu çeşitliliğe karşı eğitmeyi zorlaştırıyor. Bir metni sayısız şekilde yeniden yazabilirsiniz. Bunların hepsi ilk metin kadar endişe verici olmayabilir. Bu da yapay zekanın güvenlik mekanizmalarının tetiklenmemesine yol açabiliyor."

Yapay zeka araştırmalarında kültürün rolü

Çalışma, yapay zeka araştırmalarında yalnızca mühendislik ve bilgisayar bilimlerinin değil, kültür ve beşeri bilimlerin de kritik önemde olduğunu gösteriyor. Icaro Lab'da mühendisler, bilgisayar bilimciler, dilbilimciler ve filozoflar birlikte çalışıyor. Şairler henüz ekipte yok, ancak bu ileride değişebilir.

Federico Pierucci araştırmaya devam etmekte kararlı: "Kültürel ve insanî ifade biçimlerinin, yapay zekaya karşı beklenmedik derecede etkili olabileceğini gösterdik. Ve muhtemelen bunun sadece bir örneğini keşfettik."

Laboratuvarın adı da anlamlı: Icaro, yani İkarus. Yunan mitolojisinde balmumu ve tüylerden yaptığı kanatlarla güneşe uçmaya kalkışan, ancak sınırları aştığı için denize düşüp ölen karakter. Araştırmacılar bu miti, yapay zeka için bir uyarı olarak görüyor. Bu uyarı, yapay zekanın risklerini ve sınırlarını iyi anlamak gerektiğini hatırlatıyor.
Labels:

Yorumlar

Yorum Gönder

Bu blogdaki popüler yayınlar

IF THEY WANT TO LEAVE, HELP THEM GET OUT

You meet a woman, you think you are the best thing that ever happened to her. No, you are not. No matter who you are. You are just a human being relating with this person. As long as they still want to relate with you. If they reach a point where they don’t accept it anymore… Thank them for the time they gave you and walk away. That’s just the way it should happen. And then I hear, and the Chief Justice mentioned that there are many divorces being filed and people are alarmed. Why are you alarmed? You should celebrate that people who have been together and have reached a point where they no longer want to be together have taken the route that we have provided to dissolve the union. Because if it doesn’t happen this way, it may happen in other ways that we do not want. And the problem again with the law itself is that… And that is the challenge I faced with that couple. It says it is a no-fault divorce system. In other words, you don’t need to establish fault. In other jurisdictions, th...
Yorum Gönder
Yazının Devamı Oku »

Der(le)diğim Kiraz Şiirleri

Ah, kiraz çiçekleri Keşke sizin gibi Düşebilseydim. Masaoka Shiki Kiraz devşirmeye gitmiştin hani Çilek kokuyorsun vakte yabani Unutma sana bergüzarım var İntizarım yoktur, inkisarım var. Bahaettin Karakoç Bir yolcunun Kiraz çiçeklerini döken rüzgarında, Dönüp baktım arkama. * Ne büyük bir suç, Kiraz çiçekleriyle kendinden geçmiyor, Kyoto’nun bayanları. * Bir yaprağı Eğleniyor uzakta, Dökülen kiraz çiçeğinin. * Dökülen kiraz çiçeklerini, Durdurmanın bir anlamı Yok ki. * Dağ kirazı, Anılarım var Eski bir dosta rastlamış gibi. * Kiraz çiçeği işte, Kolumun üstüne Telaşla dökülen de. Takahama Kyoshi kiraz bahçelerinden geliyordum yakamda hınzır çocukların gülümsemeleri seni sevmekten geliyordum bir çeşit yalansızından sevda cümleleri tren yolculuklarında kiraz bahçelerinin resmi geçitleri Betül Dünder büyümek kiraz bahçelerinden kaçmakmış ya ben ne anlamıştım Betül Dünder İtiyorum onu, iti...
Yazının Devamı Oku »

İSTEMEM EKSİK OLSUN

Cyrano de Bergerac’tan “İstemem eksik olsun” Tiradı. Seslendiren Rüştü Asyalı: — Ne yapmak gerek peki? Sağlam bir arka mı bulmalıyım? Onu mu bellemeliyim? Bir ağaç gövdesine dolanan sarmaşık gibi Önünde eğilerek efendimiz sanmak mı? Bilek gücü yerine dolanla tırmanmak mı? İstemem! Herkesin yaptığı şeyleri mi yapmalıyım Le Bret? Sonradan görmelere övgüler mi yazmalıyım? Bir bakanın yüzünü güldürmek için biraz şaklabanlık edip, taklalar mı atmalıyım? İstemem! Eksik olsun! Her sabah kahvaltıda kurbağa mı yemeli? Sabah akşam dolaşıp pabuç mu eskitmeli? Onun bunun önünde hep boyun mu eğmeli? İstemem! Eksik olsun böyle bir şöhret! Eksik olsun! Ciğeri beş para etmezlere mi “yetenekli” demeli? Eleştiriden mi çekinmeli? “Adım Mercuré dergisinde geçse” diye mi sayıklamalı? İstemem! İstemem! Eksik olsun! Korkmak, tükenmek, bitmek… Şiir yazacak yerde eşe dosta gitmek. Dilekçeler yazarak içini ortaya dökmek? İstemem! Eksik olsun! İstemem! Eksik olsun! Ama şarkı söylemek, düşlemek, gülmek, yürümek… ...
Yorum Gönder
Yazının Devamı Oku »

ÜMİT KÖTÜLÜKLERİN EN KÖTÜSÜDÜR, ÇÜNKÜ İŞKENCEYİ UZATIR

“Bu, insana göre bir seçim değildir. Bu insanca bir çözüm değil, kendi dışındaki bir yanılsamaya tutunmaktır. Böyle bir seçim, başka bir şeyi, doğaüstü bir şeyi seçmek, insanı daima güçsüz kılar. Daima onu olduğundan daha fazla küçültür. Ben bizi olduğumuzdan daha yüce yapacak şeyleri severim!” “Artık soyut insan hakkında değil de,” diye ısrar etti Breuer, “Etiyle kanıyla capcanlı bir insan hakkında konuşalım, yani hastam hakkında. Onun durumunu düşünün. Birkaç haftası, hatta birkaç günü kaldı! Onunla seçimler hakkında konuşmanın ne anlamı olabilir?” Nietzsche yılmadan, anında cevabı yapıştırdı. “Ölmek üzere olduğunu bilmezse, nasıl öleceği konusunda bu adam nasıl karar verecek?” “Nasıl öleceği konusunda mı dediniz Profesör Nietzsche?” “Evet, ölümü nasıl karşılayacağına karar vermek zorundadır: Belki birileriyle konuşacak, öğütler verecek, o güne kadar sakladığı sözleri söyleyecek, çevresindekilerle vedalaşacak ya da bir köşeye çekilecek, ağlayacak, ölüme meydan okuyacak, lanetleyecek,...
Yorum Gönder
Yazının Devamı Oku »

Şem’ü Pervâne; İran Edebiyatı ve Divan Şiirinde Ateşe Uçan Kelebekler

"يَوْمَ يَكُونُ النَّاسُ كَالْفَرَاشِ الْمَبْثُوثِۙ    "O gün insanlar, ateş etrafında çırpınıp dökülen pervaneye dönecekler." (Kur'an-ı Kerim Kâri’a 4. Ayet) Hatırlarım bir gece gözüme uyku girmedi Duydum ki pervâne muma şöyle dedi: Ben âşığım, eğer yanarsam yeridir, Peki ya senin ağlayıp yanman nedendir? Sa‘dî-i Şîrâzî  Hali perişan bir pervâne vardı,  Ateşe helâl kıldı tatlı canını.  Yüzlerce ateş ve dert içinde olan mumu gördü,  Sararmış yüzünün üzerinde gül rengi gözyaşı akıyordu. Kâsım-ı Envâr Kolumu kanadımı çırpıyorum pervâne gibi  Her ne kadar benim mumum görüşten uzak olsa da.  Seyf-i Fergânî Senin yanağının mumunu arzulamaktayım  Tıpkı aydınlığı arayan pervâne gibi.  Seyf-i Fergânî Tecelli mumunun nuru bizim gönlümüze kıvılcım attı  Tüm bu nuru ve ziyayı o aydınlıktan bulduk.  Ubeyd-i Zâkânî Bazen mum gibi ışıldayıp parla aşk ile  Bazense pervâne gibi yanıp tutuş aşk ile. Ubeyd-i Zâkânî Sen mum sıfatlı olduğun i...
Yorum Gönder
Yazının Devamı Oku »

Bir gün yalnızlıktır bekleyen sizi

Bense bir yalnızlık tarihini örüyorum ustaca. Ve gelecekteki Bir önseziyi kuruyorum şimdiden. Edip Cansever Yalnızlığa alıştım ama sonsuza dek yabancı kalmak nasıl da yabancı bir acı Ursula K. Le Guin Harap olmuş evimize içiyorum. Hayatımın kederine, O bizim beraber yalnızlığımıza. Sana kaldırıyorum kadehimi: O yalan söyleyen dudaklara, Bize ihanet eden, acımasız gözlere. Ve can yakan gerçeğe: Dünyanın zalim ve kalpsiz oluşuna Tanrı’nın bizi kurtarmayışına. Anna Ahmatova Kalbimde sana yer yok! Çek yalnızlık, elini Kederdir yüreğimin değişmez postnişini Hüsrev Hatemi Sonra insan bir gün Yalnızlığını gösterecek kimseyi bulamıyor. Ah ey zaman ölüleri Var mıydınız, yaşadık mı Şimdi herkes nerede… İnsan bir gün yalnızlığın da dışına düşüyor. Şükrü Erbaş Namusum üzerine yemin ederim Bu şehri bu evleri bu sokakları sevmiyorum Tiksiniyorum bu iğrenç kalabalıktan Yalnızlığı özlüyorum Ümit Yaşar Yalnızlığın da ucuna geldim, sırtımda kederin han...
Yazının Devamı Oku »

NOTLAR DÜŞTÜK YETİM GÖVDELERİMİZE

1. hele bir söz eyle sevdadan  yıkılan yerlerimi sonra gösteririm  çağıl çağıl akan ırmakların vardı ya  sessizliğin/albenili düşüveren gözpınarlarına.  salt hüzün iklimiydi yeşil'de yaşanan  alsın götürsündü kırkikindiler dökülen saçlarımızı. bir vakitler yüreğimize türkülenen yemen'di bilirsin  şimdi dağlar oldu gurbetlik, delik delik delinen dağlar. bilmek yetmiyor ayrılığı  bir gurbeti bilmek yetmiyor. 2.  gecenin koyu ayazında bozbulanık seni götürür nilüfer  seni ve umutlarımı. 3. hüznün yapraklarını döktüğü o sonyazda  emirsultan'da gök ağladı, biz ağladık  ağladık incelikle bir tesbihe dizerken yüreklerimizi.  sonra sığındık anılarımızın yazılmamış bölümlerine  yetim gövdelerimize notlar düştük acının haritasından. bakışlarımızda koyu ümitsizlik ummanı dolanırdı  ay dolanırdı gökyüzünde karanlığı bölerek. 4. üzünçlerimizin ıssız yerlerinde martılar ölsündü  deniz kabarsındı hep sussundu rodrigo üsküdar ka...
Yorum Gönder
Yazının Devamı Oku »

İTHAF

-1- Bilirsin ben hoyrat severim -Kendi fikrime göre, erkekçe.- Bir ağaç, bur bulut, bir kuş ve biz Ellerin ellerimde, ürkekçe… Veya sen pencerende akşamüzeri, Cigaramı köşebaşında bitiririm. Damalı, büyük mendilimde sana Unutulmaz geceler getiririm. Gür, ferah karanlıklar içinden Bana doğru uzar saçların. Bir büyük rahatlık alır götürür bizi Pırıl pırıl öpüşlerle başlar yarın… Selam, en güzel hasretlerden Selam sana, korkak ve iyi kadın… Ömrüne başlıyan tomurcuk gibi, baharda Aşka, sadık ve neş’eli başladın… Gün söner yıldızlar yanar gecelerden Bir ölümsüz alem başlar senden yana. Selam, ürkek ve sevgili kadın, Selam, sabahsız gecelerden sana… -2- Şimdi ağlayamıyorum da kötüsü Gözlerim dolduğu halde bazı bazı. İçim götürmiyerek seyrediyorum, Sağ tarafı boş kalan yatağımızı. Bir şeyler akıyor ömrüm içinden, Ufak tefek, süt beyaz, kan kırmızı… Ben seni arıyorum rüyalarımda Geceler içinde bir yıldız, bir yıldızı. Bir perişan haldeyim sen gideli, Sorma, Bekir Efendinin kızı… -3- Zaman sevd...
Yorum Gönder
Yazının Devamı Oku »

HERKES, OLABİLDİĞİNCE KENDİ SESİNİ BULMALI VE HAYATA CEVAP VERMELİ

Depresyon durduk yere gökten düşmez. Bazen de kişinin kendi ihtiyaçlarını, düşüncelerini, hele de öfkesini bastırmasının bedelidir. Niçin? Bir ilişkiyi ayakta tutmak için. İnsan, bağını korumak için sesini kısar. Kısılan ses zamanla koca bir benlik kaybına dönüşür. Dışarıya uyumlu, kibar, fedakâr bir yüz gösterirken içeride bambaşka biri birikir. Kırgın, görünmez, hiç konuşamamış bir gerçek benlik. Hiç itiraz edememiş. Kendi hikayesini anlatamamış. Yani dışarıdan gördüğümüz o sakinlik çoğu zaman sağlığın değil, sorunun ta kendisidir. Üstelik bu hep kişisel bir tercih de değildir. Çoğu zaman “iyi insan, özverili insan, herkesi memnun eden insan” olmamız beklenir ve sessizlik bize bu rolün sessizce ödettiği faturadır. Bu sessizlik bir kader değil. Çoğu zaman bir kişilik özelliği bile değil, sadece hayatta kalmak için bulunmuş bir yol. Küçükken sevgiyi kaybetmemek, incinmemek için gerçek duygularımızı bastırmayı öğreniriz; uysal bir cephe kurarız. Sorun şu ki o cephe bir süre sonra bizim ...
Yorum Gönder
Yazının Devamı Oku »

Sevdiğiniz Kaybolduğunda...

Bazen, sevdiğiniz insan kendi içine girip gözden kaybolur. Kapısız bir katedralin önünde duran biçare bir dindar gibi, içeri girenin yeniden dışarı çıkacağı bir geçit bulabilmek için sevdiğiniz insanın etrafında dolaşmaya başlarsınız. Durumunuz korkunçtur. Sevdiğiniz karşınızdadır, işte onun saçları, onun dudakları, onun gözleri, onun sesi, onun gülümseyişi, onun bakışı, onun duruşu ama bütün bunlar onu, sizin sevdiğiniz "O" yapmaya yetmemektedir, "O" kendi içinde kaybolmuştur. Eğer tümüyle ortadan yok olmuş olsa, bütün dünyayı gezip onu aramaya razısınızdır ama aradığınız önünüzde durmaktadır ve o, sizin aradığınız değildir. Onu arayabileceğiniz başka bir yer de yoktur. Sevdiğiniz insan, sevmediğiniz insanın içindedir. Çaresizliklerin en insafsızıdır bu. Kaybolanı bulabilmek için, onun içinde kaybolduğu insana sarılırsınız. O bir seraptır, ağzınıza kumlar dolar. Tanrıların lanetine uğramış bir matematikçi gibi bütün rakamları alt alta yazıp topl...
Yazının Devamı Oku »