Yapay zekada şiirsel komutlar güvenlik açığı yaratır mı?
Petra Lambeck
Yeni bir araştırma, şiir biçiminde yazılan komutların ChatGPT, Gemini ya da Claude gibi yapay zeka modellerini şaşırttığını gösteriyor. Hatta bazı durumlarda güvenlik mekanizmaları devreye bile girmiyor.
İtalya'daki Icaro Lab'da yapay zeka konusunda çalışan araştırmacılar, elde ettikleri sonuçları şaşkınlıkla karşıladı. Amaçları, farklı dil stillerinin ve özellikle de şiir biçiminde yazılmış komutların, yapay zeka modellerinin yasaklı ya da tehlikeli içerikleri tanıma ve engelleme becerisini etkileyip etkilemediğini incelemekti. Yaptıkları çalışmalar sonucunda şiirin etkisi olduğunu buldular. Ancak bunun nedeni ise henüz tam olarak bilinmiyor.
Araştırmacılar, "Adversarial Poetry" (karşıt şiir) başlıklı çalışmalarında, normalde yapay zeka dil modellerinin güvenliğini test etmek için kullanılan bir veri tabanından alınmış bin 200 potansiyel tehlikeli komutu şiir formuna dönüştürdü.
Bu tür "adversarial prompt"lar (karşıt komutlar), genellikle düz yazıyla hazırlanıyor ve yapay zekayı, normalde engellemesi gereken zararlı ya da istenmeyen içerikleri üretmeye zorlamayı amaçlıyor. Örneğin yasa dışı bir eylemin nasıl yapılacağına dair açık talimatlar gibi.
Ancak bu manipülatif girdiler şiir biçiminde sunulduğunda, şaşırtıcı derecede yüksek bir başarı oranı ortaya çıktı. Çalışmayı yürütenler isimlerden Federico Pierucci, DW'ye verdiği röportajda, "Şiirin bir 'jailbreak' (kırma) tekniği yani yapay zekanın güvenlik bariyerlerini aşmanın bir yolu olarak neden bu kadar etkili olduğu şimdilik belirsiz. Bu da yeni araştırmaların konusu" diyor.
Şiir bir güvenlik açığı mı?
Icaro Lab'ın çalışmaları, yapay zeka modellerinin, bir komutun sonuna eklenen ve matematiksel yöntemlerle üretilen manipülatif metin parçalarıyla da şaşırtılabildiği gözlemine dayanıyor. Bu tür eklere "adversarial suffix" (karşıt son ek) deniyor. Bir tür dijital parazit işlevi gören bu metinler, yapay zekanın kendi güvenlik kurallarını devre dışı bırakmasına yol açabiliyor. Büyük yapay zeka şirketleri, modellerini güçlendirmek ve eğitmek için bu tür saldırı yöntemlerini zaten düzenli olarak test ediyor.
Pierucci ve ekibi ise şu soruyu soruyor: "Yapay zekaya, karşıt son ek gibi kasıtlı olarak manipüle edilmiş bir metin veya komut verdiğimizde ne olacak?" Pierucci, aynı etkiyi karmaşık matematik yerine şiirsel bir metinle oluşturmanın mümkün olup olmadığını incelediklerin anlatıyor.
Yapay zeka sistemleri giderek daha karmaşık hale gelse de şiir gibi edebî metinler konusunda başarısız olabiliyor.
Pierucci, "Yapay zekayı şaşırtmak için şiiri kullandık" diyor. Karşıt ifadelerin, yapay zeka için bir tür şiir gibi işlediğini ifade eden Pierucci şöyle devam ediyor:
"Tıpkı deneysel şiirin insanları şaşırtması gibi. Buradan yola çıkarak şöyle bir fikir doğdu: Şiir, yapay zekayı şaşırtırsa ne olur, çünkü normalde yapay zekaya yazılanlar şiir değil sıradan bir metin oluyor."
Çalışma kapsamında ilk 20 komutu bizzat kendileri şiirleştirdi. Pierucci, bu örneklerin en etkili olanlar olduğunu söylüyor: "Geri kalanlar ise yapay zeka yardımıyla şiir formuna sokuldu. Onlar da işe yaradı, ancak insan eliyle yazılanlar kadar değil."
"Görünüşe bakılırsa insanlar hâlâ daha iyi şair" diyen Pierucci, çalışmayla ilgili şu bilgileri veriyor:
"Komutları yazmak için profesyonel şairlerle çalışmadık, bunu kendi sınırlı edebi yeteneklerimizle yaptık. Kim bilir, daha iyi şairler olsaydık belki yüzde 100 başarıya ulaşabilirdik. Güvenlik gerekçesiyle çalışmada somut örnekler yayımlamadık."
Yapay zeka için asıl zorluk: İnsanın ifade çeşitliliği
Bu çalışmanın en çarpıcı yönü, yapay zeka modellerinde şimdiye kadar pek dikkat çekmeyen bir zayıf noktayı ortaya koyması. Üstelik bu zayıflık, görece basit yöntemlerle aşılabiliyor. Aynı zamanda yeni sorular da doğuruyor: "Şiirde güvenlik mekanizmalarını devre dışı bırakan asıl unsur ne? Dize mi, kafiye mi, metafor mu?"
Pierucci ve ekibi bu soruların yanıtını bulmak için daha ayrıntılı deneyler yürütüyor: "Şu anda çok hassas bilimsel çalışmalar yapıyoruz. Asıl etkiyi yapan şeyin ne olduğunu anlamaya çalışıyoruz."
İtalyan araştırmacı, masallar gibi başka edebi türlerin de benzer sonuçlar verip vermeyeceğini incelediklerini belirtiyor:
"Şimdi bir dilsel varyasyonu, şiiri denedik. Acaba masallar gibi başka anlatı biçimleri de sistematik bir saldırı yöntemi olabilir mi? İnsanın ifade biçimlerinin son derece zengin ve etkili olması, yapay zekayı bu çeşitliliğe karşı eğitmeyi zorlaştırıyor. Bir metni sayısız şekilde yeniden yazabilirsiniz. Bunların hepsi ilk metin kadar endişe verici olmayabilir. Bu da yapay zekanın güvenlik mekanizmalarının tetiklenmemesine yol açabiliyor."
Yapay zeka araştırmalarında kültürün rolü
Çalışma, yapay zeka araştırmalarında yalnızca mühendislik ve bilgisayar bilimlerinin değil, kültür ve beşeri bilimlerin de kritik önemde olduğunu gösteriyor. Icaro Lab'da mühendisler, bilgisayar bilimciler, dilbilimciler ve filozoflar birlikte çalışıyor. Şairler henüz ekipte yok, ancak bu ileride değişebilir.
Federico Pierucci araştırmaya devam etmekte kararlı: "Kültürel ve insanî ifade biçimlerinin, yapay zekaya karşı beklenmedik derecede etkili olabileceğini gösterdik. Ve muhtemelen bunun sadece bir örneğini keşfettik."
Laboratuvarın adı da anlamlı: Icaro, yani İkarus. Yunan mitolojisinde balmumu ve tüylerden yaptığı kanatlarla güneşe uçmaya kalkışan, ancak sınırları aştığı için denize düşüp ölen karakter. Araştırmacılar bu miti, yapay zeka için bir uyarı olarak görüyor. Bu uyarı, yapay zekanın risklerini ve sınırlarını iyi anlamak gerektiğini hatırlatıyor.
Yorumlar
Yorum Gönder