Nightshade: Yapay Zeka Sanat Üreticilerine Karşı Sanatçılar İçin Saldırgan Bir Araç
(nightshade.cs.uchicago.edu)- Nightshade, çevrimiçi görsellerin rıza olmadan üretken yapay zeka eğitiminde kullanılmasına karşı, eserleri model eğitimi için uygunsuz poison örneklerine dönüştüren bir araçtır
- Opt-out listeleri ile do-not-scrape/robots.txt, doğrulama ve zorunlu uygulama açısından zordur; ayrıca ihlal edenleri yüksek güvenle tespit etmek de güçtür, bu yüzden üreticilerin elinde gerçek bir kontrol aracı pek yoktur
- Dönüştürülen görseller insan gözüne orijinalden çok farklı görünmez, ancak yapay zeka modellerinin farklı bir kompozisyon öğrenmesine yol açarak öngörülmesi zor sonuçlar üretir
- Glaze tek tek sanatçıların stil taklidini engelleyen savunmacı bir araçken, Nightshade rıza dışı scraping yapan modellerin eğitim maliyetini yükselten seçici bir saldırı aracıdır
- Şu anda Nightshade v1.0 bağımsız çalışan bir araçtır ve Glaze benzeri taklit koruması sunmaz; bu nedenle stil taklidi konusunda endişe edilen eserlerde tek başına uygulanmamalıdır
Rıza dışı eğitim verisi toplamaya karşı bir yanıt
- Üretken yapay zeka modelleri ve bunları eğiten taraflar, çevrimiçi içeriği model eğitimi için indirebildiklerini göstermiştir
- İçerik sahipleri ve üreticilerin, eserlerinin kendi iradelerine aykırı biçimde üretken yapay zeka modellerine girmesini engelleyecek neredeyse hiç aracı yoktur
- Opt-out listeleri, geçmişte model eğiten taraflarca görmezden gelinmiştir ve ciddi bir sonuç doğurmadan kolayca yok sayılabilir
- do-not-scrape talimatları da doğrulaması ve uygulanması zor yöntemlerdir; ayrıca ihlal edenleri yüksek güvenle belirlemek de güçtür
Nightshade nasıl çalışır?
- Nightshade, görselleri model eğitimi için uygunsuz poison örneklerine dönüştürür
- Bu tür görselleri rıza olmadan eğiten modeller, beklenen davranıştan sapan öngörülemez davranışlar öğrenebilir
- Örneğin “uzayda uçan inek” görseli istendiğinde, uzayda süzülen bir el çantası üretebilir
- Amaç modeli basitçe bozmak değil, izinsiz veriyle eğitimin maliyetini artırarak üreticilerden görsel lisanslamayı gerçekçi bir alternatif haline getirmektir
İnsanların ve modellerin farklı gördüğü görseller
- Nightshade, Glaze’e benzer şekilde çalışır; ancak stil taklidine karşı savunma değil, üretken yapay zeka görsel modellerinin içindeki özellik temsillerini bozan bir saldırı aracıdır
- Dönüşüm, orijinal görseldeki görünür değişikliği en aza indiren çok amaçlı optimizasyon ile hesaplanır
- İnsan gözüne shaded görsel genelde orijinale oldukça benzer görünür, ancak yapay zeka modeli görselin içinde dramatik biçimde farklı bir kompozisyon görebilir
- İnsanlar yeşil bir çayırlıktaki inek görselini neredeyse olduğu gibi görebilir
- Yapay zeka modeli ise bunu çimenlerin üzerine bırakılmış büyük bir deri cüzdan olarak görebilir
- İnek içeren shaded görseller yeterince eğitildiğinde, model bir ineğin kahverengi deri saplara, pürüzsüz yan ceplere, fermuara ve marka logosuna sahip olduğuna giderek daha çok emin olabilir
Yaygın görsel değişikliklerinden sonra da süren etki
- Nightshade etkisi, görsellere sık uygulanan değişikliklere karşı dayanıklıdır
- Kırpma, yeniden örnekleme, sıkıştırma, piksel smoothing ve gürültü ekleme sonrasında da poison etkisi kalır
- Monitörde gösterilen görselin ekran görüntüsü alınsa ya da fotoğrafı çekilse bile shade etkisi korunur
- Bunun nedeni bunun filigran ya da gizli mesaj içeren steganografi olmaması ve kolayca bozulabilen bir yöntem olmamasıdır
Nightshade ve Glaze’in rol farkı
- Glaze, tek tek sanatçıların kendilerini stil taklidi saldırılarına karşı korumalarını sağlayan savunmacı bir araçtır
- Nightshade, sanatçıların topluca, rıza olmadan görselleri scrape eden modelleri engellemesine yarayan saldırı aracıdır
- Çevrimiçi yayınlanan tüm eserlere Glaze uygulanarak sanatçının kendisini koruması önerilir
- Nightshade, vicdansız model eğitmenlerini caydırmaya yönelik seçici bir işlevdir
- Eserlerini çevrimiçi yayımlayan sanatçılar ideal olarak hem Glaze hem Nightshade uygulamalıdır
- İki aracın entegre sürümü üzerinde çalışılmaktadır
Kullanırken dikkat edilmesi gerekenler
- Nightshade’in yaptığı değişiklikler, düz renkler ve pürüzsüz arka planlar içeren eserlerde daha görünür olabilir
- Nightshade’in amacı modelleri bozmak olduğundan, düşük yoğunluk veya düşük poison seviyesi görsel sahibine olumsuz sonuç doğurmaz
- Orijinal görselin görsel kalitesini önceliklendirmek isteyen kullanıcılar için düşük yoğunluk ayarı sunulur
- Güvenlik saldırıları ve savunmalarında olduğu gibi, Nightshade’in uzun vadede gelecekte de etkisini sürdüreceği garanti edilemez
- Bir saldırı aracı olan Nightshade, olası karşı önlem ve savunmalara göre kolayca evrilebilir
Dağıtım biçimi ve veri işleme
- Nightshade’in hedefi, araştırma yoluyla yeni şeyler keşfetmek ve öğrenmek, aynı zamanda dünyada olumlu bir etki yaratmaktır
- Nightshade, Glaze gibi ağ bağlantısı olmadan çalışacak şekilde tasarlanmıştır
- Veriler veya eserler Nightshade ekibine ya da başka bir yere gönderilmez
- Nightshade v1.0 bağımsız çalışan bir araç olarak tasarlanmıştır
- Mevcut sürüm Glaze benzeri taklit koruması sunmadığından, kullanım biçimine dikkat edilmelidir
- Stil taklidi konusunda en ufak bir endişe varsa, yalnızca Nightshade uygulanmış eser görselleri yayımlanmamalıdır
- Nightshade ile Glaze’in birlikte çalışması test edilmektedir
- Hazır olduğunda, WebGlaze kullanıcılarının tek bir görsele Nightshade ve Glaze’i aynı anda uygulayabilmesi için Nightshade bir WebGlaze eklentisi olarak yayımlanacaktır
Teknik makale ve referanslar
- Nightshade’in kurulumu, çalıştırma·ayarları ve kaldırma yöntemi User guide’da görülebilir
- Teknik makalenin başlığı Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models şeklindedir
- Yazarlar Shawn Shan, Wenxin Ding, Josephine Passananti, Haitao Zheng, Ben Y. Zhao’dur
- Makalenin, Mayıs 2024’te San Francisco’da düzenlenecek 45th IEEE Symposium on Security and Privacy kapsamında yayımlanması planlanmaktadır
- Preprint sürümü, Şubat 2024’te yayımlanan arxiv/2310.13828 bağlantısıdır
1 yorum
Hacker News yorumları
Makale burada: https://arxiv.org/abs/2310.13828
Bu yöntemin, birçok sanatçının kabul etmekte zorlanacağı düzeyde artefaktlar ürettiği anlaşılıyor: https://twitter.com/sini4ka111/status/1748378223291912567
Duyduğuma göre a) ancak önceki nesil eğitim prosedürlerinde zar zor çalışıyor, b) GPT-4V, LLaVA, hatta BLIP2 etiketleme gibi güncel prosedürlerde hiç işlemiyor ve c) etkisi büyüyüp yaygın kullanılsa bile buna karşı önlem almak pek zor değilmiş.
Yazarların önceki çalışması Glaze de abartılı iddiaların aksine pek etkili görünmediğinden, akademik açıdan ilginç ama gerçek dünyada pratik değeri düşük bir sonucu fazla pazarlayan bir örnek olabilir.
[1]: Reddit’ten /u/b3sn0w tarafından sağlandı: https://imgur.com/cI7RLAq https://imgur.com/eqe3Dyn https://imgur.com/1BMASL4
Görselleri GPT-4V, Stable Diffusion img2img vb. içine vermek yapay zekayı eğitmek değildir; model tamamen sabittir ve hiç değişmez[0].
Şu anda yeni görselleri kazıyıp üretici eğitimine dahil eden bir yer var mı bilmiyorum. OpenAI’ın kendi model çıktılarıyla tekrar eğitim yapmaktan çekindiği için 2021 civarında scraping’i bıraktığını duymuştum[1]; Adobe Firefly ise Adobe Stock görselleriyle eğitildiğini iddia ediyor, fakat Adobe’nin kendi kesim tarihini bilmiyoruz[2].
GPT-4V veya Stable Diffusion’ı çıkarım aşamasında takılmaya zorlamak istiyorsanız ihtiyaç duyulan şey adversarial görsellerdir. Ağırlıkları olmayan bir modele karşı adversarial eğitim mümkün mü bilmiyorum, ama birden çok bağımsız modele karşı genelleştirilirse oldukça bozucu olabileceğini duydum[3].
[0] Metin üreticilerinde eğitime benzer görünen yetenek bağlam penceresinden gelir; ancak bu yalnızca yaklaşık 2048 token’lık kısa süreli bellektir ve başka bir bellek yeteneği yoktur.
[1] Böyle bir şeyin gerçekleştiği senaryo şakayla karışık Habsburg AI diye anılır. Model kendi önyargılarından öğrenir, bunları daha güçlü önyargılara dönüştürerek pekiştirir ve geri kalanını unutur.
[2] Nightshade’in zarar verdiği tek yapay zeka üreticisi, en azından biraz etik davranmaya çalışan üretici olursa bu özellikle ironik olurdu.
[3] Uç örneklerde adversarial görseller insanları bile kandırır. Ancak bu tür araştırmalarda görseller yalnızca kısa süre gösterilmişti; fikir, kısa maruziyetin geri beslemeli hesaplama yolları olmayan ileri beslemeli bir sinir ağına benzemesiydi. Daha uzun bakıldığında bir nesnenin fotoğrafının başka bir şey gibi görünecek şekilde düzenlendiği açıkça görülür.
Gürültü giderme zaten iyi bir ön işleme adımı olma ihtimali yüksek.
LLM tarafındaki insanların gerçekten adil biçimde ödeme yapmaya niyeti yok gibi görünüyor; iş planı özetlerinde fiilen “ele geçen her şeyi çal” yazıyor denebilir.
Burada sahte ürünler için çok büyük bir pazar var. Sanatın insan gözüne görünür olması gerektiği koşulu olduğu sürece bu tür araçların kazanmasının yolu yok; çalışsa bile ilkesi gereği hemen etrafından dolaşılır.
Sanatçıların ya da herhangi birinin, insan üretimi çıktılarla modellerin eğitilmesini engellemesinin gerçekçi tek yolu hukuk, yani devlet destekli yaptırım gücünü kullanarak istenmeyen davranışı caydırmaktır. Bu da kusursuz değil; hatta cezalandırılabilir telif hakkı ihlalini “aklayan” dağıtık eğitim ağlarının geliştirilmesi için teşviki artırabilir.
Sonuçta en azından kaybedilecek bir mücadele, en kötü ihtimalle de aptalca bir mücadele. İnsanların özgürce görebilmesi için yüklenen görsellerin bilgisayarlar tarafından gözlemlenmesini engelleyemezsiniz; bu yüzden böyle modeller kolayca yapılabilir ve sonunda yapılacaktır.
Hukuk dışında başka yollar da var. Eserleri yalnızca özel gösterimle sunup, mekândaki izleyicilerin kayıt cihazı getirmesini engelleyebilirsiniz. Saçma görünebilir, ama cinsel ilişki gibi etkinliklerde yaygın bir uygulamadır.
En kötü ihtimalle zaman kaybı olur; kimsenin kandırılıp satın aldığı bir durum yok.
Artık bir sanatçı olarak hayatta kalmanın tek yolu kendine özgü bir stile sahip olmak ve bunu asla internete koymamak.
Birkaç ay önce, hatalı veya tutarsız görsellerle Stable Diffusion XL’i ince ayarladığınızda, bu görselleri negatif prompt olarak kullanınca modelin tersine daha “iyi” görseller üretebildiğini gösteren bir kavram kanıtı hazırlamıştım: https://news.ycombinator.com/item?id=37211519
Yani model üretiminin kaçınması gereken latent uzayın yüksek boyutlu bölgelerini belirtmek gibi. Manipüle edilmiş veri kümelerinin topluca üretilmesini teşvik etmenin, paradoksal biçimde üretken yapay zeka sanat modellerini iyileştirme olasılığı sıfır değil. Çünkü model manipüle edilmiş verileri tanıyabilir ve eğitim süreci bunların etrafından dolaşacak hale getirilebilir.
Bu, oldukça anlamsız bir silahlanma yarışı ya da kedi-fare oyunu gibi görünüyor. Üretken görsel modellerini eğitmek isteyen biri sanatçıların ne düşündüğünü hiç umursamıyorsa, Nightshade algoritmasının çok hassas biçimde ayarladığı değişiklikleri bozacak kadar temel bir son işlem yapması yeterli olur.
Örneğin biraz daha düşük çözünürlüğe yeniden örnekleyip ardından başka bir süper çözünürlük modeliyle tekrar büyütürseniz, insan gözüyle büyük bir fark olmadan bu ince ayarları bozmak mümkün olabilir gibi görünüyor.
İleride toplumsal baskı nedeniyle mahkemelerin genel olarak sanatçıların yanında yer alma ihtimali olduğunu düşünüyorum. Sanatçılar buldukları görselleri sorun edebilir ve başka bir makine öğrenimi modelinin üretilen görselin o sanatçının tarzına “fazla benzer” olup olmadığını hızlıca belirlemesini sağlayabilir. Elbette makul bir hukuki talep için o tarzın başkalarından yeterince farklı olması gerekir.
Ya da sanatçılar görselin kendisinden para kazanmayı bırakıp fiziksel çıktılar üretmeye odaklanabilir. Bugün bağımsız müzisyenlerin paralarının çoğunu turnelerden, konser mekânı ürün satışlarından ve Patreon’dan kazanmasına benzer. Bu kadar büyük ve köklü değişimler hızla yaşandığında geleceği tahmin etmek gerçekten zor.
Daha alaycı bir gelecekte, sözde “furry sanatçıların” daha da artabileceğini düşünüyorum. Diğer büyük teknoloji şirketlerinde olduğu gibi, 18+ alanı muhtemelen çeşitli güç odakları tarafından güçlü biçimde engellenecek. Böylece NSFW işler gelişmelerden bir ölçüde korunacak; insanlar ya yeraltı eğitim modellerini arayacak ya da yeniden sanatçılara gitmek zorunda kalacak.
The Grateful Dead bu modeli son derece rafine biçimde uyguladı ve zaman zaman kendi işleri üzerinde fikri mülkiyet iddiasında bulunmaktan özellikle kaçındı. Çünkü böyle iddiaların başarıyı engellediğine inanıyordu; sonunda bu savunuyu resmileştirip adına “The Electronic Frontier Foundation” dedi. EFF’nin deadhead kültüründen çıkmış olması tesadüf değil.
OpenSource’a karşılık gelen bir OpenArt’ın olmaması da öyle. Elbette kaynak kodunun genel izleyiciye yönelik olmadığını ve istenirse gizlenebileceğini, sanatın ise böyle olmadığını biliyorum. Bu sadece üretken düşüncenin bir yan ürünü.
Bu görsellerle eğitim yapılırsa yapay zeka modelinin kötüleşmekten ziyade gerçekten daha iyi hâle geleceğini düşünüyorum. Sanatçılar ücretsiz olarak, hangi tür gürültünün kendi amaçladıkları görsel anlamı değiştirmediğini gösteren eğitim verisi üretmiş oluyor.
Yakın gelecekte, hazır araçlarla bile yüksek kaliteli sanat üretebilen insanların sayısı inanılmaz derecede artacak.
Bu oldukça heyecan verici. Sevdiğiniz stilleri karıştırıp yeni konulara uygulama ve kendi benzersiz, kişiselleştirilmiş eserlerinizi üretme gücünü milyarlarca insana vermek müthiş bir yetenek.
Yapay zeka modelinin yapay zeka tarafından üretilmiş içerikle beslenmesi bile modelin kendi kendine çökmesine yeter. Üretken yapay zekayla ilgili model çöküşüne bakmak yeterli.
Telif hakkı, fikri mülkiyet ve patent kullanımı için kademeli ücretler istiyorum; dünya genelinde hükümet iş birliği ve yasama istiyorum. Belki ilk izin olmadan da eserlerin dünya çapında kullanılmasına olanak tanıyan bir yol olabilir ama bu kadar uç bir konuya girmeyelim bence.
Gelire bağlı oran gibi ölçeklenebilir lisans ücretleri uygulanırsa iyi olur. Sektörden sektöre kâr marjlarının farklı olması gibi dolaylı bir sorun var ama yine de en adil yol bu gibi görünüyor.
Bireylerin sahip olduğu telif haklarının yazarın ölümünden sonra 0 yıla, şirketlerin sahip olduğu telif haklarının ise en fazla 20-30 yıla indirilmesini; bunun dünyada ya da önce AB’de yavaş yavaş yapılmasını isterim.
Kullanımı bildirmeyen ya da ücreti ödemeyen şirketlere yönelik cezalar çok yüksek olmalı. O yılın brüt kârının %50’si ya da net kârının %50’si gibi, bileğe hafifçe vurup geçmekle kalmayan, kolayca kaçınılamayan ve en başta çalmamayı teşvik eden cezalar olmalı.
[*] Ya da toplumun uygun gördüğü süre
[**] Otomatik tespit, iyi ya da kötü, yeterince iyi hâle gelene kadar
Böylece bireysel kullanıma izin verilebileceğini, yeni girişlerin teşvik edileceğini, inovasyonun hızlanacağını ve OpenAI gibi yerlerin daha iyi davranmaya yöneltilebileceğini düşünüyorum.
Hakların ölümden kısa süre sonra sona ermesi içime sinmiyor; telif süresinin yazarın yaşına göre büyük ölçüde değişmesi de kötü, pek çok eserde aşırı uzun telif sürelerinin kalması da iyi değil.
Telif hakkının yazar hayattayken sona ermesinde hiçbir sorun yok. Her şey için 20-30 yıl yeter.
Bu “çözüme” bakınca sanat dünyası da son 10-20 yıldır reklam engelleyicilerin sürdürdüğü kedi-fare oyununa giriyor gibi görünüyor.
İnternette izinsiz dolaşıp görselleri kazıyarak kendi para kazandıran yapay zekalarında kullanmanın açıkça yanlış olduğunu hâlâ düşünüyorum. Sanat eserlerini korumanın daha fazla yolunun, ses ve diğer biçimleri de kapsayacak şekilde daha erişilebilir hâle gelmesini umuyorum.
Ek bir modelin ana modeli kandırmaya çalışmasını sağlayarak Nightshade türü filtrelere karşı dayanıklılığı artırma yöntemi.
Yazı, bu yöntemin görüntünün ince detaylarını bozduğunu göstermiyor. Referans makalenin küçük görseline bakmak bile yeterli: https://arxiv.org/pdf/2310.13828.pdf
Belki safça düşünüyorum ama hızlı bir ön işleme filtresiyle aşması oldukça kolay görünüyor. Geleneksel gürültü giderme tek başına yeterli olur mu bilmiyorum; ama en kötü durumda img2img difüzyonu çalıştırılabilir