DALL·E 3

 (openai.com)
1 puan yazan GN⁺ 2023-09-21 | 1 yorum | WhatsApp'ta paylaş
  • OpenAI'nin DALL·E 3 modeli, ChatGPT kullanıcıları ve API geliştiricileri için metinden görsel üreten bir modeldir; girilen cümleleri daha sadık biçimde yansıtan görseller üretmeyi hedefler
  • Mevcut sistemler çoğu zaman kelimeleri veya açıklamaları kaçırdığı için kullanıcıların prompt engineeringe güvenmesi gerekiyordu; DALL·E 3 ise aynı prompt ile bile DALL·E 2'den daha iyi sonuçlar verecek şekilde tasarlandı
  • ChatGPT entegrasyonu sayesinde kullanıcılar yalnızca basit bir cümle ya da ayrıntılı bir paragraf girse bile ChatGPT, DALL·E 3 için ayrıntılı promptları otomatik olarak oluşturur
  • Sonuç görsel hoşunuza gider ama ayrıntılar tam uymuyorsa birkaç kelimeyle düzeltme isteği yapabilirsiniz; üretilen görsellerin yeniden basılması, satılması veya ticarileştirilmesi için ayrıca izin gerekmez
  • Güvenlik önlemleri kapsamında gerçek kamuya mal olmuş kişilerin adlarıyla yapılan istekleri ve hayattaki sanatçıların stillerine yönelik istekleri reddeder; içerik üreticileri gelecekte görsel üretim modellerinin eğitiminden kendi görsellerini opt-out edebilir

Metni daha doğru izleyen görsel üretimi

  • DALL·E 3, ChatGPT kullanıcılarına ve API üzerinden geliştiricilere sunulur
  • Metinden görsel sistemleri kelimeleri veya açıklamaları görmezden gelme eğilimindedir; bu yüzden istenen sonucu almak için çoğu zaman prompt engineering öğrenmek gerekir
  • DALL·E 3, kullanıcının sağladığı metni daha doğru izleyen görseller üretmeyi hedefler
  • Aynı prompt ile bile DALL·E 2'ye göre belirgin iyileştirmeler sunacak şekilde tasarlanmıştır

ChatGPT ile prompt oluşturma ve düzeltmeyi birbirine bağlama

  • DALL·E 3, ChatGPT'ye yerel olarak entegre edilmiştir; fikir geliştirme ve prompt iyileştirme ChatGPT içinde yapılabilir
  • Kullanıcılar görmek istedikleri sahneyi basit bir cümleden ayrıntılı bir paragrafa kadar doğal dille isteyebilir
  • ChatGPT, kullanıcının fikrine dayanarak DALL·E 3 için kişiye özel, ayrıntılı promptları otomatik oluşturur
  • Belirli bir görsel hoşunuza gider ama tam olarak istediğiniz sonuç değilse yalnızca birkaç kelimeyle değişiklik isteyebilirsiniz

Üretilen görsellerin kullanım hakları

  • DALL·E 3 ile oluşturulan görseller kullanıcı tarafından kullanılabilir
  • DALL·E 2'de olduğu gibi, üretilen görselleri yeniden basmak, satmak veya ticarileştirmek için OpenAI'den ayrıca izin almak gerekmez

Kamuya mal olmuş kişilerin üretilmesini ve zararlı önyargıları azaltmaya yönelik güvenlik önlemleri

  • DALL·E 3, kamuya mal olmuş kişilerin adlarıyla doğrudan yapılan görsel üretim isteklerini reddeden azaltım önlemlerine sahiptir
  • OpenAI, kamuya mal olmuş kişilerin üretilmesi, görsel olarak aşırı veya eksik temsil ile ilişkili zararlı önyargılar gibi riskli alanlarda güvenlik performansını iyileştirmek için red team ile çalıştı
    • Red team, modeli stres testine tabi tutan alan uzmanlarından oluşur
    • Bu çalışma, propaganda ve yanlış bilgi gibi alanlardaki risk değerlendirme ve azaltım çabalarında kullanılır
  • OpenAI, bir görselin yapay zeka tarafından üretilip üretilmediğini belirlemenin daha iyi yollarını da araştırıyor
  • Dahili bir araç olan provenance classifier üzerinde deney yapıyor; bu araç bir görselin DALL·E 3 ile üretilip üretilmediğini belirlemeye yardımcı olabilir
  • OpenAI, bu araç sayesinde üretilen görsellerin nasıl kullanılabileceğini daha iyi anlamayı ve ek bilgiler paylaşmayı planlıyor

İçerik üretici kontrolü ve referanslar

  • DALL·E 3, hayattaki sanatçıların stiliyle görsel istenmesi durumunda bunu reddedecek şekilde tasarlanmıştır
  • İçerik üreticileri, gelecekteki görsel üretim modellerinin eğitiminden kendi görsellerinin hariç tutulması için opt-out yapabilir
  • İlgili kaynaklar olarak araştırma makalesi ve görsel opt-out formu sunulmaktadır

İlgili okumalar

1 yorum

 
GN⁺ 2023-09-21
Hacker News görüşleri

  • Henüz yayımlanmış bir şey yoksa bu, duyurunun duyurusu kategorisine girer (https://hn.algolia.com/?dateRange=all&page=0&prefix=true&sor...)
    Gerçekten tartışılacak bir şey ortaya çıktığında o zaman başlık açılır; beklemenin de bir zararı yok (https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...)

    • Bu kadar güçlü biçimde görünürlüğü düşürülmüş bir gönderiyi ilk kez görüyorum, ama bu “duyuru” o kadar heves kırıcı ki bunu memnuniyetle karşılıyorum

  • İlgilenenler için: Geçen yıl DALL·E 2 ile yaklaşık 7.000 görsel üretip https://generrated.com/ adresine yükledim
    DALL·E 2’nin neler üretebildiğini denemek ve başkalarına ilham ya da başlangıç noktası olarak paylaşmak istedim
    API çıkmadan önceydi; bu yüzden hepsini elle üretip kaydetmem gerekti ve epey de maliyetli oldu, ama eğlenceliydi
    DALL·E 3 erişimi alırsam sanırım hepsini güncellemem gerekecek

    • Bunu yaparsanız v2 ve v3 görsellerinin karşılaştırmasını görebilmek harika olurdu
    • Artık istemlerde sanatçı adı kullanılamadığı için DALL·E 3 ile o siteyi sürdürmek zor olacak gibi
      Düzenleme: Aslında istemlerde yalnızca yaşayan sanatçılar kullanılamıyor gibi görünüyor; en azından yazıda böyle deniyor
    • Kelimeleri bu kadar çizememesinin somut teknik nedenini bilen var mı merak ediyorum
      Sayısız makul hipotez kurulabilecek desenler görülüyor, ama meraktan gerçek nedenin ne olduğunu bilmek istiyorum
      Görsellere bakınca metni bir kez bile tam doğru tutturamaması ve hep biraz sapması özellikle ilginç. Bazen büyük ölçüde yanlış oluyor, ama genellikle oldukça yaklaşıyor
    • Bu platformların görsel yönetimini, indirmeyi ve tüm istemi elde etmeyi neden bu kadar zorlaştırdığını anlamak gerçekten güç
      Midjourney için bir Discord botu yaptım; basit bir ayarla, sürüm gibi alınabilecek mümkün olduğunca fazla bilgiyi de dahil ederek görselleri indirip not ekleyebiliyor: https://github.com/ernop/social-ai/tree/main/SocialAI
      Yine de kusursuz değil. Bilgiyi gönderilen komuttan alıyor; o sıradaki varsayılanlara dayanmış olabileceğiniz için, şimdi yorumlandığında geçmişteki sürüm, seed vb. bilgileri isteme dahil etmediyseniz yeniden oluşturmak zorlaşıyor
      Yine de en azından istemleriyle birlikte 30 bin görsellik bir klasörü kalıcı olarak saklayabilmek ve daha sonra yeniden çalıştırıp zamana göre karşılaştırma yapabilmek güzel
    • Oldukça iyiydi. Başta yalnızca 5 görsel olduğu için biraz sönük olduğunu düşündüm, ama çok çeşitli stil ve kavramlar bolca örnek olarak yer aldığı için harika bir ilham kaynağı olmuş

  • Aklıma gelenler: ChatGPT entegrasyonu çok büyük bir şey. ChatGPT Plus ve kurumsal entegrasyon ekimde gelirse Midjourney’i ve birçok metinden görsele SaaS şirketini ciddi biçimde sıkıştırabilir, onları NSFW kullanımlarına odaklanmaya itebilir
    Kalite Midjourney’e benzer görünüyor, ama Midjourney’de upscale etme ya da birden fazla varyasyon üretme gibi yararlı özellikler de var. DALL·E 3’ün kullanıcı deneyimi tarafında yetişip yetişemeyeceğini merak ediyorum
    UI olarak Discord yerine ChatGPT’yi açık ara tercih ederim, bu yüzden bu taraf daha iyi

    • ChatGPT entegrasyonunda gerçekten şaşırtıcı olabilecek şey, metni ChatGPT ile düzelttiğimiz gibi görseli yinelemeli olarak düzenleyip istenen sonuca ulaşabilme yeteneği
      Şu anda Midjourney ya da Stable Diffusion’da bazen inanılmaz bir görsel çıkıyor, bazen çıkmıyor; kumarhane gibi hissettiriyor. Stable Diffusion’da maske uygulayıp tekrar deneyebiliyorsunuz ama zahmetli ve çok zaman alıyor
      “Bu görsel iyi ama tek bir maymun olsun istiyorum, gökyüzünü de yeşile çevir” dediğinizde orijinal görseli alıp düzenleyebiliyorsa bu oyunun kurallarını tamamen değiştirir
      Muhtemelen gerçekte böyle çalışmayacak, ama öyle olmasını isterim
    • DALL·E 2’de Midjourney’den çok daha önce varyasyon üretme ve inpainting gibi şeyler vardı
      Yine de bu rekabette kimin, neyin kazanacağını görmek gerçekten ilginç olacak
    • ChatGPT entegrasyonunun o kadar büyük olacağını sanmıyorum
      Bing Chat zaten içeride GPT-4 kullanıyor, Bing Image Creator da entegre ve içeride DALL·E 2.5 civarı bir şey kullanıyor ama iyi değil
      Sadece sizin yerinize görsel istemi yazıyor; doğrudan yapabileceğiniz bir işi bir kez daha aktaran gereksiz bir telefon oyununa daha yakın
    • Adil olmak gerekirse NSFW pazarı epey büyük ve tek başına bile birçok şirketi geçindirmeye yeter
      Literotica ile eğitilmiş büyük dil modelleri gibi şeyler de mümkün olmaz mı
    • Emin değilim. Zaten ChatGPT ile Midjourney için istem hazırlıyorum ve birkaç tıkla oluyor
      Muazzam bir fark hissetmiyorum; özellikle de Midjourney DALL·E’den çok daha iyi

  • “DALL·E 3, yaşayan bir yazarın tarzında görsel istendiğinde reddedecek şekilde tasarlandı”, “yaratıcılar artık gelecekteki görsel üretim modeli eğitimlerinden kendi görsellerini hariç tutabiliyor” deniyor
    Öyleyse bu sürüm de telifli işleri izin almadan eğitimde kullanmış demektir
    Üstelik manuel hariç tutma başvurusu yapma yükünü sanatçıların omzuna yıkıyor
    Bir gün mahkemenin, üretilen her görsel için her sanatçıya ödeme yapılmasını zorunlu kılmasından korkmuyorlar mı?

    • Ben de öyle eğitildim
    • Görünüşe göre böyle bir şey gerçekleştiğinde at çoktan ahırdan kaçmış olacak diye bahse giriyorlar
      Yani mahkemenin binlerce çok büyük ve güçlü şirketi milyonlarca kişiye para ödemeye zorlaması gerekecek; bu da fiilen altından kalkılması zor bir hukuki çabaya dönüşür
    • “Telifli işlerle yeniden eğitildi” iddiası için henüz kesin bir kanıt yok
      Kaynakları ya da metodolojiyi açıklamadılar; “eğitim” ve “telif” dışındaki her şey soru işareti. Aksi olsaydı zaten telif ücreti ödüyor olurlardı
      Önceki sürüm 2’nin çıktıları, GPT’nin oluşturduğu prompt’larla birlikte kullanılmış ve üretilen görsellere göre insanlar tarafından düzeltilmiş olabilir
      Ayrıca bilgisayarlı görüyle yeni görselleri ve mevcut görselleri analiz edip, görselde yeni bir özellik varsa bunu prompt’a ekleyip tekrar eğitmiş de olabilirler
    • Yaşayan sanatçılar kendi tarzlarında görsel isteyebilmeliler
    • Genel telif sistemi içinde böyle bir şeyin “izinli” sayılması ve şimdi kitlesel pazara yönelik ticari bir ürüne girmesi tamamen delilik
      Mahkemelerin durumuna bakınca bunun geri döndürüleceğine dair bir beklenti de yok
      Disney gibi büyük fikri mülkiyet sahipleriyle, ayıyı dürtmemek için perde arkasında anlaşmalar yaparken; küçük aktörleri kendilerini savunamayacak, daha doğrusu zaten yoksulken daha da parasız kalacak halde bırakıyor olmaları kuvvetle muhtemel

  • Midjourney için gerçek bir tehdit olabilir gibi görünüyor, ama Stable Diffusion’ı yerinden edeceğini sanmıyorum
    Prompt’a uyumu çok iyi olacak gibi, ancak özelleştirme eksikliği ve sanat tarzı kısıtlamaları kullanım alanını ciddi biçimde azaltacaktır
    İnsanlar muhtemelen DALL·E 3 ile kompozisyon için temel görseller oluşturup, stil, upscaling ve detaylandırmayı Stable Diffusion’da yapacak

    • Stable Diffusion için neden tehdit olmadığını düşündüğünü merak ediyorum
      Üretim olduğu zor ayırt edilen çok yüksek kaliteli görselleri Stable Diffusion’dan çok Midjourney’de gördüm
    • Sanat tarzı kısıtlaması açıkçası insanın yüzünü ekşitiyor. Pek ilgimi çekmiyor
      Midjourney’in filtrelemesi zaten yeterince sinir bozucuydu; ChatGPT’nin basit istekleri yanlış anlaşılabilir diye anlamsızca reddetmesi de bitmek bilmeyen bir sinir kaynağıydı
      İkisini birleştirip üstüne sanatçı tarzı filtrelemesini açıkça ekleyeceklerse, doğrudan pas geçerim
      Ayrıca Midjourney ile NSFW üretmiyorum. “Tezgâhın üzerinde peynir kesen bir kişinin stok fotoğrafı” istemişken, “cutting” ya da “slicing” gibi kelimelerin gore görseller üretmekte kullanılabileceği gerekçesiyle kullanılamamasından söz ediyorum

  • “Yaratıcılar artık gelecekteki görsel üretim modeli eğitimlerinden kendi görsellerini hariç tutabiliyor” deyip bağlantının görselleri tek tek göndermeye yarayan bir form olması komik
    Sitede GPTBot’u engelleyebileceğin söyleniyor, ama bot görselleri zaten kazıdıysa ne olacağı da ayrı mesele
    Zaten başka biri benim fotoğrafımı GPTBot’u engellemeyen başka bir web sitesine de yükleyebilir

  • Son dönemde bir proje nedeniyle çok sayıda Midjourney görseli üretiyorum ve yapay zeka sanatı kıyametçilerin anlamıyor gibi göründüğü şeyi yeniden fark ettim: kürasyonun önemi
    /r/Midjourney’e ya da yukarıdaki DALL·E bağlantısındaki önerilen görsellere şöyle bir bakmak bile, üreticinin “varsayılan sonuçlarının” ne kadar sıkıcı olduğunu gösteriyor
    Görsel oluşturmak kolaylaşabilir, ama hangi görselin ilgi çekici olduğunu seçebilmek için hâlâ sanatsal sezgi ve beceri gerekiyor
    Büyük resimde, illüstrasyon türü sanatın daha çok kürasyon faaliyetine yaklaşacağını ve büyük görsel yığınları içinden eleme yapabilme yeteneğinin temel beceri olacağını düşünüyorum

    • Fotoğrafa benzer bir şey mi acaba
    • Metinden görsele araçları çok iyi bilmiyorum ama referans görseli girdi olarak verebilmiyor musun
      Girdi olarak koyacağın referans görselini oluşturabiliyorsan sonuçların daha iyi olacağını düşünüyorum. Girdi ne kadar iyiyse çıktı da o kadar iyi olur
      Ticari alanda yapay zekayı iyi kullanan sanatçıların öne geçeceği bir durum gibi geliyor
    • O aşamanın ne kadar süreceğini bilmiyorum ve kimsenin buna bel bağlamaması gerektiğini düşünüyorum
    • İnsan tercihlerine göre eleme yapan bir yapay zeka da eğitilebilir gibi
      Yine de zevki ve teknik yeteneği olan bir sanatçının, görselleri kürasyonla belirlenmiş ideale daha çok yaklaştıracak şekilde manipüle edebileceği bir alan kalır
      Bugünkü Stable Diffusion tabanlı Photoshop iş akışı gibi, üretim çıktıları zemini oluşturur; iş akışı olgunlaştıkça manuel girdinin tekrar artacağını düşünüyorum
      Örneğin ControlNet ile belirli bir poz ya da yerleşim tutturulup kompozisyon kilitlenir, yapay zeka %90’ını doldurur, ardından insan kendi zevkine göre son %10’u düzeltir ve bunu yineleyerek ilerler

  • “DALL·E 3, ChatGPT’nin üzerine yerel olarak inşa edildi” maddesi, ChatGPT ile görsel üretim arasındaki sıkı entegrasyon ve duyuruyla birlikte bir araştırma makalesi gelmemiş olması, bunun GPT-4’ün multimodal yeteneklerinin deneme işletimi olduğu ve muhtemelen benzer bir altyapıda çalıştığı yönündeki şüphemi epey güçlendiriyor

    • GPT-4 yalnızca metinden metne ve görselden metne çalışabiliyor; doğrudan görsel üretemiyor
      Bu yüzden sadece API çağrısı kullanacaktır. Özel bir şey yok; Bing de aynı şeyi yapıyor
    • Şimdiye kadar GPT-4’ün çizdiği resimler bu seviyede değildi, ama daha yeni bir sürüm olabilir
      Referans: https://arxiv.org/pdf/2303.12712.pdf

  • Telif hakkıyla korunan “eğitim” materyallerini kaldırdılar mı, yoksa hâlâ insanların emeğinden izinsiz “öğrendiğini” söyleyip bunu izinsiz mi satıyorlar?

    • Duyurunun sonlarına bakınca ifadeler çok dikkatli seçilmiş: “DALL·E 3, yaşayan sanatçıların tarzında görsel isteklerini reddedecek şekilde tasarlandı. İçerik üreticiler artık gelecekteki görsel üretim modellerinin eğitiminde kendi görsellerini hariç tutabilecek”
      Yani hâlâ insanların emeğine dayanıyorlar; ama iyi tarafı, kendi çalışmalarınızın DALL·E 4’e yem olmaması için hariç tutma başvurusu yapabilmeniz
    • Hukuken muhtemelen büyük bir sorun olmayacak gibi
      Kilit nokta, yapay zekanın insanlar gibi öğrendiği ve mevcut eserlerin doğrudan kopyası olmayan çıktıların yeni yaratımlar olduğu iddiasını başarıyla savunup savunamayacaklarında
      Yapay zeka bir sanatçının sanat stilini kopyalasa bile benzer şekilde geçerli olur. Bu, bir insanın hafta sonu bir sanatçının eserlerine bakıp aynı stilde sipariş bir iş çizmesine benzer; sanat stilleri telif hakkıyla korunamadığı için tamamen yasaldır
      Tabii Adobe bunun böyle olmasını isterdi[0]
      0: https://twitter.com/UltraTerm/status/1679294173793628161
    • Kaldırmadılar. Uzun vadede Adobe’nin yapay zekasının kazanmasının nedenlerinden biri bu olabilir
      Ayrıca aklıma takılıp duran bir başka şey de, bu tür yapay zeka üretimlerinin oyun endüstrisi tarzı bir çöküşe yol açıp açmayacağı
      Reklamı çok yapılan ama anlamsız ve düşük değerli yapay zeka içerikleri aşırı arz edilirse tüketiciler ilgisini kaybedip kitap, oyun, film, dijital sanat, müzik gibi sektörlerde harcamayı bırakabilir ve bu alanlar çökebilir
    • OpenAI, Shutterstock’tan görsel verilerini lisanslıyor; dolayısıyla tamamen lisanslı görsellerle eğitilmiş olma ihtimali de var
      https://investor.shutterstock.com/news-releases/news-release...
      Her zamanki gibi, eğitim verileri konusunda daha fazla şeffaflık olsa iyi olurdu
    • İnsan sanatçıların izinsiz şekilde başkalarının eserlerine bakarak “eğitim” yapmasından, bunu izinsiz olarak etten beyinlerine indirmesinden ve organik sinir ağlarını o sanatla eğitmesinden hep nefret etmişimdir
      Böyle yapılmamalı. Telif hakkı maksimalizmi açısından bu telif hakkı ihlalidir

  • Bir rekabet daha başladı
    Bazı insanlar OpenAI’ye güçlü bir antipati duyuyor gibi; ama en azından OpenAI, belirli alanlarda kendisini aşılması gereken çıta hâline getirme işini gerçekten çok iyi yapıyor
    Ve bunu yaparken tüm alanı epey ileri taşıyor gibi görünüyor

    • OpenAI’den hoşlanmama nedenim, yapay zeka güvenliği için kurulmuş olmasına rağmen güvenliğe en aykırı şeyin yapay zeka yetenek yarışını körüklemek olması ve OpenAI’nin tam da bunu tekrar tekrar yapması
    • OpenAI’nin yakında Microsoft demek olduğunu unutmamak gerek
      Benim gibi eskiler, Microsoft’un 90’larda yaptıklarını hatırlar. Bugün de bir alanda önde olsaydı aynı şeyi yapardı; perde arkasında da bazen hâlâ yapıyor
      FB’yi ya da Zuckerberg’i seviyor değilim ama LLAMA’yı ücretsiz yayımlamak iyi bir hamleydi
      OpenAI içinden bir sızıntı daha çıkıp her şeye erişebilmemizi umuyorum