Qwen VLo - Dünyayı 'anlamaktan' 'betimlemeye'
(qwenlm.github.io)- Qwen VLo, QwenVL ve Qwen2.5 VL'nin görüntü anlama yeteneklerini görüntü üretimine genişleten bir preview model ve doğrudan Qwen Chat'te denenebiliyor
- Görüntüyü tek seferde tamamlamak yerine soldan sağa, yukarıdan aşağıya oluşturan aşamalı üretim yaklaşımıyla sonuçların tutarlılığı ve uyumu artırılıyor
- Orijinal görüntünün anlamını ve yapısını korurken renk, stil ve nesneleri değiştiren görüntüyü yeniden yaratma kullanımına odaklanıyor
- Yalnızca doğal dil komutlarıyla arka plan değiştirme, nesne ekleme/silme, stil dönüştürme, metin düzenleme, poster üretimi ve derinlik haritası, segmentasyon haritası, tespit haritası, kenar bilgisi üretimi yapılabiliyor
- Hâlâ preview aşamasında olduğu için hatalar, orijinalle uyuşmayan sonuçlar ve komutlara uymama görülebiliyor; çoklu görüntü girişi ve aşırı en-boy oranı üretimi gibi bazı özellikler ise resmî sürüm öncesi durumda
Qwen VLo'nun rolü ve yaklaşımı
- Qwen VLo, çok modlu anlama ve üretimi birleştirerek görüntüyü anlamanın ötesine geçip bu anlayış temelinde görüntüyü yeniden üreten bir modeldir
- Mevcut sürüm preview durumundadır ve Qwen Chat üzerinden kullanılabilir
- Yalnızca metinle görüntü oluşturabilir veya bir görüntü yükledikten sonra doğal dille düzenleme yapabilirsiniz
- "Generate a picture of a cute cat" gibi bir metin prompt'u ile görüntü oluşturulabilir
- Bir kedi görüntüsü yükledikten sonra "Add a cap on the cat’s head" gibi bir komutla görüntü düzenlenebilir
Soldan sağa ilerleyen aşamalı üretim
- Qwen VLo, görüntüyü sıralı şekilde oluşturan aşamalı üretim yöntemini kullanır
- Üretim sırasında tahminleri sürekli rafine edip optimize ederek nihai görüntünün tutarlılığını ve uyumunu artıracak şekilde tasarlanmıştır
- Bu mekanizma görsel kaliteyi yükseltir ve kullanıcıya sonuç üzerinde daha esnek kontrol sunan bir üretim deneyimi sağlar
- Dinamik çözünürlük üretimiyle birleştiğinde, uzun metin içeren reklamlar veya çizgi roman panelleri gibi ayrıntılı kontrol gerektiren işler için uygundur
- Üretim süreci aşamalı olarak izlenebilir ve gerçek zamanlı ayarlama yapılabilir
Anlamadan üretime genişleyen yetenekler
-
Orijinal yapıyı koruyan yeniden yaratım
- Mevcut çok modlu modeller üretim sürecinde anlam kayması yaşayabilir, arabayı başka bir nesne sanabilir veya orijinalin temel yapısını koruyamayabilir
- Qwen VLo, ayrıntı yakalama yeteneğini güçlendirerek üretim sırasında yüksek düzeyde anlamsal tutarlılığı korumayı hedefler
- Bir araba fotoğrafında "renk değiştir" dendiğinde araç modelini tanıyıp orijinal yapıyı korurken renk stilini değiştirebilir
-
Doğal dil tabanlı görüntü düzenleme
- "Bu görseli Van Gogh stiline çevir", "19. yüzyıl fotoğrafı gibi yap", "Açık bir gökyüzü ekle" gibi komutları işleyebilir
- Sanatsal stil dönüşümü, sahne yeniden kurgulama ve ince detay düzeltmeleri gibi görevleri destekler
- Derinlik haritası, segmentasyon haritası, tespit haritası ve kenar bilgisi tahmini gibi geleneksel görsel algı görevleri de düzenleme komutları olarak gerçekleştirilebilir
- Nesne düzenleme, metin düzenleme ve arka plan değiştirme gibi bileşik komutlar tek bir komut içinde işlenebilir
-
Çok dilli komut desteği
- Çince ve İngilizce dahil çeşitli dilleri destekler
- Kullanıcılar dilden bağımsız olarak isteklerini anlatıp sonuç alabilir
Demolarda görülebilen görev türleri
-
Görüntü üretimi ve ardışık düzenleme
- Sevimli bir Shiba Inu oluşturduktan sonra arka planı çayıra çevirmek, kırmızı şapka ve siyah yarı saydam güneş gözlüğü eklemek, şapkanın üzerine "QwenVLo" metni koymak gibi bir akış gösteriliyor
- Aynı görüntüyü Ghibli stili veya 3D Q-version stiline dönüştürmek ya da düzenlenen nesneleri sonraki düzenleme bağlamında kullanmaya devam etmek mümkün
- Kalemi mavi maskeyle tespit etmek veya köpeğin kenarlarını pembe maskeyle ayırmak gibi görevler de yer alıyor
-
Stil dönüşümü ve yeniden yorumlama
- Bir çizgi romanı gerçek fotoğrafa dönüştürmek, arka planı Eiffel Tower ile değiştirmek veya bir kişiyi balon gibi havada süzülür hâle getirmek mümkün
- Çift fotoğrafını minimalist düz illüstrasyon sticker'ına veya 3D render koleksiyon figürüne dönüştürmek ve "Happy Wedding" metni eklemek de örnekler arasında
- Ghibli, One Piece, Dragon Ball, SpongeBob, Minecraft ve piksel art stil dönüşümleri ele alınıyor
- Bir kediyi Pixar 3D stiline çevirmek veya Miami gece silüetini jöle dokulu özel malzeme modelleme stiline dönüştürmek gibi örnekler de var
-
Karmaşık prompt işleme
- Metroda siyah şapkalı bir erkek, kırmızı güneş gözlüklü bir kadın, bir Husky, camın dışında Statue of Liberty ve "Qwen VLo" istasyon tabelasının birlikte yer aldığı bir fotoğraf üretilebilir
- Bir not defterine diyagram çizen birinci şahıs bakış açısı sahnesi veya Isaac Newton'ın prizmayla deney gösterdiği sahne gibi önceki sonucu devralan komutlar da işlenebilir
- Siyah kediyi baş karakter yapan, hayvan sürüsü, uzaylılar ve UFO'nun karşı karşıya geldiği geniş açılı büyük fotoğraf tarzı poster prompt'ları da buna dahil
Poster ve metinli görüntü üretimi
- Qwen VLo, yalnızca metin ve görüntü girdisinin birlikte kullanıldığı görevleri değil, metinden görüntü üretimini de destekler
- Genel görüntülerin yanı sıra Çince ve İngilizce içeren iki dilli posterler oluşturabilir
- "Qwen VLo!" metninin enerjiden oluştuğu gece temalı büyücü animasyon sanatı
- Güneş gözlüğü ve kulaklık takan turuncu bir kedinin selfie sahnesi
- "2025", "A New Beginning", "新的开始", "长安", "Father’s Day" gibi metinler içeren poster tarzı görüntüler
- Reklam posterlerinde kahve kutusu, hand-drip kettle, kahve renk paleti ve "一杯咖啡，唤醒你的清晨" gibi başlık yerleşimleri ele alınıyor
- Başka bir poster örneğinde aydınlatma ürünü merkezî görsel unsur olarak kullanılıyor; koyu mavi arka plan, sıcak turuncu hale ve "Illuminating not just the desk, but an attitude." metni birlikte yer alıyor
Algılama ve konum farkındalığını da kapsayan üretim
- Qwen VLo, üretim ve düzenlemenin yanı sıra mevcut görüntülerin üzerine anotasyonlar da ekleyebilir
- Örnek görevler şunları içerir
- Meyvelerle dolu bir masa oluşturduktan sonra kenar tespit haritası tahmini
- Görüntüdeki muz kenarlarını kırmızı maskeyle segmentlere ayırma
- Dağınık masa görüntüsünde telefonu kırmızı kutuyla işaretleme
- İşaretlenen telefonu silip masaya kahve ekleme
- Nihai görüntüyü kenar tespit görüntüsüne dönüştürme
- Birleşik anlama-üretim modeli olduğu için ürettiği görüntüyü tekrar analiz de edebilir
- Köpek ve kedi oluşturduktan sonra cinslerinin sorulduğu örnekte, köpeği Beagle veya Beagle mix, kediyi ise Tabby cat olarak tanımlar
Çözünürlük, en-boy oranı ve çoklu görüntü girişi
- Qwen VLo, dinamik çözünürlük eğitimi kullanarak dinamik çözünürlükte üretimi destekler
- Hem giriş hem çıkışta rastgele çözünürlük ve en-boy oranındaki görüntülere izin verir
- Sabit formatlara bağlı kalmadan poster, illüstrasyon, web banner'ı ve sosyal medya kapağı gibi senaryolara uygun görseller üretebilir
- 4:1 veya 1:3 gibi uzun formatları da işleyebilir
- Ancak aşırı en-boy oranlı görüntü üretimi özelliği henüz resmî sürüm öncesi aşamadadır
- Birden fazla giriş görüntüsünü anlayıp üretim yapma yeteneğini de içerir
- Kişisel bakım ürünleri görselini kırmızı sepet görselinin içine yerleştirme buna örnek olarak verilir
- Çoklu görüntü girişi özelliği de henüz resmî sürüm öncesi aşamadadır
Preview aşamasının sınırlamaları ve sonraki yön
- Qwen VLo hâlâ preview aşamasında olduğu için çeşitli sınırlamaları vardır
- Üretim sürecinde hatalar ortaya çıkabilir
- Orijinal görüntüyle uyuşmayan sonuçlar üretilebilir
- Komutları takip edemeyebilir
- Üretilen görüntünün niyetini algılama ve anlama konusunda yeterli kararlılık olmayabilir
- İleride kararlılık ve sağlamlığın sürekli iyileştirilmesi planlanıyor
- Çok modlu büyük modeller, metin ve görsel giriş/çıkışları çift yönlü ele alırken yanıtları yalnızca metinle değil görüntüyle de sunabilir
- Diyagram üretimi, yardımcı çizgi ekleme ve kilit bölgeleri anotasyonlama daha çeşitli iletişim araçları olarak kullanılabilir
- Segmentasyon haritası veya tespit haritası gibi ara çıktılar üreterek modelin kendi anlayışını doğrulaması ve performansını geliştirmesi yönü de keşfedilmeye devam edecek
1 yorum
Hacker News yorumları
Ağırlıkların yayımlanmamış olması üzücü. Qwen’in güçlü yanı tarihsel olarak açık ağırlık stratejisiydi; 4o’nun özbağlanımlı görüntü üretimiyle rekabet edecek gerçekten açık ağırlıklı bir model çıksaydı iyi olurdu.
Ağırlıklara erişilebildiğinde mümkün olan pek çok ilginç araştırma yönü var. Geliştirme maliyetlerini geri kazanmak dertse, BFL’nin Flux Kontext Dev sürümünde yaptığı gibi ağırlıkları araştırmacılara ve bireylere ücretsiz verip, startup’lardan makul fiyatlı bir ticari lisans ücreti alma yaklaşımı örnek alınabilir.
Görüntülerdeki turuncu tonlamaya bakınca OAI çıktılarıyla eğitildiği epey açık görünüyor. Kendi verilerini oluşturmaya çalışıp çalışmadıkları merak konusu.
Sonuçta OAI ile eğitilmiş, OAI kadar kapalı ve daha da önemlisi OAI’den daha kötü. Böyle bir şeyi API’nin arkasına kilitleme stratejisi tuhaf.
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...
Nedense Çin’in açık ağırlık dönemi bitmiş gibi görünüyor. Ani ve koordineli bir hamle izlenimi veriyor.
Alibaba Qwen’i yayımlamayı bıraktı, Tencent Hunyuan’ı yayımlamayı bıraktı, Bytedance’in Seedream’i kapalı olarak çıktı. Yine de Batılı modellerin çıktılarıyla eğitildikleri hâlâ açık görünüyor. Stratejik olarak %100 açıklığa gidip altyapı/hizmet satmanın daha doğru olduğunu düşünüyorum.
Açık ağırlık deniyorsa insanların bunları özgürce kullanabilmesi gerekmez mi?
Önerdiğiniz yöntem “açık ağırlık”tan çok deneme sürümü ağırlıkları, shareware ağırlıkları ya da akademik kullanım ağırlıkları gibi. Açık kaynak yazılımda olduğu gibi her şey için kullanılabilir anlamı yoksa “açık” ifadesi yanlış bir izlenim veriyor.
Sadece görüntü üretim ücretleriyle on milyonlarca dolarlık yatırımı, GPU süresini ve mühendis maaşlarını geri kazanabilecekleri konusunda kişisel olarak şüpheliyim.
Benim gözüme bu görüntülerin hepsi tekinsiz vadiye düşüyor. Renkler ve gölgeler hep uyumsuz görünüyor.
Ayı görseli düzenleme örneğine bakınca model istenenden daha fazla kısmı değiştiriyor gibi.
Arka planı değiştirmesi istenmiş ama ayının kendisi de tamamen değişmiş; gömlek aynı olsa da kürk ve yüz açıkça farklı. Ayıyı balona çevirirken de arka planı değiştirmiş, asfalt yolu kaldırmış ve karpuzun solundaki çekirdek de kaybolmuş. Daha iyi bir prompt ile düzeltilebilir mi, yoksa modelin/mimarinin sınırı mı, merak ediyorum.
Adeta zorunlu test gibi, bisiklete binen pelikan görselini SVG değil görüntü olarak denedim; birkaç akordeon görseli de oluşturdum. Parmakları ve siyah tuşları doğru oturtmakta biraz zorlanıyor ama oldukça hızlı.
https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...
Zorluk, piksel tabanlı bir format değil SVG kullanmakta. Çünkü düzgün SVG üretmek bir miktar çıkarım gerektiriyor.
Garip biçimde görüntü değiştirme örneklerinde, yani düzenleme veya stil aktarımı gibi sonuçlarda GPT Image 1’de, yani ChatGPT 4o’nun en yeni görüntü modelinde görülen soluk sarı ton var. Flux Kontext’te böyle bir his yok gibi; nedenini merak ediyorum.
Otomatik sesli okumayı nasıl durduracağımı bilmiyorum. Web sitesi öylece durup ben bir şey yapmasını isteyene kadar bekleyemez mi?
watch bölümünde video tam ekran otomatik oynadı, sonra hemen okumaya da başladı. Not olarak, iOS’ta Firefox kullanıyorum.
Bu Firefox Android için; iOS sürümünde aynı özellik var mı bilmiyorum. Masaüstünde de var. Oradan web sitelerinin bildirim gönderme isteklerini de tamamen engelleyebilirsiniz.
Bir makine öğrenimi araştırmacısı ve fizik diploması olan biri olarak, bu tür modeller için anlama ve “tasvir etme” sözcüklerini kullanırken epey temkinliyim. Özellikle anlama sözcüğünün pek yardımcı olmadığını, açıkçası zararlı olduğunu düşünüyorum.
Fizikte matematik kullanmamızın nedeni somutluktur; kodlamanın zor olmasının nedeni de aynıdır. İnsanlar dünyayı ne kadar çok anladıklarını küçümsüyor gibi. Önemli olan ince farklar; ama bunlar o kadar gündelik ki önemlerini unutuyoruz. Asimov’un “Relativity of Wrong” yazısını okumaya değer. Böyle sistemlerin bir şeyi anladığını söyleyebilmek için tümdengelim ve abdüksiyon yapabilmeleri, kavram ve fikirleri rafine edebilmeleri ve içlerine aldıkları şeylerin kombinasyonundan fazlasını keşfedebilmeleri gerekir. İnsan bilgisinin tamamıyla eğitilip o bilgiyi tekrar etmek, tek başına zekâyı kanıtlamaz. Bu model boyutunda bilginin kayıpsız sıkıştırılmış olması pek olası değil; fakat verilerin ve bilginin derinine inmeden neyi bildiğini, neyi ezberlediğini anlamak çok zor. Yararlı bir şey yapmak ile zekâ üretmek farklı meselelerdir.
Gerçekten anlamak için karşıolgusal düşünce önerebilmek gerekir. Fizikteki her önerme karşıolgusal bir önermedir. F=ma’yı örnek alırsak, kütleyi ya da ivmeyi değiştirseniz de kuvveti hesaplayabilirsiniz. Belirli bir kütlenin belirli bir ivmeyle hareket ettiğini görüp “iki kat ağır olsaydı?” diye sorabilir ve yanıtlayabilirsiniz. İnsanın dünya modeli de bunu yapar. Bunu matematikle açıklamıyor olsak da karşıolgusallar kurar ve çoğu zaman oldukça iyi işleriz. Modern makine öğrenimi sistemlerinin bunu yaptığını düşünmek zor.
Orijinal yazıdaki görsel, anlayış eksikliğine iyi bir örnek. Sağ tarafta yalnızca parmak sayısı yanlış değil, klavye tuşları da tuhaf. Tuşların tekrar etmemesi gerektiğini biraz anlayışla bile bilmek mümkün. Yerleşim de rüyadaki nesneler gibi darmadağın; tuş sayısının işaret sayısıyla uyuşmama ihtimali yüksek ve boyutlar da tutarsız görünüyor. Ne kadar uzun bakarsanız daha da kötüleşmesi de bu tür sistemlerde yaygın. İlk bakışta fena değil gibi, ama ayrıntılı baktıkça tekinsiz vadiye daha derin giriyor.
https://youtube.com/watch?v=cDA3_5982h8
Kod matematiktir. Turing-tam diller ile hesaplanabilir matematik arasında izomorfizm vardır. Daha titiz bakmak için Church ve Turing'e bakabilirsiniz. Elbette fizik ile matematik aynı şey değildir, ama matematik akıl almaz derecede etkilidir.
https://hermiene.net/essays-trans/relativity_of_wrong.html
https://en.wikipedia.org/wiki/Counterfactual_thinking
Bir şeyler geliştiren biri olarak bu tür korkuluk safsatası yoruyor
Girdiyi ve çıktıyı yaygın anlaşılan sözcüklerle ifade etmeleri faydalı. Üstelik bu sözcüklerin uzun vadeli imalarını abartarak savunmadıklarının sinyali olarak tırnak işareti de kullanmışlar. Sürümü okuyan kişi, Qwen'in eskiden gören/algılayan/anlayan bir VLM olduğunu, şimdi ise görüntü üretebildiğini/betimleyebildiğini/çizebildiğini anlar. Bunun ötesinde kriz çıkarmaya gerek yok.
Bu model ya da 4o gibi benzer şekilde görüntü üreten diğer modeller hakkında bir teknik rapor olup olmadığını merak ediyorum. 4o tarzı görüntü üretiminin mimarisini gerçekten anlamak istiyorum.
Makine öğreniminin dünyayı “anlamaktan” çok betimleme tarafında çok daha fazla ilerlediğini düşünüyorum
“Anladım” demek aslında keyfi bir bireysel ölçütten ibaret.
Görüntü, dil modeli görmeden önce 256 tokene sıkıştırılıyor. Şapka eklemesini istediğinizde tüm yüzü baştan çizmesinin nedeni, nesnelerin ayrı ayrı saklanmaması
Bellekte kalıcı bir ayı yok; her şey tek bir kaynaşmış latent uzay çorbasının içinde. Yeni kısıt altında yeniden örnekleniyor ve prompt'u azıcık değiştirmek bile tüm embedding dengesini yeniden ayarlıyor. Bu yüzden küçük düzenlemeler bile görüntünün geneline yayılıyor. Tek seferlik sahne sentezi gibi görünüyor ve başka kullanım alanlarında işe yarıyor.
gpt-image-1'in düzenlemesi “Ghibli tarzına dönüştür” gibi tam stil değişikliklerine iyi uyuyor, ama gerçekçi bir görsele gözlük eklerken tüm ayrıntıları korumaya pek uygun değil.