HN Gündeminde: Yansımaları resme dönüştüren duvara asılan Diffusion Mirror

 (matthieulc.com)
1 puan yazan GN⁺ 2024-10-24 | 1 yorum | WhatsApp'ta paylaş

  • PabloNet

  • İnternete bağlı yapay zekanın yaratıcı olup olamayacağına dair tartışmanın asıl meseleden uzak olduğunu düşünüyorum. Sanat, iç dünyayı ortaya koymaktır ve teknoloji bunun yalnızca bir parçasıdır. Sanatın teknolojiye bu kadar bağımlı hale gelmesi üzücü. Bu iki unsuru ayırmanın mümkün olabileceğini görüyorum. 8 milyar sanatçı olmayan insanın kullanacağı ucuz, enterpolatif yaratıcılık yeni dünya görüşlerini ortaya çıkarabilir.

  • Bu nedenle, sanatsal yeteneği olmayan biri olarak çeşitli yapay zeka tabanlı sanat biçimlerine büyük ilgi duyuyorum. Birkaç aydır StreamDiffusion kullanarak web kamerası akışını gerçek zamanlı olarak difüze etme üzerine çalışıyorum. Amacım güzel görsel efektler üretmek ve yeni duygular uyandırmak. Ancak dizüstü bilgisayar formu bu illüzyonu bozuyor. Bu yüzden yakın zamanda duvara asılabilecek bir LCD çerçeve yaptım; böylece illüzyonu bozan unsurlar en aza indi. Bu kurulumun en büyük avantajı, bunun yalnızca sıradan bir ekran değil, kalıcı bir nesne olarak yeni bir etkileşim kanalı açması.

  • Mevcut kurulumun başlıca sorunu düşük kare hızı. TensorRT kullandım ve görüntü sıkıştırmayla hızı artırdım, ancak hâlâ geliştirilecek çok yer var.

  • İlgilenenler için nasıl yapıldığını ve nasıl katkı verilebileceğini paylaşıyorum:

    • İstemci ve sunucu kodu sağlanıyor
    • Sunucu barındırma için RunPod kullanılıyor
    • İstemci Raspberry Pi 5 üzerinde çalışıyor
    • 10.1 inçlik Pi ekranı kullanılıyor
    • Kızılötesi aydınlatma kullanılıyor
    • Sıradan bir çerçeve kullanılıyor
    • Kızılötesi Pi kamerası kullanılıyor
    • Kamera için delik açmak üzere delgeç kullanılıyor (drill işe yaramıyor)
    • Çeşitli ön işleme filtreleriyle deney yapılıyor; yalnızca basit bir prompt yeterli değil. img2img, ön işleme olmadan fazla gerçekçi görünüyor. Bu yazıda görülen mavi Picasso tarzını elde etmek için Canny kenar algılama, mavi tonlama ve bulanıklaştırma birlikte kullanıldı.

GN⁺ Özeti

  • Yapay zeka tabanlı sanat, teknoloji ile yaratıcılığı ayırarak yeni bakış açıları sunma potansiyeli gösteriyor.
  • StreamDiffusion ile gerçek zamanlı web kamerası akışının difüzyona sokulması, yeni duygular ve görsel deneyimler sunuyor.
  • LCD çerçeve kullanan bu yerleştirme, sıradan bir ekranın ötesine geçerek kalıcı bir sanat eseri olma ihtimalini ortaya koyuyor.
  • Düşük kare hızı gibi teknik sorunlarda hâlâ iyileştirme alanı bulunuyor.
  • Benzer işlevlere sahip projeler olarak DeepArt.io ve RunwayML öneriliyor.

İlgili okumalar

1 yorum

 
GN⁺ 2024-10-24
Hacker News yorumları

  • JPEG baytlarını Base64 ile kodlamak, payload boyutunu yaklaşık %30 artırır ve hem istemci hem de sunucuda CPU döngüleri tüketir. WebSocket protokolü ikili payload aktarabildiği için metne dönüştürmeye gerek yok

    • Kayıplı JPG sıkıştırmasını kaldırıp ağ üzerinden ham RGB baytları göndermeyi düşünebilirsiniz
    • StreamDiffusion, pipeline içinde kapsamlı batching ile yüksek kare hızlarına ulaşabiliyor. İstemci her seferinde yalnızca tek bir kare gönderip yanıt beklediği için bu avantajdan yararlanamıyor
    • SDXL Turbo ve Lightning modelleri img2img'de çok hızlı, ancak çözünürlükleri 512² veya 1024² pikselle sınırlı. Üst seviye tüketici GPU'larında gerçek zamanlı çalıştırılabilir

  • Sanat, iç dünyayı açığa çıkarmaktır; teknik bunun yalnızca bir parçasıdır. Teknik açığın sadece bir rahatsızlıktan ibaret olduğu fikrini sorguluyorum

    • Resim yapmayı ya da müzik üretmeyi öğrenmenin insanda ne gibi değişiklikler yarattığını ve daha derin yaşam dersleri öğrettiğini düşünüyorum
    • Büyük sanat eserleri bir dahi tarafından yapılmaz; deha beklenmedik şekilde gelir. Teknik açığı ortadan kaldırmak, bu fırsatları da ortadan kaldırmaktır

  • Sanatsal değeri hakkında konuşmayacağım, ama bir araç meraklısı olarak burada ilgimi çeken bir kısım var

    • Kamera için çerçevedeki kartonda delik açmak üzere bir delgeç kullandım. Matkap işe yaramadı
    • Matkabın kartonda neden işe yaramadığına dair daha fazla ayrıntı ya da yorum görmek isterdim

  • Kameranın çerçevenin içinde değil de başka bir yerde olması daha havalı olurdu diye düşünüyorum. Sanatsal bir aynaya bakmak biraz sıkıcı

    • Başka birinin evine ikinci bir ayna yapın ve bir aynanın kamerasını diğer aynaya besleyerek birbirinizin "yansımasını" görmenizi sağlayın

  • Sanatın duyguyu korumak ve yaratmak olduğunu hep düşünmüşümdür. Duvardaki muz da sanattır, pop müzik de hâlâ sanattır

    • Bu icat kesinlikle bir sanat eseri, ama ürettiği çıktıların öyle olduğunu düşünmüyorum. Bulutlar gibi farklı şekiller oluşturabilir, ama yine de ortalama bir rastgelelik seviyesinde kalıyor

  • Görüntüler arasındaki yüksek kare hızlı morphing efektini hiç düşünüp düşünmediğini soruyor. Bu, efektif kare hızını artırır ve hoş görünür

  • Mevcut kurulumdaki temel sorun düşük kare hızı. Bunu bir özellik olarak görüyor; görüntüyü işlemek için zaman olması kötü değil

    • Güncelleme sıklığını 5-15 dakikaya çıkarın ve her değişim veya hareket algılandığında yeni bir görüntü yakalayıp üretin

  • En çok güç tüketen ayna ödülünü veriyor. Girdideki küçük değişikliklere karşı çizimin kararlı olmadığını fark etmiş

  • Bazı görüntüleri sabitlemenin bir yolu olup olmadığını soruyor. Bazı görseller korunursa güzel olacağını düşünüyor (ör. profil fotoğrafı veya kilit ekranı görseli)