Tuz tanesi büyüklüğünde “meta-optics” kamera
(cacm.acm.org)- Princeton University ve University of Washington araştırmacıları, tuz tanesi büyüklüğünde bir meta-optics kamera geliştirerek, aynı düzeyde görüntü kalitesi sunan mevcut kameralardan 500.000 kat daha küçük bir görüntüleme aygıtı önerdi
- 0,5 mm genişliğindeki bir metasurface üzerine 1,6 milyon silindirik nano-anten yerleştirildi; yapı yarı iletken çipler gibi üretilebildiği için minyatürleştirme potansiyelini artırıyor
- Mevcut meta-optics kameralar net, geniş görüş açılı tam renkli görüntülerde sınırlı kalırken, bu aygıt tam renkli ve geniş görüş açılı görüntüleri geleneksel kameralara benzer kalitede üretiyor
- Araştırmacılar, nano-anten tasarımını hızlı hesaplamak için yapay zeka optimizasyonu kullandı; kameranın ürettiği sapmaları gidermek için de fizik tabanlı sinir ağı ile donanım-yazılım entegre bir iş hattı kullandı
- Bu yaklaşım; daha küçük endoskoplar, akıllı telefon·giyilebilir cihaz·AR/VR kameraları, dronlar, tüm yüzeyi kameraya dönüştüren diziler ve uzay için ultra hafif teleskoplar gibi uygulamalara kapı açabilir
Tuz tanesi büyüklüğünde meta-optics kamera
- Princeton University ve University of Washington araştırmacıları, meta-optics kamerayı tek bir tuz tanesi boyutunda gerçekleştirdi
- Bu kamera, mevcut kameralardan çok daha küçük olmasına rağmen mevcut kameralarla aynı düzeyde tam renkli görüntü kalitesini hedefliyor
- Aynı düzeyde görüntü kalitesi yakalayan mevcut kameralarla karşılaştırıldığında 500.000 kat daha küçük
- Aygıt, araştırmacıların geliştirdiği ultra küçük bir kamera sistemi ve metasurface teknolojisine dayanıyor
- metasurface üzerinde 1,6 milyon silindirik sütun bulunuyor
- Üretim yöntemi bilgisayar çipi üretimine benziyor
Mevcut lenslerin sınırları ve metasurface yaklaşımı
- Kamera tasarımında temel kısıt, aygıtı olabildiğince küçük tutarken yeterince ışık kaydedebilmek arasındaki boyut ve ışık miktarı dengesi
- Akıllı telefonlarda gövde incelse bile daha yüksek fotoğraf kalitesi için birden fazla lens eklenmesi, kamera modülünün büyüyüp dışarı taşmasına yol açabiliyor
- metasurface, ışığı alışılmadık biçimde kontrol edebilen yapay bir malzeme
- Yaklaşık 0,5 mm genişliğinde ultra ince düzlemsel bir yapı
- Yüzeyinde “nano-antenna” adı verilen milyonlarca silindirik sütun bulunuyor
- Her nano-antenna, ışığı belirli bir şekilde biçimlendirecek şekilde ayarlanabiliyor
- Standart kırılmalı lensler, lens yüzeyinin şekli ve malzeme değişimleriyle geliştirilebilirken metasurface, ışığı alt dalga boyu düzeyinde kontrol edebiliyor
- Bu kameranın meta-optic lensi 0,5 mm, sensörü ise 1 mm boyutunda; tek bir metasurface, geleneksel lenslerden daha büyük ışık yönlendirme kapasitesine sahip olacak şekilde tasarlandı
Önceki meta-optics kameralardan farkı
- Araştırmacılar, kamerada metasurface kullanma fikrinin kendisine değil, gerçek görüntüleme kullanımına uygun kaliteyi elde etmeye odaklandı
- Önceki yaklaşımlar, net ve geniş görüş açılı tam renkli görüntü yakalayabilen meta-optics kamera tasarımına ulaşamamıştı
- Bu aygıt, tam renkli ve geniş görüş açılı görüntüleme için ilk yüksek kaliteli polarizasyondan bağımsız nano-optik görüntüleyici olarak tanıtılıyor
- Bir basamak daha büyük ölçekteki mevcut kameralarla karşılaştırıldığında bile görüntü kalitesi eşdeğer düzeyde
Yapay zeka tabanlı tasarım ve son işleme hattı
- Araştırmacılar, önceki meta-optics görüntüleme sistemlerinin sınırlamalarını azaltmak için donanım tasarımı ile yazılım tabanlı son işlemeyi birlikte iyileştirdi
- İlk adım, metasurface üzerindeki nano-anten tasarımını yapay zeka optimizasyon algoritmasıyla hesaplamak
- metasurface’in optik tepkisini simüle etmek ve buna karşılık gelen gradyanları hesaplamak yüksek hesaplama maliyeti gerektiriyor
- Araştırmacılar, metasurface fiziğini hızlı yaklaşık hesaplayan bir “proxy” oluşturarak tasarımı hızlandırdı
- İkinci adım, kameranın yakaladığı görüntüleri fizik tabanlı sinir ağı ile işlemek
- Bu sinir ağı metasurface fiziğine dayanarak eğitiliyor
- Kameranın oluşturduğu sapmaları giderebiliyor
- Araştırmacılar metasurface’i optimize edilebilir, türevlenebilir bir katman olarak ele alıp, ışıkla hesaplama yapan bir optik sinir ağı katmanı gibi optimize etti
- metasurface fizik simülatörü ile son işleme algoritması tek bir iş hattında birleştirildi
- Bu iş hattı gerçek meta-optic kameranın üretiminde kullanıldı
- Yakalanan görüntüleri yüksek kaliteli tam renkli görüntülere dönüştürüyor
- Lensin geniş bant uygulamalarda düzgün çalışabilmesi için hesaplamayla birleştirilmiş bir yaklaşım gerekiyor
Tıbbi görüntüleme, tüketici cihazları ve dron uygulamaları
- En doğrudan uygulama alanı tıbbi görüntüleme
- Kamera küçüldükçe girişimsellik azalıyor
- meta-optics kameraya dayalı ultra küçük endoskoplar, yeni non-invaziv tanı ve cerrahi yöntemleri mümkün kılabilir
- Mevcut teknolojiyle erişilmesi zor vücut bölgelerini görüntüleme olasılığı da var
- Tüketici donanımında da kamera ve lensler, bugünkü cihazlardan bir basamak daha küçük ölçekte tasarlanabilir
- Akıllı telefon ekranı ya da telefonun arka yüzeyi başlı başına bir kamera olabilir
- Gözlük gibi giyilebilir yüzeylere yüksek kaliteli kameralar yerleştirilebilir
- VR headset’ler daha hafif ve daha zarif hale gelebilir
- Dronlar da daha küçük kameralardan etkilenebilir
- Keşif gibi askerî amaçlar da teslimat gibi sivil amaçlar da kamera gerektiriyor
- Çok daha küçük kameralar, daha hafif dronlara ve daha düşük pil tüketimine yol açabilir
Tüm yüzeyi kameraya dönüştürme olasılığı
- Araştırmacıların küçük kamerası, büyük kameraları tuz tanesi boyutundaki kameraların düzlemsel dizisi olarak yeniden düşünmeyi mümkün kılıyor
- Böyle diziler, yüzeyin kendisini kameraya dönüştüren bir yaklaşıma evrilebilir
- Daha büyük metasurface yapılar, teleskoplarda gereken lenslerin yerini alma potansiyeline sahip
- Teleskop üretimi kolaylaşabilir
- Daha güçlü lensleri uzaya göndermek de kolaylaşabilir
Üretim yöntemi ve malzemeler
- metasurface, bilgisayar çipi üretiminde kullanılan olgun teknolojilerle aynı şekilde üretilebiliyor
- Günümüzde bilgisayar çipleri wafer üzerinde üretiliyor ve tek bir wafer üzerinde aynı çipin yüzlerce kopyası bulunuyor
- metasurface de aynı yöntemle üretilebildiği için tekil metasurface başına maliyeti büyük ölçüde düşürme potansiyeli taşıyor
- Araştırmacılar taşıyıcı yüzeyde silica wafer, nano-antenlerde ise silicon nitride kullandı
- Her iki malzeme de mevcut bilgisayar çipi üretiminde kullanılan yarı iletken üretim teknolojileriyle uyumlu
Daha fazlası için
- Researchers shrink camera to the size of a salt grain: Princeton University’nin 2021 tarihli araştırma tanıtımı
- Researchers develop tiny camera the size of a grain of salt – and it could turn your phone into one big camera: The Independent’ın ilgili haberi
- Neural nano-optics for high-quality thin lens imaging: Nature Communications’ta yayımlanan ilgili makale
1 yorum
Hacker News yorumları
“Sıradan bir kamerayla eşdeğer kalitede tam renkli görüntüler üretir” ifadesine, makalede nano kamerayla çekilmiş örnekler olmadığı için epey şüpheyle yaklaşmıştım; ancak özgün makalede oldukça etkileyici örnekler var
https://www.nature.com/articles/s41467-021-26443-0/figures/2
Keskinlik ve renkler açıkça yetersiz görünüyor
Eğer yalnızca görüntüyü bir sinir ağıyla geri oluşturuyorsa, Samsung’un beyaz bir disk algıladığında Ay fotoğrafı yapıştırmasına benzer; bu da pek etkileyici değil
Birkaç yıl önce bir fütüristle yapılan röportajda şöyle bir şey duymuştum: Bir gün çocukların oyuncakçıdan bir sayfa çıkartma alacağı, her çıkartmanın aslında IPv6 adresi atanmış bir kamera olacağı anlatılıyordu
Çıkartmayı bir yere yapıştırıp tarayıcıda o adresi açınca canlı kamera görüntüsünü izleyebilecektiniz
Böyle bir teknolojiyi oluşturan bileşenler zaten var; sadece henüz kitlesel pazara sunulacak kadar ucuzlamadılar ve ölçek ekonomisi devreye girdiğinde toplumun fiziksel mahremiyetin anlamını ciddi biçimde yeniden ele alması gerekeceği söyleniyordu
“Çıkartma”nın anlamını epey değiştirirsek belki mümkün olabilir
Vernor Vinge’e bir tane daha eklemek gerekecek gibi
Bu teknoloji, A Deepness in the Sky’daki evrensel gözetimi doğrudan mümkün kılabilecek gibi göründüğü için dikkatle izlenmeli
Yanlış hatırlamıyorsam tohum büyüklüğündeydiler
https://en.wikipedia.org/wiki/The_Peace_War
Başka konular ilgiyi ve yatırım parasını çektiği için olabilir; ama artık yeterince ilginç bir seviyeye ulaştığı için birçok Ar-Ge ekibinin devlet gizlilik sözleşmelerinin altına girmiş olması da mümkün görünüyor
Bu arada adı “Vernor” olmalı
Kameralar hep kum tanesinden çok daha büyük tasvir edilmişti
Orada orphidnet yardımcı sis, evrensel algıyı ve görselleştirmeyi mümkün kılıyor
Burada herkes mahremiyet ve gözetimi düşünüyor, ama ben bu teknolojinin nano kameraları lazerle görelilik hızlarına kadar hızlandırıp başka güneş sistemlerini yakından fotoğraflamalarını sağlayıp sağlayamayacağını merak ediyorum
Proxima Centauri’ye kadar gitmese bile, kendi güneş sistemimizde daha fazla kamera olması güzel olurdu
https://en.wikipedia.org/wiki/Breakthrough_Starshot
Boyutu çok küçük ve görüş alanı genişse, dizinin üzerine sıradan bir lens koyarak akıllı telefon kamerasında 160×160 derece sınıfı ultra geniş açı oluşturulabilir gibi
Çok küçük 360×180 derece bağımsız kameralar da mümkün olur; AR gözlüklere birkaç kamera konursa 360×160 derece aralıkta çevre hakkında çok iyi farkındalık sağlanabilir
Bir başka uygulama küçük bir ışık alanı kamerası olabilir
Bu teknolojinin doğrudan uygulanabilir mi olduğunu, yoksa değişiklik gerektirip gerektirmediğini bilmiyorum; ancak küçük ve ucuz ışık alanı kameraları çıkarsa, çekim sonrası odak ayarı ve stereodan daha iyi 3D algılama/sahne yeniden yapılandırma için yararlı olur
“Kameradan yüksek kaliteli görüntüler üretmek için kendine özgü AI tabanlı görüntü son işleme uygular” açıklamasına bakınca, sezgisel anlamda sıradan kameralarla karşılaştırılabilir olduğunu söylemek zor
Upscaling, gürültü giderme, bulanıklık giderme, renk ayarı, gölge ve parlak alan düzeltmesine kadar; işleme hattından geçtikten sonra sensörün gördüğü hâliyle kalan pek bir şey yok
Telefon kameraları bunu profesyonel kameralardan çok daha uç biçimde yapıyor sadece; ama hepsi bu tür işlemlerden geçiyor
Yeni bir haber gibi görünmüyor
2021’de yayımlanmış bir makale ve burada da paylaşılmıştı
https://news.ycombinator.com/item?id=29399828
Doğruysa, akıllı telefonlara 10.000 kameralık bir dizi (100×100) koyup hesaplamalı fotoğrafçılıkla ilginç şeyler yapılabilir belki
10.000 sensöre doğrudan uygularsanız yaklaşık 10 dakika sürer, ama optimizasyon ve paralelleştirme için kesinlikle alan vardır
Sensör 720×720px görüntü ürettiğinden 100×100 dizi 72.000×72.000px, yani yaklaşık 5 gigapiksel görüntü eder
Bir akıllı telefonun işlemesi ve saklaması için muazzam bir piksel sayısı
Bu yüzden profesyoneller hâlâ telefon değil, büyük full-frame kameralar taşıyor
Spor çekimi gibi hız sorunları da var, ama basitleştirerek söylersek hız da işlenmesi gereken veri miktarı ve çözünürlükten etkileniyor
Yüksek çözünürlüklü sensörlerde dosyaların aşırı büyümesi sorunu var; küçük ve kaliteli fotoğraflara göre işleme daha yavaşlıyor ve depolama alanı da çok daha fazla kaplıyor
Videoda bu daha da kötüleşiyor
Apple’ın ana kamerayı uzun süre 12 megapikselde tutmasının nedeni de muhtemelen buydu
Kulağa havalı gelen optik düzenek açıklamaları var, ama görüntünün gerçekte nasıl kaydedildiği pek anlatılmıyor
Bir de işin “sinir ağı” kısmı var
Üretken yapay zekanın istatistiksel olarak en olası piksellere dayanarak bulanık bölgeleri doldurup “iyileştirip” iyileştirmediğini merak ediyorum
Makale epey kötü
Standart bir hesaplama modeliyle de yapılabilir, ama işlem yükü çok yüksek olur gibi
Bu nedenle JPEG’in görüntüyü kayıplı biçimde saklamasına benzer anlamda bir “iyileştirme” olabilir
(2021) Asıl özgün metin burada: https://light.princeton.edu/publication/neural-nano-optics/