Bilgisayarlı Görünün Temelleri (2024)

• Foundations of Computer Vision, görüntü işleme ile makine öğrenmesini birlikte ele alan bir bilgisayarlı görü temel ders kitabı; giriş düzeyindeki lisans ve lisansüstü öğrencilerin yanı sıra deneyimli uygulayıcıları da okur kitlesi olarak hedefliyor
• İlk kez Kasım 2010'da MIT Press'e önerildikten sonra yazımı 10 yıldan fazla sürdü; kısa ve öz bölümler oluşturma hedefi, alanın değişimi içinde sürekli genişledi
• 2012'deki derin öğrenme devrimi, eski fikirleri çalışan uygulamalara bağlayacak araçlar sağladı; bir süre geri planda kalan erken dönem kavramlar da zamanla yeniden önem kazandı
• Kitap; görüntü oluşumu, öğrenme, sinyal ve görüntü işleme, filtreler, çok ölçekli gösterimler, sinir ağları, üretken modeller, 3B geometri, hareket, sahne anlama ve araştırmacılara tavsiyelere kadar 15 Part halinde düzenlenmiş
• Güncel bilgisayarlı görü başarılarını kapsamak ya da şekil analizi, nesne takibi, insan pozu analizi ve yüz tanıma konularına derinlemesine girmek yerine, çeşitli uygulamaları anlamak için gereken temel kavramlara odaklanıyor

---

Hangi okurlar için bir kitap?

• Foundations of Computer Vision, bilgisayarlı görünün temel konularını görüntü işleme ve makine öğrenmesi bakış açılarından ele alıyor
• Başlıca okur kitlesi bilgisayarlı görüye giren lisans ve lisansüstü öğrencileri; ayrıca deneyimli uygulayıcılar için de yararlı bir kitap olmayı hedefliyor
• Kavramlara sezgi kazandırmak için çok sayıda görselleştirme içeriyor
• Başlangıçta alanı geniş biçimde ele alan büyük bir kitap tasarlanmıştı; ancak bilgisayarlı görünün kapsamı çok geniş olduğu için yönünü daha küçük bir kitaba çevirdi
  • Her bölümü 5 sayfanın altında tutmayı amaçladı
  • Bu kısıt, her konuda anlamak için gerekli önemli kavramlara odaklanmayı sağladı
  • Kısa bir kitap yazma hedefi de sonuçta gerçekleştirilemedi

10 yılı aşan yazım süreci

• Kitap fikri ilk kez 24 Kasım 2010 tarihinde MIT Press'e önerildi
• Yazım doğrusal ilerlemedi; metnin hacmi yalnızca artmadı, bir dönem azaldıktan sonra yeniden arttı
• Tüm çalışma 10 yıldan fazla sürdü
• Yazım sürecinde çok sayıda örnek oluşturuldu ve iyileştirildi; okurun örnekleri bizzat yeniden üreterek öğrenmesi hedeflendi

Derin öğrenmeden sonra da süren eski fikirler

• Bilgisayarlı görü son 10 yılda büyük ölçüde değişti, ancak bugünkü yöntemlerin geçmiş bilgisayarlı görü ve yapay zeka tarihinde derin kökleri var
• Adlar değişmiş ve bazı fikirler yeni ortaya çıkmış olsa da, günümüz yöntemleri önceki kavramlardan kopuk değil
• Kitap, çeşitli kavramların arkasındaki birleştirici temaları vurguluyor
• Merkezî metaforlardan biri birden çok bakış açısıdır (view)
  • Gerçek fiziksel sahneye farklı açılardan, sensörlerden ve zamanlardan bakmak
  • Birden çok bakış açısını bir araya getirerek alttaki gerçekliği anlamak
  • Kitap da bilgisayarlı görünün temellerini bulmak için birden çok bakış açısını birleştiren bir yapı izliyor
• 2012'deki derin öğrenme devrimi, bilgisayarlı görünün temelini daha sağlam hale getirdi ve alanın ilk dönemlerinde önerilen birçok fikri çalışan uygulamalara dönüştürecek araçlar sundu
• Derin öğrenmeden sonra bazı erken fikirler bir süre unutuldu, ancak zamanla birçok fikir geri döndü

Kitabın kapsamı: 15 Part

• Çoğu bölüm, daha önce ele alınan konuların anlaşılmasını varsaydığı için sırayla okunması önerilir
• Part I: Görü problemini tanıtan ve toplumsal bağlama yerleştiren motivasyon konuları, basit bir görü sistemi, temel matematik araçları
• Part II: Görüntü oluşum süreci
• Part III: Görü örnekleriyle öğrenmenin temelleri ve geniş biçimde uygulanabilir kavramlar
• Part IV: Bilgisayarlı görünün temelini oluşturan sinyal ve görüntü işlemeye giriş
• Part V: Gaussian kernels, binomial filters, image derivatives, Laplacian filter, temporal filters gibi doğrusal filtreler ve uygulamaları
• Part VI: Çok ölçekli görüntü gösterimleri
• Part VII: Görü için sinir ağları
  • convolutional neural networks
  • recurrent neural networks
  • transformers
  • Belirli mimarilerden çok ana ilkelere odaklanır
• Part VIII: Görüntülerin istatistiksel modelleri ve grafik modeller
• Part IX: Sinir ağları çağında iki güçlü modelleme yaklaşımı
  • Üretken modelleme, doğal görüntü oluşumunu ve uygun geometri kurallarını izleyen sentetik görüntüler üretmeyi sağlayan istatistiksel görüntü modellerini ele alır
  • Temsil öğrenimi, vektör gömmeleri gibi görüntülerin yararlı soyut temsillerini bulur
• Part X: Öğrenme tabanlı görü sistemleri oluştururken ortaya çıkan zorluklar
• Part XI: 2B görüntülerden 3B dünya yapısını yeniden kurmak için geometrik araçlar ve kullanımları
• Part XII: Dizi işleme ve hareket ölçümü
• Part XIII: Sahne anlama ve nesne algılama
• Part XIV: Sunum, makale yazımı ve etkili araştırmacı tutumu üzerine genç araştırmacılara tavsiyeler
• Part XV: Part I'de sunulan basit görsel sisteme geri dönerek kitabın tekniklerini oyuncak bir probleme uygular

Bilinçli olarak derinlemesine ele alınmayanlar

• Güncel bilgisayarlı görünün en yeni başarılarına yönelik bir inceleme sunmaz
• Şekil analizi, nesne takibi, insan pozu analizi ve yüz tanıma gibi birçok uygulamayı derinlemesine ele almaz
• Bu tür uygulama konularını güncel bilgisayarlı görü konferans makaleleri ve uzman monografiler üzerinden çalışmak daha uygundur
• Kitabın odağı, uygulamalar genelindeki en son sonuçlar değil temel kavramlardır

Birlikte anılan ilgili kitaplar

• Genel bilgisayarlı görü ders kitapları olarak şu kitaplardan söz edilir
  • Computer Vision: A Modern Approach
  • Rick Szeliski'nin Computer Vision: Algorithms and Applications
• Fizik temelli temelleri Horn'un Robot Vision kitabı iyi ele alır
• David Marr'ın Vision kitabı, bilgisayarlı görüye giriş yapılmasını sağlayan; sezgisi ve anlatımı güçlü bir kitap olarak değerlendirilir
• Çoklu kamera üzerinden görü geometrisini Hartley ve Zisserman'ın Multiple View Geometry in Computer Vision kitabı ayrıntılı biçimde ele alır
• 3B geometriyle ilgili olarak Koenderink'in Solid Shape, Faugeras'ın Three-Dimensional Computer Vision, Trucco ve Verri'nin Introductory Techniques for 3D Computer Vision kitapları anılır
• Öğrenme konulu ders kitapları olarak Mackay, Bishop, Murphy ve Goodfellow·Bengio·Courville'in kitapları anılır
• Görünün olasılıksal modellerini Prince'in ders kitabı iyi ele alır
• İnsan görsel algısı için Steve Palmer'ın Vision Science: Photons to Phenomenology kitabı önemli olarak anılır
• Düşük seviyeli görü için Granlund ve Knutsson'ın Signal Processing for Computer Vision, yüksek seviyeli görü için Ullman'ın High-level Vision kitabı anılır
• Işık ve görü üzerine bir kitap olarak Minnaert'in Light and Color in the Outdoors kitabından söz edilir

Atıf bilgileri ve ders materyalleri

• Kitaba atıf için BibTeX girdisi şu bilgileri içerir
  • title: Foundations of Computer Vision
  • author: Torralba, A. and Isola, P. and Freeman, W.T.
  • isbn: 9780262378666
  • lccn: 2023024589
  • series: Adaptive Computation and Machine Learning series
  • year: 2024
  • publisher: MIT Press
• Basılı kopya MIT Press üzerinden satın alınabilir
• Eğitmenler için slaytlar Dropbox üzerinden indirilebilir

[GN⁺]

Hacker News yorumları

• On Research, Writing and Speaking içinde ilginç bir bölüm var: “Zor iş gibi geliyor.” Doğru. Artık mesele zeki olmak değil. Bu noktaya gelindiğinde çevrendeki herkes de zeki oluyor. Lisansüstünde öne geçenler çok çalışanlar oluyor

  • Kesinlikle yerinde bir gözlem. Herkesin sadece zekâyla idare etmenin artık yeterli olmadığı bir aşamaya geldiği oluyor
    Birçok kişi bunu üniversiteye girince fark eder, ama lisansta öğrenilecekler nettir ve bir üst sınır vardır; bu yüzden bir ölçüde idare edilebilir. Doktorada ise neredeyse üst sınır yoktur; her hafta okunması gereken makale sayısı belirlenmiş değildir, “bu sınavda çıkmayacak” diye bir şey de yoktur. Daha zeki olmanın getirisi düzleşmiyor; basitçe bir tavan yok. Daha fazla okuyabilir, literatür selini takip edebilir, deneyleri ve yöntemleri sürekli geliştirebilirsin
    Ayrıca soft skill’ler ve ağ kurma da gerekir. Konferanslara gidip topluluğun gidişatını anlamalı, insanlarla tanışıp kahve içmeli ya da akşam yemeği yemelisin. Lisanstaki gibi talimat beklemek yerine kendi başına harekete geçmeli; mevcut yöntemlere karşı yeterince şüpheci ve eleştirel olurken, topluluğun anlayıp kabul edebileceği kadar ilgili ve ilginç yeni fikirler üretmelisin
    Derslerin ve sınavların sağladığı dış senkronizasyon olmadan zamanını kendin yönetmeli, teslim tarihleri ve rutinler oluşturmalısın. Bunların pratikte bir üst sınırı yoktur ve beklentiler de belirsizdir. Yeterince kapsamlı çalışmış olsan bile, hakemin yenilik görmemesi ya da o anki trende iyi uymaması nedeniyle ilk kez ret yaşayabilirsin
    Sonuçta doktora süreci herkesi zihinsel sınırlarına kadar zorlayabilir. Yıpratıcıdır ve birçok doktora öğrencisi için kötü şöhretli derecede zor bir dönemdir. Elbette hedef yalnızca dereceyi almaksa “dayanıp geçme” stratejisi de mümkündür; ama akademik kariyer hedefleyenlerden genelde asgari standardın üstü beklenir, lisans döneminde iyi notlarla idare etmiş kişiler için bu daha da geçerlidir
  • Lisans üçüncü sınıftayken çok çalışsam bile dersleri takip edemiyormuşum gibi hissediyordum. Liseye ait not ortalaması yaklaşık %90 olanların girdiği bir mühendislik programıydı ve o kadar zordu ki ikinci sınıfa kadar öğrencilerin %75’i okulu bırakmıştı
  • Keşke lisansüstü dönemimde biri bana bunları söyleseydi. Başarılı bir lisansüstü öğrencisi olmayı öğrenmem çok uzun sürdü; açıkçası bunu ancak okulu bitirdikten sonra gerçekten anladım

• Bu alandaki bir başka iyi kitap şu: Computer Vision, Fifth Edition, E.R. Davies, Academic Press, ISBN-13 978-0128092842

  • Bir diğer temel kitap da Szeliski’nin 2022 tarihli Computer Vision 2nd Ed kitabı: https://szeliski.org/Book/
    Forsyth & Ponce da iyi, ama artık biraz eskidi. 3D tarafındaki klasik hâlâ Hartley & Zisserman’ın Multiple View Geometry kitabı

• Bu kitabın ücretsiz olarak yayımlanmış olması şaşırtıcı. Bunu erişime açan kişi yazar mı yayıncı mı bilmiyorum ama teşekkür ederim

  • Makine öğrenimi, bilgisayarlı görü ve robotik topluluklarında kitapları çevrimiçi ücretsiz yayımlama kültürü gerçekten harika. Bu alanlardaki en üst düzey ders kitaplarına ücretsiz erişilebiliyor
    ABD’de profesörlerin öğrencilerden en güncel ders kitabını yüzlerce dolara almalarını fiilen istediği diğer alanlarla epey tezat oluşturuyor. Bu sayede ekonomik imkânları daha sınırlı ülkelerdeki insanlar da dünyanın neresinde olurlarsa olsunlar en iyi kaynaklara erişebiliyor. Ders materyallerinin ve videoların çevrimiçi paylaşıldığı da çok oluyor
  • Kesinlikle öyle; ben de teşekkürlere katılıyorum. Yalnız PDF olarak indirme yolunu bulup bulmadığınızı merak ediyorum. Öğrenme materyallerini okurken not alabilmek ve referans işaretleri koyabilmek gerektiğini düşünüyorum

• “Writing this book” bölümü, yanlışlıkla metnin 2/3’ünde LLM kullanılmış gibi okunabiliyor
  Muhtemelen LLM’in yazılacak çok daha fazla şey sağladığı kastediliyor, ama daha açık hâle getirilse iyi olur

  • Bana öyle okunmuyor. Gerçekten de ChatGPT, yazım sürecine ilk kez yardımcı olabilen araçtı ve bu kitabın yalnızca 1/3’ünden azı ChatGPT yayımlandıktan sonra yazıldı
    Görünüşe göre grafiğin üzerine makine öğrenimi/yapay zeka alanındaki önemli olaylar işaretlenmiş

• Bu alanda çalışan biri açısından, bu içeriğin hâlâ ne kadar geçerli olduğunu merak ediyorum. Dışarıdan bakınca, bilgisayarlı görü dâhil makine öğreniminin önemli bir kısmı son iki yıldaki gelişmelerle tamamen sarsılmış gibi görünüyor

  • Hâlâ çok geçerli. Son teknikler arasında gerçekten devrim niteliğinde bir şey yok; hepsi aynı temellerin üzerinde duruyor. Hatta daha eski kitapları da okumakta fayda olduğunu düşünüyorum
    Hough dönüşümü, Canny kenarları, SIFT, Harris köşeleri gibi klasik yöntemlerle yapılmış, gerçekten kârlı çok sayıda bilgisayarlı görü uygulaması var. Temel anlayış olmadan yalnızca moda sözcükler sıralayıp API bağlayan biri gibi görünmek yerine ciddi bir uzman gibi görünmek istiyorsan bunları bilmelisin
  • Hâlâ çok ilgili. Akademi dışında kullanılan bilgisayarlı görünün büyük bölümü hâlâ eski içeriklere ya da klasik bilgisayarlı görü algoritmalarına dayanıyor
    En yeni modelleri ve teknikleri kullanma fırsatı sanıldığından daha az. Çoğu zaman o kadar ilgili değiller, yalnızca son derece belirli durumlara uyuyorlar ya da baştan o düzeyde karmaşıklık gerekmiyor
  • Özellikle GPU hızlandırmaya kolay erişilemeyen sistemlerde “klasik” bilgisayarlı görüyle çözülmesi gereken hâlâ çok sayıda problem var. Sınırlı hesaplama kaynaklarına sahip platformlarda eşzamanlı konum belirleme ve haritalama (SLAM) yapan bir uygulamacı olarak, Structure from Motion bölümünü mutlaka okuyacağım

• Bu kitaba dayalı bir bilgisayarlı görü dersi olup olmadığını merak ediyorum. Video gibi materyaller varsa bilmek isterim

• Makine görüsü hakkında iyi bir kitap önerisi almak isterim. Etkili makine görüsünün, hatta bilgisayarlı görünün temelinin doğru kamera, optik sistem ve aydınlatmayı seçmekte yattığını düşünüyorum. Girdi kötüyse çıktı da kötü olur; bu yüzden yüksek kaliteli görüntü şart

  • Bu unsurların gerçekten büyük fark yarattığı bir iki kullanım örneği verebilir misiniz merak ediyorum