Kesinlik arzulayan, yalanı arzular

• Google Ngram Viewer’ın kelime sıklığı grafikleri, Google Books verileri ve formüldeki kusurlar nedeniyle 20. yüzyıldaki İngilizce kullanım değişimlerini çarpıtabilir; said ve toast gibi yaygın kelimeler bile 1970–1980’lerde kaybolup yeniden ortaya çıkmış gibi görünebilir
• Google Books derlemi, üniversitelerden toplanmış materyaller ile modern bilimsel ve akademik dergiler, ders kitapları açısından ağırlıklı olduğundan bazı kelimelerin sıklığını şişirip diğer kelime sıklıklarını görece düşük gösterebilir
• Eski basılı metinlerdeki long s(ſ), yazım varyasyonları, çoğul biçimler ve hatalı tarihler nedeniyle Ngram, fuck ile suck, authorise ile authorize, dog ile dogs gibi örnekleri doğru ayırt edemez
• Etymonline’ın etimoloji açıklamaları basılı kaynaklara ve insan emeğine dayanır; Ngram ise daha çok süsleyici bir görsel materyale yakın olduğundan etimoloji açıklamalarıyla çeliştiğinde güvenilmesi zordur
• İnternette görseller metinlerden daha kolay tercih edilse de Ngram grafikleri, kelime kullanımının kesin kanıtı değil eksik bir veri görselleştirmesi olarak ele alınmalıdır

---

Google Ngram’ın ürettiği tuhaf kelime sıklıkları

• Google Ngram Viewer’da said kelimesinin sıklığı, 20. yüzyıl İngilizce fiillerindeki gerçek bir değişimden çok, son buzul çağının sıcaklık grafiği gibi dalgalanan bir şekle benzer
  • 1970’lerde İngilizce yazarların aniden said kullanmayı bırakıp sonra tekrar kullanmaya başlamış olmaları söz konusu değildir
• toast da Ngram’da 1980 civarında İngilizceden neredeyse kaybolup sonra yeniden ortaya çıkmış gibi görünür
  • Bu durum “1977’deki büyük tost kıtlığı”na benzetilir
• Sorunun bir ayağı, Google Books’tan gelen Ngram formülündeki uzun süredir bilinen kusurda yatıyor
  • Bu hata, birçok İngilizce kelimenin 20. yüzyıl boyunca azalıp 1980 civarında yeniden canlanmış gibi görünmesine yol açıyor
• Google Books derleminde üniversitelerden alınmış çok sayıda basılı materyal bulunur; modern bilimsel/akademik dergiler ve ders kitaplarının payı da orantısız biçimde büyüktür
  • Akademik yazılar aynı birkaç kelimeyi tekrar tekrar kullanma eğilimindedir
  • Bunun sonucunda bazı kelimelerin puanı şişer, diğer kelimeler ise görece düşük kalır
  • Bu yapı, neredeyse tüm kelimelerin Ngram’ında 20. yüzyıl ortası dip noktasının oluşmasına neden olan etkenlerden biridir
• said kelimesinin akademik yazılarda roman veya gazetelere kıyasla daha az kullanılması muhtemeldir; buna karşılık graph gibi kelimeler akademik yazılarda çok daha sık kullanılır
  • graph kelimesinin 20. yüzyıl Ngram’ında aynı dip görülmez

OCR, yazım ve tarih hatalarının yarattığı çarpıtmalar

• Ngram’da F-word, modern dönem öncesinde neredeyse hiç kullanılmazken 1820 öncesine gidildikçe kullanımının hızla arttığı izlenimini verir
  • Bu örneklerin çoğu aslında fuck değil, eski suck kullanımlarıdır
  • Eski baskılardaki long s(ſ), eski yazı tiplerinde ve ucuz kâğıtta küçük f harfi gibi görünebilir
  • Bu karakterin kullanımı 1820 civarında azalmıştır ve kimi zaman f ile s arasındaki ayrımı yalnızca bağlam sağlar
  • Yapay zekanın bu farkı bilmediği düşünülür
• Google Books, yazım varyasyonlarının aynı kelimeye ait olduğunu iyi tanıyamaz
  • authorise için Ngram, authorize ile farklıdır ve ikisi de authorizes biçimini içermez
  • İsim Ngram’larında da çoğul biçimler sayılmadığı için dog ile dogs ayrı değerlendirilir
• Google Books dosyalarında yanlış tarih atanmış çok sayıda örnek de vardır
  • Eski bir kütüphane kitabının kapağındaki 1896, dijital tarayıcıya 1800 gibi görünebilir
  • 1910’lara ait İncil broşürleri demetinin bir süre 1799 yayını olarak gösterildiği bir örnek vardır
  • O tarih yayın tarihi değil, basımı yapan İncil broşürü derneğinin logosunda yer alan kuruluş yılıydı
  • Bu konuyla ilgili sorunları ele alan bir video da vardır
• Etymonline metinleri tamamen basılı kaynaklardan üretilir ve insanlar tarafından hazırlanır; Ngram ise böyle değildir
  • Ngram, güvenmesi zor, bilgisiz bir teknolojinin ortaya çıkardığı kaba bir ürün olarak değerlendirilir
  • İnternette görselin kazandığı, metnin kaybettiği bir ortam olduğu için sitede Ngram yer alır
• Ngram’ı kelime kullanımına dair kesin bir kanıt olarak kabul etmek yerine, süsleyici ve kafa dağıtmalık bir görsel olarak görmek daha doğrudur
  • Etymonline’ın etimoloji açıklaması ile Ngram baştan çelişiyorsa, Etymonline’ın doğru, Ngram’ın yanlış kabul edilmesi gerektiği görüşü savunulur

[GN⁺]

Hacker News yorumları

• Bu yazıdaki en iyi kısmın ngrams eleştirisi, daha geniş anlamda da ngrams’in modern algoritmalarda yaygın kullanılma biçimine yönelik eleştiri olduğunu düşünüyorum
  Etymonline’ın basılı kaynaklara ve insanlar tarafından üretilmiş metinlere dayanmasına karşılık, ngrams’in “influence” ile “inform” arasındaki farkı bile öğrenememiş cahil bir teknolojinin kaba ürünü olduğu bölümü özellikle keskin
  İnsan konuşmasını ve etkileşimini nicelleştirmeye çalışırken çoğu zaman yanılan, buna rağmen sahiplerinin kârını maksimize etmeyi hedefleyen algoritmalara ve sosyal medyaya yönelik sert bir karşı çıkış gibi okunuyor
  Üretken yapay zekanın fiilen bir ngram tahminleyicisi olduğunu duyduğumuz bir çağda daha da ağır geliyor

  • “Etymonline tamamen basılı kaynaklara ve insanlar tarafından üretilmiş metinlere dayanır, Ngrams ise öyle değildir” kısmı biraz kafa karıştırıcı
    “Basılı kaynaklar” dijital kaynakları içermiyor demekse, yazıda bahsedilen sorunla pek ilgili görünmüyor
    Tüm basılı materyali eksiksiz içermiyorsa aynı şekilde önyargılı veri kümesi sorunu doğabilir; insanlar da OCR gibi hata yapabilir
  • “Etkilenmek” ile “bilgi edinmek” aynı ahlaki madalyonun iki yüzü gibi görünüyor
    Başkalarının düşüncelerinin onlara ait olmadığını söylerken, bizim kendi sonuçlarına varan erdemli bilgi alıcıları olduğumuzu iddia etmek gibi
    Zihnin alçak geçiren filtresi, yalnızca mevcut çerçeveye uyanları içeri alır
    Bir şeyi reddetmiyorsanız, ondan bilgi edinmek ile ondan etkilenmek aynı şeydir; böyle bir çerçevede “Ben sadece bilgi edindim” diyen kişi ukalaca davranan ve öz farkındalığı eksik biri gibi görünür
  • En üst düzey bilgi hâlâ basılı materyalde ve hâlâ insanlar tarafından üretiliyor
    Elektronik medya, üretmeyip yiyip bitiren, yutucu bir ruh gibi

• O sayfadaki yorumlarda geçen “Yayıncılar hâlâ her bahar çözülme döneminde kamyonlar dolusu ‘is’ sipariş ediyor mu...” şakası Dictionopolis’te doğru
  The Phantom Tollbooth seven var mı?
  https://en.wikipedia.org/wiki/The_Phantom_Tollbooth

• Veri analizinin temel sorunu, analiz kalitesinin en fazla veri kalitesi kadar iyi olmasıdır
  Veri kalitesini değerlendirmek başlı başına zordur; verinin iyi olup olmadığını nasıl bileceğiniz, bundan nasıl emin olacağınız, nasıl ölçeceğiniz ve raporlayacağınız da kolay değildir
  Veri kalitesine dair nitel ve nicel değerlendirmeler olsa bile, bunları analiz sonuçlarıyla nasıl bütünleştirip sunacağınız ayrı bir sorundur
  Sonuçları veri kalitesine göre nicel olarak düzeltmek istiyorsanız, proje başına ciddi ölçüde özel çalışma gerekir ve bu, basit bir çizgi grafik düzeyinin ötesine geçer
  Google Ngrams söz konusuysa, zaman içinde veri kaynaklarının bileşimini “akademik”, “haber” gibi geniş kategorilere ayırıp grafikle gösterebilirsiniz; ancak tüm belgelere kategori atamak gerekir ve insanların gerçekten görmesi için bağlantı ile açıklama metnini de göze çarpan bir yere koymak gerekir
  Yine de bu, bir kişinin bir kelimenin kullanımının azaldığını gösteren zaman serisini gördüğünde verdiği sezgisel tepkiyi engellemez
  Daha iyi bir yöntem, kelime kullanım zaman serisindeki belirsizliği nicelleştirip grafiğin üzerine bindirmek olabilir
  Ancak burada kullanım sayılarının kendisi doğrudur; belirsizlik örneklemeden gelir, dolayısıyla o anda yazılmış tüm belgeler ile örneklemdeki belgelerin ne kadar farklı olduğunu tahmin etmek gerekir
  Mümkün olabilir ama kolay görünmüyor; bunu yapsanız bile insanların belirsizlik göstergesini doğru yorumlayıp yorumlamayacağı, yoksa sadece aşağı giden çizgiye bakıp geri kalanını görmezden gelip geçmeyeceği de ayrı bir sorun
  Yapay zeka çağına girdikçe bu sorunu akılda tutmalıyız
  Hayatlarımız da benzer şekilde işler: gözlemlediğimiz verilerden öğrenir ve görüş oluştururuz; ama gördüğümüz verilerin ne kadar iyi olduğu ve vardığımız sonuçların geçerli olup olmadığı her zaman sorudur

• Yazarlar, “said” için ngram istatistiklerinin yanlış olduğunu kesin bir dille söylüyor ve aksi yönde kanıt varmış gibi konuşuyor, ama gerçek bir kanıt sunmuyorlar.
  Kendi sitelerinde bile yalnızca Google ngram istatistiklerini veriyorlar: https://www.etymonline.com/word/said#etymonline_v_25922
  Buna grafiğin y ekseninde 0’ı göstermemek gibi büyük bir hata ve grafiğin yanlış yorumlanması da eklenince hiç güven vermiyor; çok düşük kaliteli bir yazı gibi görünüyor.

  • 60 yıl içinde “said” kullanımının yarıya düştüğünü, sonraki 20 yıl içinde de eski seviyesine döndüğünü mü söylüyorlar? İngilizcenin bu şekilde, bu kadar hızlı değiştiğine dair kanıt göstermeleri gerekir.
    Böyle bir iddia olağanüstüdür, dolayısıyla ikna edici dayanak gerektirir.
    Dayanak yoksa, ngrams’ın saçma olduğu yönündeki yazının hipotezine ve sonucuna inanırım.
    “toast” grafiğini yanlış yorumladıkları doğru; düşük bir noktadan kesilmiş berbat grafiği daha dikkatli okumaları gerekirdi.
  • Kanıt sunmanın zor olmasının nedeni, kaynağın fiilen tek bir tane olmasıdır.
    Bu yüzden yazı temelde Google Books/Ngram metodolojisinin kusurlarına işaret ediyor.
    Bu yaklaşımın geçerli olduğunu düşünüyorum.
    Aksi hâlde, yalnızca var olduğu ve kullanımı kolay olduğu için kusurlu bir şeyi kabul etmiş oluruz.
    “En çok tweetlenen şey X olduğuna göre en popüler ve en önemlisi odur” sözüne yanıt vermek için ayrı bir araştırmayla gerçeği bulmak zorunda değiliz.
    “Bu aptalca bir metodoloji; Twitter öyle diyor diye kabul etmeyin” demek de yeterlidir.
  • İstenen şey muhtemelen birinin gazete gibi kaynakları inceleyip “said”in frekans oranının zaman içinde nasıl değiştiğini doğrulamasıdır.
    Makul bir talep, ama yazarın uzman olarak gazetelerin said’i benzer sıklıkta kullanmayı sürdürdüğünü söylemesi de bana göre sorun değil.
    Bu açıklama makul görünüyor ve ispat yükünün mutlaka yazarda olduğunu düşünmüyorum.
  • “said”in grafikteki gibi düşüp sonra tekrar yükseldiği, kanıt gerektiren taraf değil.
    Asıl, böyle değiştiği yönündeki olağanüstü iddia kanıt gerektirir.
    Bu iddia Google tarafına ait; blog yazarını suçlamadan önce görünmeyen veri kümesinin ne kadar temsili olduğuna bakmak gerekir.
    Girdi veri kümesini bilmediğimiz bir istatistiği “Google’a güvenin” der gibi olduğu gibi kabul mü etmeliyiz?
  • EtymOnline kelime popülaritesindeki değişimleri değil, anlam değişimlerini izlemeye çalışan bir yer.
    Bu yüzden “said” maddesinde somut karşı kanıt olmaması anlaşılabilir.
    Metinde kanıt olmamasının nedeni de, “said”in zirvesinin neredeyse üçte birine kadar düştüğü iddiasının çok daha olağanüstü olması ve güçlü kanıt gerektirmesidir.
    “Dışarıdan bakınca bile hiç mantıklı değil; büyük olasılıkla Google veri kümesinin tür bileşiminin ciddi biçimde değişmesinden kaynaklanıyor” demek bile yeterlidir.

• Ngram grafiği, toast’ın 1980 civarında İngilizceden neredeyse kaybolup sonra yeniden ortaya çıktığını söylemiyor.
  Yalnızca 1800’den bu yana kullanımın yaklaşık %40 azalmış göründüğünü gösteriyor.
  Başkalarının da söylediği gibi, y ekseninin 0’dan başlamaması sorunu kesinlikle var.
  Ama etymonline yazarları bunu fark etmeden yanlış bir hükme vardıysa güven vermiyor; özellikle de arkadaki “bakın, düşüş yok” örneğinde y ekseni 0 olduğu ve 1980 civarında küçük bir duraklama bölgesi de görüldüğü için bu daha da ironik.
  Abartılı ve saldırgan başlık ile ilk cümleyi düşününce durum daha da böyle.

  • Sorun yalnızca grafik ekseni değil.
    “toast” kullanımının %40 azalması değil, Google veri kümesinin eskisinden çok farklı bir tür bileşimine hızla dönüşmesi söz konusu.
    1970’lerdeki düşüşü açıklamaya çalışan insanlarla konuşmuştum; ben dahil hiç kimse bunun verideki dramatik bir kusur olduğunu fark etmemişti.

• Bu yazıya başlığın pek uymadığını düşünüyorum.
  Bu tür sonuçlar “açıklık”tan çok clickbait arzusuna ya da bunun bilim versiyonuna yakın.
  Örneğin Science veya Nature makalelerinin özellikle doğru olma olasılığı daha yüksek değildir; ama özellikle kendi merkez alanları olmayan fizik gibi konularda dikkat çekici ve aşırı olma olasılıkları yüksektir.
  Buna karşılık “Real Clear Politics” adı bana hep sert gelmiştir.
  Çünkü siyasette ne “Real” ne de “Clear” olduğunu düşünüyorum.
  Siyaset üzerine en iyi kitabın Hunter S. Thompson’ın Fear and Loathing on the Campaign Trail ‘72 kitabı olduğunu düşünüyorum.
  Adayları takip eden, sabah 3’te otostopçu alan, trende uyuşturucunun etkisindeyken bile McGovern’ın aday gösterilmesini sağlayan kongre prosedürünü anlayan keskin ve berrak anlar içeren kişisel bir deneyim anlatısıdır.
  20 yıl sonra, bugünün siyasi olayları hakkında inandığımız her şeyin yanlış olduğunu ve aslında başka bir şey yaşandığını güçlü argümanlarla ortaya koyan titiz bir kitap çıkacaktır.
  Bu arada insanlar son derece farklı bakış açılarına sahip olacak ve gerçeklik de budur.
  “real” ve “clear” gibi sıfatlar, bu bakış açılarının çoğunu kapatıp tek bir bakış açısını ayrıcalıklı kılma girişimidir.
  Baudrillard’ın Simulacra and Simulation’da “real” kelimesini baştan sona yapıbozuma uğratması da aklıma geliyor.
  Sahte şeyler satan insanların “real” kelimesini öne çıkarması bunu anlaşılır kılıyor.
  Scientology’nin kendisini “kesinliğin bilimi” diye adlandırması da aynı bağlamda.

  • 20 yıl sonra çıkacak o kitap da yanlış olacak.
    Siyasetin iyi yanlarından biri, motivasyonların çok açık olmasıdır.
    Siyasetçiler önce iktidarı korumak ister; durumu iyileştirme arzusu bundan sonra gelir.
    Bunu bildikten sonra her şey anlaşılır olur.
    Gerçekte ne olduğunu sonunda hiç öğrenemesek bile böyledir.

• Geçmişin temsili bir görüntüsü asla oluşturulamaz.
  Hayatta kalmış sınırlı kaynaklarla çalışmak zorundayız ve bunlar zaman ile mekâna eşit dağılmış değildir.
  İnsan ölünce izlenimler, kayda geçmemiş deneyimler, alışılmış kokular bile yok olur; özünde bir veri kaybı yaşanır.
  Yaşayan birinin hafızası da bir noktada güvenilmez olabilir.

  • Bu yüzden, neden yalnızca ün ya da servetle çarpıtılmış bir toplumsal temsil gücüne sahip insanların Wikipedia biyografilerine sahip olduğunu hep tuhaf bulmuşumdur.
  • Yalnızca belli bir noktadan sonra değil; insan hafızası şaşırtıcı derecede güvenilmezdir.
    Doğrudan deneyebileceğiniz bir örnek: https://youtu.be/vJG698U2Mvo?si=16fwk8wG8Yyhim5t

• Google Ngram’ın hatalı olduğunu söylemek zor
  Derlemde doğru biçimde tanımladığı kelimelere ilişkin istatistikleri raporluyor
  Sorun, o istatistiğin bağlamı
  “Google Books derleminde said kullanımının belirli bir noktada azaldığını” belli bir güvenle söyleyebiliriz
  OCR’ın bu kelimenin tüm örneklerini doğru tanımladığı derlem alt kümesinde bunu daha da güvenle söyleyebiliriz
  Ama yeterli veri olmadan “bu kelimenin kullanımı belirli bir dönemde azaldı” gibi daha geniş bir iddiada bulunmamak gerekir

  • Ekonomistlerin mem’i “duruma göre değişir” ise, istatistikçilerin aşkın mem’i daha fazla veri gerekir
    Büyük birleşik teoriyi çözene kadar verinin eksiksizliğinden ya da istatistiksel çıkarımdan tamamen emin olamayız
    Yanlış olan, kamuoyunu bu anlayıştan uzaklaştıracak şekilde yanıltmaktır
  • Bu yüzden bir popülasyon hakkında çıkarımsal istatistik üretirken örnekleme metodolojisi, örneklem büyüklüğünden çok daha önemlidir
    Akademik derlemden 1 milyon kitabı örneklemek ile 20. yüzyılın her on yılından 10’ar bestseller seçmek, çok farklı dil derlemleri ortaya çıkarır

• Grafiğin dikey eksenine 0’ı dahil etmeme şeklindeki klasik hata
  “O zaman değişim pek görünmez ki” diye düşünüyorsanız, doğru
  0’ı çıkarırsanız küçük değişimleri bile büyük gösterebilirsiniz

  • Öte yandan küçük değişimleri vurgulamanız gereken durumlar da vardır
    Mısır gevreği kutularının dolum ağırlığını gösteren bir kontrol grafiği ise grafiğe 0’ı koymak istemezsiniz
    Bir şehrin günlük sıcaklığını 0 Kelvin’e kadar içeren bir grafikle çizmek de gerekmez
  • Grafiğin kendisi fena değil de metin sadece biraz abartmış diye düşünen bir tek ben miyim?
    Neredeyse bir yüzyıl boyunca stabil görünüp sonra birden yaklaşık %50 düşmüş
  • 0’ı dahil etmek “said” grafiğine yardımcı olurdu ama sorunu çözmezdi
    Yine de “said”in önceki popülerliğinin neredeyse üçte birine düştüğü izlenimi verirdi; oysa gerçekte örneklemin bileşimi ciddi biçimde değişmişti

• Bu, n-gram’ın yanlış olduğu anlamına mı geliyor, yoksa n-gram ile söylenebileceklerin sınırlı olduğu anlamına mı?
  Veri ilginç ama bundan ne sonuç çıkarmak gerektiğinden emin değilim
  Bugünün kelime dağarcığıyla geçmiş kitapları sorguluyormuşuz gibi oluyor; bu da garip geliyor
  Bildiğim kolay bir örnek: “þe” aratınca çok sonuç çıkmıyor
  Tarihsel olarak “þ” harfinin 1400’ler civarında kaybolduğu konusunda genel olarak doğru
  Ama “ye”yi de eklerseniz inanılmaz çok kullanım örneği görünüyor
  n-gram’ın amaçlanan işlevi bu mu?
  Bana yıllar içinde taşınmış bir kodlama hatasına daha yakın görünüyor
  Büyük Ünlü Kayması’na öfkelenirken fonetik sembollerimizin sabit, evrensel bir hakikat olmadığını fark etmemek gibi