YouTube'un ölçeği ne kadar büyük?

Bu istek için içeriğin özeti çıkarılamıyor. Sağlanan makalenin içeriği gerçek makale yerine 403 Forbiddennginx hata mesajı olduğundan, bu erişim izninin olmadığını gösteren bir HTTP durum kodudur. Bu genellikle web sunucusunun isteği anladığı ancak o isteği yerine getirme yetkisi olmadığında ortaya çıkan bir hatadır.

GN⁺ görüşü

• 403 Forbidden hatası, web geliştiricileri veya sistem yöneticileri için tanıdık bir sorundur; yetki ayarları ya da sunucu yapılandırma hataları nedeniyle ortaya çıkabilir.
• Bu hata mesajı, kullanıcının bir web sitesinin belirli bir bölümüne erişmeye çalıştığında sunucunun erişimi reddettiği anlamına gelir.
• Bu tür hatalar web güvenliğiyle yakından ilişkilidir ve kullanıcının uygun yetkiler olmadan hassas bilgilere erişmesini engelleyen önemli bir işlevdir.

[GN⁺]

Hacker News görüşleri

• • Bu, örnekleme için çok akıllıca bir yöntem ve yazarları alkışlıyorum. Pew’de çalışırken YouTube’u API’nin "ilgili videolar" endpoint’i üzerinden rastgele gezinmeyle haritalamaya çalışmıştım; ancak bir yıl sonra doygunluğa ulaşmış gibi görünüyordu. Ama burada açıklanan ölçek, radarın altında kalan uzun bir kuyruğun varlığına işaret ediyor. Araştırmamızı yayımladıktan hemen sonra Google API’yi neredeyse anında kilitlemeye başladı, ancak insanların hâlâ eski usul scraping ile araştırmayı sürdürdüğünü görmek sevindirici. Bizim analizimiz kanal düzeyindeydi ve yalnızca popüler kanallara odaklanıyordu, ancak TubeStats’taki bazı sayıların bulduklarımıza epey yakın olması ilginç (ör. dil dağılımı).*
  • Akıllı örnekleme yöntemine övgü ve Pew’deki benzer araştırma deneyiminin paylaşılması
  • Google API erişimini kısıtlasa da scraping yoluyla araştırmaların sürmesine olumlu yaklaşım
  • Kendi araştırmasıyla TubeStats verileri arasındaki benzerliklere değinme
• • Bu, Alman tank problemi için bir hafifletme saldırı yöntemi olarak ilginç. En iyi çözüm, adres alanını büyüterek rastgele örneklemenin istatistiksel olarak anlamlı sonuçlara ulaşmak için gereken veriyi toplamasını engellemek olurdu. Başka iyi çözümler de olabilir, ancak gerçekten rastgele örnekleme bu tür yönleri sınırlayacaktır.*
  • Alman tank problemine gönderme yaparak veri toplamayı engellemek için adres alanını genişletme önerisi
• • "YouTube dislike" veri setine bakmanızı öneririm. Bu veri seti, dislike özelliği kaldırılmadan önce bilgileri toplamak için yapılan bir arşivleme çabasıyla oluşturuldu. Bununla en tartışmalı videoları, belirli bir dilde açıklanan en iyi videoları vb. bulabilirsiniz.*
  • YouTube dislike veri seti kullanılarak yapılabilecek analizlere dair bilgi
• • YouTube’un ne kadar veri tuttuğunu bulmaya çalıştım ama kesin bir sayı çıkmadı. Ortalama video uzunluğunu 500 saniye, bitrate’i 400 KB/s varsayarak ve 1,3 milyar videoyu temel alarak 2,7 eksabayt hesapladım. Bu, YouTube’un popüler videoları birden fazla veri merkezinde tutması ve VP9 ile AV1 formatlarında saklaması düşünülünce, gereken depolama miktarı için düşük bir tahmin. YouTube’un popüler olmayan videoları sıkıştırması veya başka formatlardan isteğe bağlı transcode etmesi mümkün, ama bu tahmini yukarı çekebilir; yine de öyle olduğunu sanmıyorum.*
  • YouTube verisinin miktarına dair bir tahmin ve depolama biçimine ilişkin varsayımlar
• • Google bazı pozisyonlar için YouTube’un ölçeklenme sorunlarını sorardı. Bu çoğu zaman büyüyen dağıtık altyapıda log verisini senkronize etmenin big-O karmaşıklığıyla ilgili sorulara dönüşürdü. Ortaya neredeyse açıklanamayacak kadar karmaşık bir big-O(f(n)) fonksiyonu çıkardı. Eğlenceliydi.*
  • Google mülakat deneyimine dayanarak YouTube ölçeklenebilirlik sorunlarına değinme
• • Bu makalenin sonucu şu eşlikçi web sitesidir: TubeStats.org*
  • Makaleyle ilişkili web sitesi bağlantısı
• • Fazla büyük. Dün gece telefonuma YouTube uygulamasını güncellemem gerektiğine dair bir bildirim geldi. Sorun şu ki bu, telefonumda çalışacak son sürüm. En azından web hâlâ çalışıyor.*
  • YouTube uygulamasının büyüklüğü ve güncelleme sorunu hakkında kişisel deneyim paylaşımı
• • Bu veri seti eğlenceli. Makale kanal istatistikleri hakkında biraz yanıltıcı bir izlenim veriyor: örnekleme eğilimini düzeltip abone sayısını yeniden ağırlıklandırmazsanız, belirli bir kanalın görünme olasılığı o kanalın herkese açık video sayısıyla orantılı olduğundan, kanal başına video sayısı için yaklaşık ~1/# ile ağırlık vermeniz gerekir.*
  • Kanal istatistikleriyle ilgili olası yanlış anlamalar ve örnekleme yöntemine dair açıklama
• • Örnekleme fonksiyonu tüm "bölge kodları"nın aynı sayıda kullanılabilir numara içerdiğini mi varsayıyor? Bazı büyük sitelerde (ör. Twitter vb.) daha çok talep edilen verileri tutan shard’lar çok daha seyrek olabilir. Örneğin, Justin Bieber’ın bulunduğu bölge kodunda daha az numara olacaktır. Bu ciddi biçimde çarpıtıcı olabilir.*
  • Örnekleme yöntemine dair soru ve belirli veri shard’larının yoğunluk farkının sonuçlara etkisine dikkat çekme
• • Bu gördüklerimin en iyisi. Redditmap.social*
  • Belirli bir web sitesine yönelik hayranlık ifadesi