Benim İçin Web Scraping, Ama Senin İçin Değil
(blog.ericgoldman.org)- Açık web verisi üretken yapay zeka ve platform rekabetinin temel kaynağı haline geldikçe, veriyi kimin alabileceği hukuki, sözleşmesel ve piyasa hakimiyeti meselesi olarak büyüyor
- LinkedIn ve Facebook gibi platformların korumaya çalıştığı veriler çoğunlukla kullanıcı tarafından oluşturulan içerik olduğundan, platformların doğrudan mülkiyet hakkı ileri sürmesinin zor olduğu bir alanda bulunuyor
- Scraping’i engelleme araçları, ilk dönemlerde taşınır mala tecavüz ve 2000’lerde CFAA üzerinden yürürken, hiQ Labs v. LinkedIn sonrasında odak sözleşme ihlali iddialarına kaydı
- Twitter/X’in Bright Data davasında olduğu gibi, son dönemdeki uyuşmazlıklar kullanım şartlarını öne çıkararak sözleşme ihlali, sözleşmeye müdahale ve sebepsiz zenginleşme iddialarıyla daha dar bir çerçeveye sıkışıyor
- Şirketler kendi sitelerindeki veriyi “proprietary” diyerek kapatırken başkalarının açık verisini almaya çalışabiliyor; üretken yapay zeka eğitim verisi davaları bu çelişkinin bir sonraki sınavı oluyor
Scraping, veri erişimi meselesidir
- Web scraping, internette kamuya açık bilgiyi büyük ölçekte toplama yöntemidir ve asıl tartışma, veriye kimin hangi amaçla erişip kullanabileceğidir
- İnternetteki bazı veriler telif hakkı, ticari marka veya diğer fikri mülkiyet haklarıyla korunabilir; ancak birçok veri için onu korumak isteyen tarafın kolayca fikri mülkiyet iddiasında bulunması zordur
- Sosyal medya şirketleri scraping davalarını agresif biçimde açageldi, ancak LinkedIn ve Facebook’un korumaya çalıştığı içeriklerin çoğu kullanıcı tarafından oluşturulan içeriktir
- Kullanım şartları platforma kullanıcı içeriğini kullanma lisansı verir, ancak telif hakkı bakımından menfaat genellikle kullanıcıda kalır
- Platformlar şartlarda bu veri üzerindeki mülkiyet haklarını reddederken, pratikte veriyi kendi mülkleriymiş gibi ele alır
Scraping’i engelleyen hukuki araçların kayışı
- İnternetin ilk dönemlerinde taşınır mala tecavüz teorisi scraping’i caydırmak için kullanılıyordu
- Mantık, istenmeyen yoğun veri taleplerinin özel mülkiyet niteliğindeki bilgisayar sunucularına müdahale ettiği yönündeydi
- Zarar unsurunun gösterilmesi gerekiyordu; 1990’ların sonu ve 2000’lerin başında beceriksiz scraper’ların web sitelerine yük bindirdiği ya da siteleri durdurduğu oluyordu
- Teknik ortam değiştikçe bu teorinin ikna gücü zayıfladı
- Sunucu kapasitesi büyük ölçüde arttı
- Birçok scraper, istek miktarını sınırlayarak barındıran sunucuda fark edilmesi zor ya da etkisi ihmal edilebilir seviyede çalışıyor
- Sunucuya veya diğer maddi mallara gerçek zarar verildiğini kanıtlamak daha nadir hale geldi
- 2000’lerin başından 2017’ye kadar Computer Fraud and Abuse Act (CFAA) başlıca caydırma aracıydı
- CFAA, “korunan bilgisayar”a yetkisiz erişimi yasaklar
- Scraping bağlamında asıl soru, durdurma talebi mektubu veya anti-bot önlemlerinden sonra erişimin “yetkisiz” sayılıp sayılmayacağıydı
hiQ Labs v. LinkedIn kararının karmaşık sonucu
- 2001’den 2017’ye kadar, yetki geri çekildikten sonra erişime devam etmenin CFAA sorumluluğu doğurduğuna dair basit yorum yaygındı
- 2017 tarihli hiQ Labs, Inc. v. LinkedIn Corp. davası, kamuya açık LinkedIn verisine erişim konusunda scraper olan hiQ Labs lehine hak tanıyan yönüyle dikkat çekti
- Ninth Circuit, LinkedIn gibi şirketlerin sahip olmadıkları, kamuya açık sundukları ve kendilerinin de topladıkları/kullandıkları veriler üzerinde kimin toplayıp kullanacağına keyfi biçimde karar vermesinin bilgi tekeli riski yaratacağını değerlendirdi
- Ancak bu sonuç neredeyse Pirus zaferi gibiydi
- Sonrasında bölge mahkemesi, “LinkedIn’in User Agreement’ının scraping’i ve scrape edilmiş verinin yetkisiz kullanımını açıkça yasakladığına” hükmetti
- LinkedIn buna dayanarak hiQ Labs aleyhine kalıcı tedbir ve tazminat kazandı
- Bundan sonra scraping’i durdurmanın başlıca aracı CFAA’dan çok sözleşme ihlali iddiası oldu
Sözleşme hukuku fiilen veri mülkiyet hakkı gibi işliyor
- Son dönemde Twitter/X Corp., Bright Data dahil çeşitli scraper’lara karşı dava açtı
- Bright Data, dünyanın en büyük web scraping şirketlerinden biri sayılıyor
- Twitter’ın Bright Data’ya karşı ileri sürdüğü iddialar üç başlıktı: sözleşme ihlali, sözleşmeye müdahale ve sebepsiz zenginleşme
- 10 yıl önceki scraping davalarında davacıların 10-15 farklı hukuki iddia ileri sürerek çeşitli teorileri denemesi yaygındı; bugün ise mahkemelerin sözleşme ihlali iddialarını uygulayacağına dair güven arttı
- Bu yapıda, çevrimiçi kullanım şartları üzerinden barındırıcı web sitesi veri üzerindeki hakları istediği gibi tanımlayabiliyor
- Mark Lemley’in 2006 tarihli Minnesota Law Review makalesi Terms of Use, mülkiyet hukukundan sözleşme hukukuna geçişin web sitesi sahiplerinin haklarının kapsamını hukukun değil site sahibinin belirlediği bir düzene yol açtığını savunuyordu
- Mahkemeler, genel veri kullanım kuralları veya mevcut fikri mülkiyet kuralları yerine, çevrimiçi sözleşmelerin site verisi üzerinde geçici bir fikri mülkiyet hakkı gibi işlemesine izin veren bir sistemi kabul etti
- Ancak bunun telif hakkı korumasıyla tamamen aynı şekilde kurulması sorun yaratabilir
Şirketlerin ikili scraping tutumu
- Sözleşme ihlalini mülkiyet hakkı gibi kullanan bu hukuki düzende tutarlılık zorunluluğu yok
- Şirketler kendi sitelerinde neyin “proprietary” olduğunu güçlü biçimde savunabiliyor
- Aynı anda başka sitelerde hangi verinin serbestçe alınabileceğini de iddia edebiliyor
- Microsoft kısa süre önce genel kullanım şartlarını güncelleyerek AI hizmetleri için scraping, harvesting ve benzeri çıkarım yöntemlerini yasakladı
- Aynı dönemde Microsoft iştiraki OpenAI, interneti scrape etmek üzere tasarlanmış GPTbot’u yayımladı
- OpenAI’ın kullanım şartları da scraping’i yasaklıyor
- Microsoft’un iştiraki LinkedIn, ABD’de en çok dikkat çeken web scraping davalarından birinde zafer ilan etti ve eski rakibinin kamuya açık veya kapalı verileri kalıcı olarak scrape etmesini ya da bunlara erişmesini engelleyen kalıcı tedbir kararı aldı
- Meta da kamuya açık içeriği scrape edip satan bir şirkete dava açtı, ancak geçmişte aynı scraper’a açık veri scraping maliyeti ödediği örnekler bulunuyor
Mahkemeler ve bir sonraki sınav
- Bu ikili tutumun sadece şirketlerin sorunu olmadığı, mahkemelerin buna imkan veren yapıyı kabul etmesi sayesinde mümkün olduğu eleştirisi yapılıyor
- Eleştirilenler arasında Register.com v. Verio, Inc., Southwest Airlines ile ilgili davaları mümkün kılan Northern District of Texas ve hiQ Labs davasında CFAA ihtiyati tedbiri ile sözleşme ihlali kaynaklı kalıcı tedbir arasındaki uyumsuzluğu açıklamayan mahkeme de yer alıyor
- Çevrimiçi katılma sözleşmeleri üzerinden özel şirketlerin fikri mülkiyet hakkı icat etmesine izin verilirse, kamu yararını ilgilendirmesi gereken veri erişimi kararları özel karar vericilerin eline bırakılabilir
- Sözleşmeler, çevrimiçi sözleşmeler dahil, eyalet hukuku meselesi olduğu için basit bir çözüm hayal etmek zor
- Olası çözümlerden biri, telif hakkı üstünlüğü ilkesinin daha kapsamlı yorumlanması; ancak mevcut telif hakkı üstünlüğü içtihadı temyiz çevreleri arasında bölünmüş ve Supreme Court kısa süre önce bunu çözme fırsatını geri çevirdi
- Mevcut hukuk durumundan bağımsız olarak, bir sonraki sınav üretken yapay zeka eğitim verisi davaları olacak ve bu alandaki hukuki tutarsızlıklar önümüzdeki dönemde de tartışma yaratabilir
1 yorum
Hacker News yorumları
HiQ ile LinkedIn davasının nerede kaldığı konusunda kafam karışıyor. Bildiğim kadarıyla LinkedIn HiQ’ya dava açtı, 9. Bölge Temyiz Mahkemesi HiQ lehine karar verdi; LinkedIn Yüksek Mahkeme’ye kadar gitti ama Yüksek Mahkeme Van Buren kararına atıf yaparak kararı bozup geri gönderdi, 9. Bölge Temyiz Mahkemesi de yeniden inceleyip aynı sonuca vardı.
Sonrasında LinkedIn, HiQ’yu engellemeyi yasaklayan ihtiyati tedbirin kaldırılmasını sağladı ve 2022 Kasım’ında, karma bir kararın ardından işin nihayet gizli bir uzlaşmayla bittiği anlaşılıyor. Herkes bu davaya sık sık atıf yapıyor ama ayrıntılara pek girmiyor.
2022 Kasım kararının özetini okuyunca, meselenin HiQ’nun insanları giriş yapmaya yönlendirerek kullanım şartlarının uygulanır hâle gelmesi olduğu anlaşılıyor; sonuçta mahkeme, HiQ’nun LinkedIn kullanım şartlarını ihlal ettiği yönündeki LinkedIn iddiasını kabul etmiş gibi görünüyor.
https://www.natlawreview.com/article/court-finds-hiq-breache...
hiQ’nun antitröst iddiası, davanın reddi talebi aşamasında kaybedildi; o sıralarda hiQ faaliyetlerini durdurdu ama varlıklı bir destekçi dava masraflarını ödemeye devam etti. LinkedIn sözleşme ihlali gibi diğer iddialarını sürdürdü ve davanın reddi talebinde kazandı; Yüksek Mahkeme, Van Buren sonrası dosyayı 9. Bölge Temyiz Mahkemesi’ne geri gönderdi, 9. Bölge Temyiz Mahkemesi de CFAA konusunda yeniden hiQ lehine karar verdi.
Daha sonra ihtiyati tedbir kaldırıldı, hiQ özet hüküm aşamasında neredeyse tamamen kaybetti ve sonunda pes ederek LinkedIn’in taleplerinin çoğunu kabul eden kalıcı ihtiyati tedbire razı oldu ve LinkedIn’e 500 bin dolar ödedi.
Şartname tipi “sözleşmeler” arttıkça ve modern toplumda bunları kabul etmeden yaşamak neredeyse imkânsız hâle geldikçe bu sorun her gün daha da kötüleşiyor. Yeni bir SSD almak bile kullanım şartlarını kabul etmeyi beraberinde getirir hâle geldi.
Hukuk giderek daha az önemli oluyor; biz ise dev şirketlerin tek taraflı dayattığı tek taraflı sözleşmeler tarafından giderek daha fazla yönetiliyoruz.
Reklam panosuysa, hoşuma gitmeyen kısımların üstünü boyamam, yani reklam engelleyici kullanmam ahlaken yanlış olur. Web sayfasının sahibi olan taraf kontrol istediği için bu bakışı tercih eder; sıradan kullanıcılar gibi web sayfasının görünümünü değiştiremeyen taraflar da genelde bunu böyle kabul eder.
Broşürse, onu kesip biçme ve istediğim gibi yeniden düzenleme özgürlüğüm vardır. Teknik olarak bu yaklaşım daha doğru. Web sayfası bana iletilmiş birkaç bit bilgiden ibarettir; bilgisayarımı ben kontrol ettiğim sürece o bitleri kesip istediğim şekilde görüntüleyebilirim.
Amazon.com’un Amazon’un web sayfasını içerdiğini ve Amazon’un o sayfaya sahip olduğunu söyleyebilirsiniz. Ama ben Amazon.com’u yalnızca Amazon’a ait olmayan kendi cihazlarımdan ya da başkalarının cihazlarından gördüm. Amazon.com bir reklam panosunun üzerinde var olmaz; başkalarının sahip olduğu elektronik cihazlara ihtiyaç duyar. O hâlde bu elektronik cihazların sahibinin hangi hakları vardır? Ekranımdaki pikseller hangi noktadan itibaren sizin korunan alanınız hâline gelir?
Sözleşmeyi okumak için telefonunuzla QR kodu tarayın deniyor. Benzer bir şeyi parklarda da gördüm; içeri girince parka dava açmamayı veya asılı kurallara uymayı içeren hukuki bir anlaşmaya bağlı sayılıyordunuz.
Bir müşteri birliğine ya da sigorta benzeri bir kuruluşa her ay para ödenir ve arkasında bir hukuk ekibi olur. Bu sözleşme de şirketin sözleşmesi kadar uygulanabilir ya da uygulanamaz olur; böylece denge sağlanır. O zaman şirketin küçük puntolarla ne yazdığını okumaya gerek kalmaz.
Şirket müşterinin sözleşmesini kabul etmez ya da kendi şartlarını aşmasına izin vermezse müşteri çekip gider. İşlem gerçekleşmez ve başka bir şirket müşteriyi kapar.
İkiyüzlülük gibi görünen his, bunu işbirliği ya da eşitlikçi bir topluluk değil de rekabet olarak gördüğümüzde bir ölçüde kayboluyor. Gerçekte de rekabet zaten. Bir futbol takımına “Senin bana gol atmaya çalışman sorun değil de, ben gol atmaya çalışınca birden topu mu engelliyorsun?” denmez.
Elbette onlar “web scraping kaynak tüketiyor, bırakın” derken arka planda web scraping yapmaya devam edecekler.
Bunun kesinlikle kötü bir davranış olduğu açık, ama ikiyüzlü bir davranış olduğunu sanmıyorum. Çünkü sürekli kavga eden ahlaksız şirketlerin kendi çıkarlarını maksimize edip başkalarının çıkarlarını minimize etmeye çalışmasıyla tamamen örtüşüyor.
Ama belirli bir davranışı hukuki yollarla engellemeye çalışmak, kişinin kendisi aynı oyunu oynarken hakemden belirli bir oyun türünü yasaklamasını istemesine daha yakın. Sporda da böyle şeyler sık olur, ama genelde ikiyüzlülük olarak görülür.
Elbette scraper’lar da sinir bozucu şeyler yapabilir. Tembelce sunucuyu durmadan dövebilir ya da yanlışlıkla aynı içeriği tekrar tekrar indirebilirler. Ama bunun için dava açmaya gerek yok. Hizmet engelleme saldırısı seviyesindeyse mevcut yasalarla zaten ele alınabilir.
Bazı şirketler herkesi daha kötü duruma getirip yalnızca kendilerini zengin ediyorsa, böyle şirketlere tüzel kişilik ayrıcalığı vermeye devam edip etmememiz gerektiğini yeniden düşünmeliyiz. Bizim maliyetimizle istediklerini alan parazitlere ve yağmacılara izin vermek zorunda değiliz.
Bunu ahlaksızca ve kötü niyetle yapsalar bile hâlâ ikiyüzlülüktür. Hatta öyle oldukça daha da çok öyledir. Önemli olan hangi politikayı savunduklarıdır; ona içtenlikle inanmamaları onları muaf kılmaz.
Bunun neden ikiyüzlülük gösterdiğini anlamıyorum. Herkese açık erişilebilir web’i crawl etmek ile kimlik doğrulamalı bir web uygulamasını ya da API’yi scrape etmek arasında büyük fark var. Meşru arama motorları açık web’i her zaman crawl eder.
Buna rağmen kendilerinin yaptığı şeyi başkalarına yasaklıyorlar.
Arama motorlarıyla karşılaştırıldığında durum farklı. Arama motorları açık web’i kazıyıp arama dizini oluşturur; bu dizinle arama sonuçları ve reklamlar sunar. Önemli olan, arama sonuçlarının çoğunlukla insanları kazınan web sitelerine göndermesi ve o sitelere para kazanma fırsatı sağlamasıdır.
İki sorun görüyorum. Web scraping kesinlikle bir iş modeli sorunu ve bunun bir kısmı ölçekten kaynaklanıyor.
İçeriği ücretsiz sunup reklamla ayakta tutmaya çalışıyorsanız, başka biri reklamı görmeden içeriğin değerini aldığı anda bu model çökmeye başlar. Reklam engelleyiciler, Google arama sonuçlarına dahil edilen yanıtlar, Stack Overflow klonları, ChatGPT gibi şeyler buna örnek.
Diğer sorun ölçek; bunu nasıl çözeceğimi bilmiyorum. Devlet, parkta kürek kullanılabileceğine dair olumlu bir politika oluşturduğunda bunun kampçılar gibi kişiler için faydalı olacağını düşünebilir. Ama profesyonel bir açık ocak madenciliği ekibi ortaya çıkarsa hikâye değişir.
İyi bilgileri ücretsiz sunup kitap satışı ya da profesyonel hizmetlerle para kazanan bir site için bu makul bir geçim yolu olabilir. Yanıt Google yanıt kutusuna girse bile daha karmaşık içerik ya da analiz için insanlar yine gelip okumak zorundadır ve buradan takipçi kazanılabilir.
Ama ChatGPT gibi bir şey yazımı “okuyup” değerin %80’ini kaynak bile belirtmeden dağıtabiliyorsa iş biter. İş modeli artık işlemez. İyi bilgiyi ücretsiz paylaşmaya dayalı tüm modeller başarısız olur. Bu, sanatçıların şu anda yaşadığı sorunla aynı.
Bir tür yasak olmadan bunu düzeltmenin yolunu bilmiyorum. Ama tüm ülkeler bunu uygulamadıkça en düşük ortak paydaya uymak zorunda kalırız ve sonunda tüm içeriği kilitlememiz gerekir. Web araması da, Google yanıtları da, ChatGPT de olmaz. robots.txt’ye “Lütfen scrape etmeyin” yazmak da işe yaramaz.
Telif hakkı, kopyalanması çok kolay ve ucuz olan bir şeyi satmaya çalışan yazarın iş modelini koruma girişimidir. Web scraping’i hukuken sınırlama girişimi ise kopyalanması kolay ve ucuz olan bir şeyi ücretsiz veren, ama ücretsiz kopyayı almak için mutlaka doğrudan yaratıcıya gelinmesini isteyen yaratıcının iş modelini koruma girişimidir.
Dolayısıyla GPT hizmetlerini kullanarak kendi modelimizi eğitmemiz ya da kamuya açık erişilebilir her şeyi scrape etmemiz de mümkün olmalı. Tek savunmamız, veriyi herhangi bir genel amaçlı büyük dil modelinden daha iyi işleyen rakip bir hizmettir. Çözüm neredeyse her zaman düzenleme değil, adil rekabettir.
Veriyi elde ettikten sonra dağıtabilirsiniz. Aynen yayımlamak telif hakkı ihlaliyse, AI’ın arkasına saklanıp bulanıklaştırma yöntemiyle bunu yeterince aşacaklardır.
Ücretsiz ödünç kitap veren kütüphaneler ve web arama dizinleri hiç var olmamış olsaydı da bugün yeni kurulmaya çalışılsaydı, davalarla tamamen paramparça edilirdi.
Bu tür davaların dayandığı başlıca temel, sözleşme anlaşmasına dair muğlak bir anlayış. Benim görüşüm iki yönlü. EULA, şirketlerin imzalatmak için hazırladığı bir belge değil; zaten EULA'nın baştan çöp olduğunu düşünüyorum
Tamamen tek taraflı; çoğu da biri gerçekten mücadele edecek kaynaklara sahip olsa ya yasa dışı olurdu ya da mahkemede ayakta kalamazdı
EULA'yı okuyup anladığını garanti etme sorumluluğu onu hazırlayan şirkette olmalı; siteye erişimden önce kişinin EULA'nın tamamını anladığını kanıtlayamazlarsa uygulanabilir olmamalı diye düşünüyorum. EULA bir ticari sözleşme değildir. Şirketin ürün kullanımına iliştirmeye çalıştığı bir tür kurumsal sözde hukuktur
Dünyada hangi ürün, kullanım biçimine dair bu kadar uzun bir kurallar listesiyle gelip, ihlal ederseniz dava edilebileceğinizi söyler?
Bu yüzden konu “şirketten şirkete scraping”e döndüğünde, web'e koyduysanız ve o içerik üzerinde gerçek bir telif hakkınız yoksa, yani onu bizzat üretmediyseniz, onu “hırsızlığa” karşı koruma hakkınız yoktur
Elbette John Deere'in müşterilerinin kendi traktörlerini tamir etmesini engellediğini biliyorum, ama bu da saçmalık
Bağlantısı verilen Register.com - Verio davası ilginçti. Mahkemenin standart şartlar sözleşmeleri hakkında yaygın olarak bilinenden daha incelikli bir karar verdiğini düşünüyorum
Bu davada Verio, Register'ın yasakladığı bir amaç için Register'ın API'sini çağırmıştı. Ancak Register, kısıtlamayı ilan eden “sözleşme” metnini ancak çağrı bittikten sonra sunmuştu. Muhtemelen API yanıtının bir parçasıydı
Mahkeme gerçekten de bunun çok geç olduğuna hükmetti. API çağrısının şartlarını öğrenmenin tek yolu o API'yi çağırmaksa, bu bir shrinkwrap sözleşmesidir ve şartlar geçersizdir
Ancak mahkeme bu değerlendirmeyi yalnızca ilk API çağrısına uyguladı. Verio'nun sağduyu beklenebilecek çalışanları vardı ve ilk çağrıdan sonra metni okuyup kısıtlamayı öğrenme fırsatına sahiptiler. Dolayısıyla sonraki tüm API çağrılarında Verio çalışanları, Register'ın açıkça yasakladığı şeyi yaptıklarını bilerek hareket etmiş olduklarından, mahkeme bunu sözleşme ihlali saydı
Önemli nokta şu: Mahkeme, sözleşme kurulabilmesi için kişinin sözleşme şartlarını bilmesi gerektiği ilkesinden vazgeçmedi. Bu dava aslında şartları bilip de bilmiyormuş gibi davranma durumunu reddetmeye daha yakındı
[1] https://en.m.wikipedia.org/wiki/Register.com_v._Verio
Geçen hafta tartışılan Allen Institute örneği iyi bir örnek
https://news.ycombinator.com/item?id=37181415
Onlar, kamu malı materyalleri kazıyarak oluşturdukları bir veri kümesini “açık” olarak yayımlayıp, insanların onu nasıl kullanabileceğini sınırlayan bir lisans eklediler
“Korumaya çalıştıkları içerik onların değil, kullanıcıların” sözü bir yere kadar doğru. Facebook içeriğin kullanıcıya ait olduğunu söyler. Böylece yasa dışı içerik olduğunda kendilerinin sorumlu olmadığını açıklamak daha kolay olur
Ancak kullanıcı da Facebook'a “Facebook'ta ya da Facebook ile bağlantılı olarak paylaşılan tüm fikri mülkiyet içeriğini kullanmak için münhasır olmayan, devredilebilir, alt lisans verilebilir, telifsiz, dünya çapında bir lisans” vermeyi kabul eder
Örneğin kullanıcı kendi içeriğini silse bile Facebook onu hâlâ kullanabilir ve arkadaşlarına gösterebilir. Bu yüzden “bir yere kadar” diyorum