Scraping ile Avusturya market fiyatlarını takip etmek

• Avusturya'da gıda ve enerji fiyatları baskısı artarken, hükümetin sınırlı bir fiyat veritabanı duyurusunu fırsat bilen Mario Zechner, büyük zincirlerin çevrimiçi mağazalarını temel alan bir fiyat takip platformunu bizzat kurdu
• İlk prototip, iki büyük zincirin tüm ürünlerini kapsayacak şekilde 2 saat içinde hazırlandı; sonrasında Almanya ve Slovenya mağaza verileri, kategori normalizasyonu, benzer ürün eşleştirme ve analiz araçları eklendi
• 2017'den beri toplanan anonim olarak sağlanmış veriler de birleştirilince, iki büyük zincirin kendi markalı ürünlerinde fiyatların sent seviyesinde birebir aynı olduğu örüntü geçmiş akışla birlikte görülebilir hale geldi
• Geçmiş fiyat verilerinde, aynı gün ya da 1-2 gün arayla fiyatların hizalandığı örnekler, shrinkflation ve Almanya'ya göre aynı ürünün %40'a kadar daha pahalı olduğu vakalar ortaya çıktı
• Avusturya market pazarında indirimli ürün oranı yaklaşık %40 gibi yüksek bir seviyede olduğundan, liste fiyatında indirim öne çıkarılsa bile döngüsel indirim yapısı nedeniyle ortalama ödenen tutar aksine artabiliyor

---

Hükümetin fiyat veritabanı duyurusu ve kişisel projenin başlangıcı

• Avusturya'da enflasyon AB ortalamasının üzerinde ve özellikle enerji ile gıda gibi temel ihtiyaç kalemlerinde baskı daha güçlü
• Hükümet mayısta büyük market zincirleriyle birlikte bir gıda fiyat veritabanı kuracağını açıkladı
  • Sorumlu bakan, işin kapsamı büyük olduğu için sonbahara kadar süreceğini söyledi
  • Kapsam, un ve süt gibi yalnızca 16 ürün grubuyla sınırlıydı
  • Güncelleme sıklığı haftada 1 kez olarak planlandı
• Mario Zechner bunu duyunca, iki büyük zincirin tüm ürünlerini kapsayan bir prototipi 2 saat içinde hazırladı
• Platform, mağazaların çevrimiçi store'larını crawl ederek çalışıyor
  • Mağazaların çoğunda API bulunuyor
  • Toplanan veriler, mağazalar arası karşılaştırma yapılabilmesi için normalize ediliyor
  • Sonrasında yayımlanabilir ve analiz edilebilir bir biçimde sunuluyor

Platformun genişlemesi ve 2017'den başlayan fiyat verileri

• İlk platformdan sonra Almanya ve Slovenya'daki mağaza verileri de eklendi
• Her mağazada farklı olan ürün kategorilerini normalize etmek ve aynı ya da benzer ürünleri eşleştirmek için hafif veri bilimi teknikleri kullanıldı
• Twitter'daki anonim bir kullanıcı, iki büyük zincirden 2017'den beri scrape ettiği verileri sağladı
• Zechner bu verileri platforma entegre etti ve analiz araçları ekledi
• İlk analizlerde, enerji fiyatlarındaki artış hesaba katılsa bile fiyat artışlarının büyük sayılabileceğine işaret eden sonuçlar çıktı

Zincirler arasında fiyat eşleşmesi ve eşzamanlı fiyat değişiklikleri

• Platform kurulmadan önceki ilk analiz, iki büyük zincirin kendi sattığı en düşük fiyatlı ürünleri manuel olarak karşılaştırma yöntemiyle yapıldı
  • Örnek olarak mağaza markalı süt veya un gibi ürünler verildi
  • 40 ürün çiftinin fiyatı sent seviyesine kadar tam olarak aynıydı
• Bir STK bu konuyu Twitter'da görüp aynı analizi 600 ürün çiftiyle yürüttü ve aynı örüntü ortaya çıktı
• Geçmiş veriler entegre edilince, iki zincirde aynı ürünün fiyat değişim zamanları karşılaştırılabilir hale geldi
• Mağaza markalı düşük fiyatlı ürünlerde fiyatların iki zincirde aynı gün, ya da 1-2 gün farkla değişip aynı fiyata ulaştığı vakalar görüldü
• Bu örüntü yalnızca düşük fiyatlı mağaza markalarında değil, orta segment mağaza markalı ürünlerde de doğrulandı
• Zechner, açık bir koordinasyon olmasa bile oligopol fiyatlarının hizalanmasına dayanan örtük anlaşma (tacit collusion) olasılığı gördüğünü söylüyor
  • Benzer başka platformların da aynı örüntüyü gördüğü belirtiliyor
  • Bu örüntünün enflasyonun ciddi biçimde yükseldiği dönemden itibaren ortaya çıktığı söyleniyor

Shrinkflation ve ülkeler arası fiyat farkları

• Platform analizleriyle shrinkflation vakaları da tespit edildi
  • Bu, ürün içeriği ya da miktarı azalırken fiyatın aynı kalması veya daha da yükselmesi anlamına geliyor
  • Örnek olarak çamaşır deterjanı veriliyor
• Aynı ürünün Almanya'da %40'a kadar daha ucuz olduğu örnekler de görüldü
  • Almanya, ortalama gelir ve yaşam maliyeti daha yüksek bir ülke olarak sunuluyor
• Yalnızca Avusturya'da üretilen ürünlerin bile Avusturya dışında daha ucuz olduğu örnekler var
• Billa, Avusturya versiyonu REWEDE olarak anılıyor
• Avusturya markası Red Bull için bile Avusturya'daki indirimli fiyatın Almanya'daki normal fiyattan daha pahalı olduğu örnekler bulunuyor

İndirim yapısı ve “fiyat indirimi”nin gerçek etkisi

• Avusturya market pazarında indirim oranı özellikle yüksek
  • Tipik bir rekabetçi market pazarında ortalama olarak ürünlerin yaklaşık %10-20 kadarı indirimde olur
  • Avusturya'da bu oran %40 olarak veriliyor
• İndirimler, tüketicinin gerçekte ödediği fiyatı anlamasını zorlaştırıyor
  • Tüketici, mağazaya gidip o günkü indirimi görmeden önce fiyatı anlamakta zorlanabiliyor
  • Zincirler posta yoluyla indirim broşürleri gönderiyor ve kasada ürüne yapıştırılmak üzere sticker biriktirme yöntemi de kullanıyor
  • Uygulamalar da kullanıcı verisi edinmenin bir aracı olarak anılıyor
• Market zincirleri, olumsuz haberlerden sonra mağazalara “bu yıl 450 ürünün fiyatını zaten düşürdük” diyen duyurular astı
  • Toplam ürün sayısı yaklaşık 22.000 olarak veriliyor
  • İlgili zincir, fiyatı düşürülen ürünlerin listesini makine tarafından okunabilir bir PDF olarak da sağladı
• Zechner, PDF'deki ürünleri kendi veritabanıyla eşleştirdi
  • Yüzeyde, fiyat indirimi iddiasının doğru olduğu doğrulandı
  • Ancak bazı ürünler, yıllardır tekrar eden döngüsel fiyat örüntüsünün bir parçasıydı ve kalıcı fiyat indirimi değildi
• Daha incelikli örnekler de görüldü
  • Liste fiyatı düşürülmüş ama düzenli uygulanan indirimli fiyat yükseltilmiş ürünler vardı
  • Liste fiyatı indirimi doğru olsa bile, tüketici her hafta aynı ürünü alıyorsa indirimli fiyat artışı nedeniyle ortalama ödediği tutar eskisine göre daha yüksek olabiliyor

[GN⁺]

Hacker News yorumları

• Avusturya ve Almanya’da yaşamış biri olarak, Avusturya’daki süpermarket fiyatlarının çok daha pahalı olduğu %100 doğru; Avusturya üretimi ürünler için de aynı şey geçerli.
  Bunun nedeni, Almanların fiyata aşırı duyarlı olup sürekli karşılaştırma yapması; Avusturyalıların ise ortalamada buna daha az önem vermesi ve süpermarketlerin bundan yararlanması. Avusturya’da nüfus yoğunluğu düşük, dağlık bölgeler gibi erişimi zor mağazalar çok olduğu için lojistik maliyetleri daha yüksek; KDV de biraz daha yüksek ve süpermarket/lojistik tarafındaki vasıfsız işçi ücretleri de Almanya’dan biraz daha fazla.
  Ayrıca Avusturya’da aynı şirketin mağazaları bile Almanya’dakilere göre daha hoş görünüyor, raf düzeni daha derli toplu ve kuyruklar daha kısa; bu da işletme maliyetini artırıyor. Sonuçta tüketiciler Almanya’daki gibi fiyata önem verip görselliği daha az umursasaydı fiyatlar düşerdi; insanlar daha ucuz süpermarkete gitmek için biraz daha yürümeye başlasa bile fiyatlar düşebilir.

  • Almanya otomobil merkezli bir ülke; ortalama bir şehirde işe gidiş, spor salonu vb. çoğu ulaşım arabayla yapılıyor, bu yüzden en ucuz süpermarkete biraz daha uzağa gitmek daha kolay.
    Avusturya’da toplu taşıma ya da bisiklet kullanımı çok daha iyi olduğundan, sırf en ucuz markete uğramak için özellikle yol değiştirmiyorsunuz. Araba kullanılan Avusturya bölgelerinde ise nüfus yoğunluğu o kadar düşük ki süpermarketler arasında da fazla rekabet yok.
  • Avusturya gıda perakendesi pazarının fiilen 3 şirketin hâkim olduğu büyük şirket yapısını da eklemek gerekir. Bunlar birbirleriyle doğrudan rekabet edecek şekilde mağazalarını nadiren hemen yan yana açıyor.
  • Hollanda ve Almanya da benzer. Sınır yakınında yaşıyorum; Almanya’daki marketlerde Hollanda menşeli organik sebzelerin, aynı sebzeleri Hollanda’da almaktan çok daha ucuz olduğu sıkça oluyor.
    Bunun bir kısmı Hollanda’daki daha yüksek KDV’den kaynaklanıyor, ama bence çoğu Hollandalıların Almanlara göre daha yüksek fiyatı öylece ödemesinden geliyor.
  • Ancak bu koşullar son 2 yılda değişmediği için mevcut fiyat sıçramasını açıklamakta yetersiz kalıyor.
  • Kanada ve ABD de benzer. Kanada her zaman daha pahalı ve seçenekler de daha az.

• Avusturyalı bir geliştirici ve tüketici olarak bu yıl boyunca bu meseleyi yakından izledim; hiçbir haklı gerekçe olmadan kazıklanıyor olmamız ama hiçbir şeyin değişmemesi ve kimsenin umursamaması çok sinir bozucu.
  Mario’nun bu konunun peşini bırakmaması ve bu can sıkıcı delilikten bıkmaması gerçekten harika.

  • Böyle bir proje geniş bir farkındalık yaratıp tüketicilerin örgütlü tepkisine dönüşürse insanlar da umursamaya başlar.
    Şirketlerin kötü davranmaması için odada bir yetişkine ihtiyaç var. Denetlenmezlerse şirketlerin kötü davranacağı varsayımından yola çıkıyoruz; bu, kesin bir yargıdan çok test edilecek bir hipoteze daha yakın.
    En azından sonuçları olmadığında şirketler daha kötü davranıyor; bu yüzden eskiden fiyat artırmak için “iyi bir neden” yokken, artık enflasyon fiyat artışları için bir örtüye dönüşmüş durumda.
    Bu tür endeks verisi projeleri bir alan olarak çok potansiyelli görünüyor; özellikle de yapay zeka ve makine öğrenimi sistemlerinin değişimleri ve trendleri kolayca gözlemlemeyi mümkün kıldığı bugünlerde. Asıl mesele, insanları harekete geçirecek kadar sosyal bilimsel öfke yaratacak yeterince net sonuç ve gözlemleri nasıl elde edeceğimiz.
    Ya da belki de şirketlerin bu teknolojilerle her şeyi tüketicinin aleyhine optimize etmesini öylece kabul edip, buna karşı white-hat tarzı direniş için kullanmamamız gerekiyordur.
  • Avusturyalı değilim ama Avusturya’da yaşıyorum. Başta, Covid sonrası olduğu için her yerde olduğu gibi fiyatlar artıyor sanmıştım; fakat fiyatların şu anki gibi sürekli yükselmesine bakınca bu açıkça nakit sağma gibi hissettirmeye başladı.
    Yine de herkese her yıl 500 avro Klima bonus daha verirseniz insanların ne beklediğini de bilmiyorum. Bunun enflasyonu nasıl düşüreceği meçhul; gıda zincirleri de bunu kullanıyor gibi görünüyor.
  • Hiçbir sebep olmadan pahalılaşmış değil; Avusturya’daki fiyatların yüksek olmasının nedeni, Almanya’da fiyatların düşük olmasının nedeniyle tam olarak aynı. Belirlenen fiyat şirkete en çok parayı kazandırdığı için.
    Fiyat yüksek de olsa düşük de olsa neden her zaman aynı: o fiyat en çok parayı kazandırıyor.
  • Yakın zamanda Hindistan’da LinkedIn’de beslenme içerikleri paylaşan bir influencer, Bournvita adlı süte katılarak içilen maltlı çikolata ürününün arkasındaki besin değerleri tablosunu sadece aynen okuduğu için DMCA ile karşılaştı ve dava açılmanın eşiğine geldi.
    Bu tür şirketler, kârlarını etkilemeye başladığınızda gerçekten çok hassas tepki veriyor. Bournvita değil de çocuklara yönelik benzer bir süt katkısı da olabilir.
  • Açgözlülük ve daha yüksek kâr arayışı da onlar için yeterli bir neden.

• Birleşik Krallık’a benziyorsa, shrinkflation o kadar yaygındır ki fiyat karşılaştırması için gram başına fiyat gerekecektir. Ürün boyutunu küçültüp malzemeleri daha ucuzuyla değiştirme yöntemi bu; dışarıdan aynı ambalaj gibi görünse de çikolata bar paketlerinde hava boşluğu artıyor, dondurma külahlarının kapağının altında 1 cm boşluk oluşuyor, tereyağı kaplarının tabanı içe çöküyor, eskiden düz olan ambalaj yanları artık daralıyor.
  Bu tür “hileler” eskiden de vardı ama giderek daha fazla kullanılıyor. Tüm süpermarketlerin bütün stok veritabanı zaten var; bu yüzden pratikte sıfır maliyetle her 5 dakikada bir tüm ürünlerin güncel fiyat listesini gönderebilirler. Yasama organı uzman tavsiyesi almıyor ya da almak istemiyor gibi görünüyor; yine de bir başlangıç başlangıçtır.

  • Birleşik Krallık’ta zaten gram başına fiyat, daha doğrusu £/KG birim fiyatı gösterme zorunluluğu var.
    Sorun şu: marketler insanları “sadakat” kartı kullanmaya ikna ederse her şeyi “promosyon fiyatı” yapabiliyor ve böylece birim fiyat gösterme gerekliliğinden kaçabiliyor. Sadece daha yüksek normal fiyatın £/KG değerini gösterdikleri için tüketici kolayca karşılaştırma yapamıyor.
    Aldi ya da Lidl’da alışveriş yaparsanız bundan kaçınabilirsiniz, ama onların da yakında sadakat kartına özel fiyatların cazibesine kapılmasına şaşırmam. Elbette onlar da shrinkflation yaptı.
    Örnek: https://www.tesco.com/groceries/en-GB/products/296117381 — “£3.00 / £10.71/kg”, ancak Clubcard fiyatı £2.00
  • Birleşik Krallık süpermarketlerinde, sanırım yasa gereği, tekil ürünün içerik ağırlığı gösteriliyor. Bu, ambalaj ağırlığı hariç net ağırlık olmalı; dolayısıyla oldukça hızlı analiz edilebilir.

• Avusturyalı olarak, fiyat karşılaştırma projesi güzel ama odadaki fil şu: Alman market fiyatları aynı ürünler bazında %20–40 daha düşük
  Süpermarket zincirlerinin açıklamaları en iyi ihtimalle şüpheli. Almanya’ya göre kişi başına daha fazla mağaza düşmesi ya da daha pahalı Avusturyalı distribütörlerden almak zorunda olmaları gibi şeyler söylüyorlar. Belçika’nın Fransa’dan daha pahalı olduğuna dair benzer hikâyeler de duydum
  Durumu değiştirmek için Avrupa genelinde fiyat karşılaştırması gerekiyor

  • Avusturya’nın asıl sorunu, vergilerin yüksek ve düzenlemelerin çok olduğu kötü iş ortamı. Sonuçta bu alana hâkim olan sadece birkaç oyuncu kalıyor
    Küçük şirketlerin ürün seçme özgürlüğü ya da çalışma saatleri gibi alanlarda yenilik yapma imkânı bile olmadığı için pazara girmeleri baştan zorlaşıyor
  • Başka bir neden olduğundan mı şüpheleniyorsun? Örneğin Avusturya’da böyle yapsalar oluyor ama Almanya’da olmuyor gibi mi? Nasıl bir açıklamayı “şüpheli olmayan” bir açıklama sayacağını merak ediyorum
  • Yunanistan’dayım; burada yerel olarak üretilen şeftalilerin fiyatı, Romanya’da satılan aynı Yunan şeftalilerinden daha pahalı. Bunu bugün gördüm ve şoke oldum; Yunanların bu saçmalığa nasıl katlandığını bilmiyorum. Benzin fiyatı da çok daha yüksek

• İnternette hizmet ve ürün fiyatlarını topladığınızda gerçekten çok ilginç şeyler görüyorsunuz; çoğu da müşterinin aleyhine çalışan numaralar
  Bence artık AB’nin, şirketlerin fiyat verilerini standartlaştırılmış API ile sunmasını yasalaştırmasının zamanı geldi. Böylece herkes kazançlı çıkar ve bu tür numaralar dizginlenebilir
  Gerçekten de Disney World tatil paketleri için bir scraper yaptım ve toplam konaklama süresinin yalnızca bir kısmı için otel biletlerini ayrı almak gibi daha ucuz fırsatlar bulmanın yollarını da keşfettim. Bir gün bunu tatil enflasyonu endeksine dönüştürmeyi planlıyorum
  1 - https://mousetrack.co.uk

• Gerçekten ilginç bir yazıydı. Market fiyatlarını değerlendirmek ve zaman ile maliyeti optimize etmek için alışverişi ayarlamak çok yorucu; böyle büyük ölçekli veri kümeleri olursa bu iş çok daha kolaylaşabilir
  ABD için benzer bir fiyat analizi olup olmadığını merak ediyorum

  • Başka bir yöntem de satıcının kâr marjını kontrol etmek. ABD’deki büyük şirketlerin hepsi halka açık olduğundan, Costco, Walmart, Target, Kroger, Albertsons gibi yerlerden alışveriş yapıyorsanız perakendecinin size satış maliyetinin birkaç yüzde puanından fazlasını ödemediğinizi bilirsiniz
    Elbette mağaza içindeki tek tek ürünlerin kâr marjları farklıdır ama neredeyse tüm pişirilmemiş ve raf ömrü olan gıdalar en düşük kâr marjlı gruba girer
    Winco, Aldi, Lidl de marjları son derece düşük olarak bilinen market zincirleri

• Diğer Mastodon sunucuları nasıldır bilmiyorum ama bu sunucu okunabilirlik açısından Twitter’ın ışık yılları önünde
  Umarım bir gün biri o şirkette ve ürün tasarımı yaklaşımında tam olarak neyin yanlış olduğunu ifşa eden bir kitap yazar

  • Teşvikler farklı. Sürekli büyüme peşindeki binlerce kişilik halka açık bir şirket ile bir topluluk projesinin hedefleri kaçınılmaz olarak farklı olur
    İlkinin kaynakları daha fazla, ikincisinin ise misyon odaklılığı daha güçlü
  • Bu sanırım varsayılan Mastodon görünümü. Ayrı bir frontend de kullanılabilir
  • Varsayılan Mastodon stilinde karanlık mod ve tek panelli ekran
    Tweetdeck’e benzediği söylenen çok panelli “gelişmiş görünüm” de var
    Karanlık modu tercih edenler var ama e-mürekkep cihazlarda okumak gerçekten berbat. Belirli bir instance’a giriş yapmadan temayı değiştiremiyorsunuz; bu yüzden bununla ilgili bir issue talebi açmış durumdayım

• Harika bir thread ve akıllı, teknik yetkinliğe sahip yurttaşların gücünü gösteriyor

  • Yurtdışına ya da Almanya’ya sık giden Avusturyalı tüketiciler uzun zamandır kazıklandıklarını biliyordu ama kanıtlayamıyordu; artık kanıtlayabiliyorlar. Daha önemli soru, bunun sonucunda ne çıkacağı. Veriler, büyük perakendecilerin fiyat sabitleme konusunda açıkça birlikte hareket ettiğini gösteriyor
    Tahminim, hiçbir şey olmayacağı yönünde. Bunu denetlemesi gereken kamu düzenleyicileri büyük olasılıkla sorun olmadığı sonucuna varacak. Çünkü siyasi işleri bittikten sonra bu perakendecilerin lobicisi ya da “danışmanı” olmaya gitmeleri için şimdiden satın alınmış olduklarını düşünüyorum
    Yaklaşık 6 yıl önce Avusturya’nın üç büyük telekom şirketi tam olarak aynı anda birlikte fiyat artırdı; ilgili kamu kurumu ise üç şirketin fiyat sabitleme için gizlice anlaştığına dair kanıt olmadığı ve bunun tesadüf olabileceği gerekçesiyle dosyayı kapattı
    Bu ülke öylesine yolsuz ki köklerine kadar çürümüş. Bir tüketici ve vergi mükellefi olarak, hükümetin kutsamasıyla her yönden yasal biçimde soyuluyorum; birçok başka ülkede de durumun benzer olduğunu sanıyorum

• Avusturyalı olarak bu bağlantıyı bazı gazeteci ve arkadaşlarıma gönderdim. Bunu nasıl uygulanabilir bir eyleme dönüştürüp siyaseti harekete geçirebilir ve tüketicilere de fayda sağlayabiliriz merak ediyorum