AWS tahmini faturası 1,7 milyar dolar olarak göründü; normal kullanım ücreti 5 doların altında

• Normal kullanım ücreti 5 doların altında olan bir AWS hesabında bu ayın tahmini faturası 1,7 milyar dolar olarak göründü
• Gerçek kullanım ile fatura tutarı arasındaki fark aşırı büyük olduğu için bunun tahmini faturalama verilerinin hatalı olduğu bir durum olduğu düşünülüyor
• Gönderiyi paylaşan kişi, sorunu doğrulamak ve müdahale etmek için acil bir AWS destek talebi oluşturdu
• AWS hizmet durumu AWS Health Dashboard üzerinden kontrol edilebilir
• Aynı durumu yaşayan kullanıcılar olup olmadığını sordu ve daha sonra ilgili Reddit gönderisini de ekledi

---

Anormal tahmini fatura tutarı

• Bu ayın AWS tahmini faturası 1,7 milyar dolar olarak görünse de söz konusu hesabın normal kullanım ücreti 5 doların altında
• Gönderiyi paylaşan kişi, bu kadar büyük farkın gerçek kullanımdan değil, hatalı tahmini faturalama verilerinden kaynaklandığını düşünüyor

Kontrol ve müdahale

• Sorunu doğrulamak için acil bir AWS destek talebi oluşturdu
• Hizmet durumu AWS Health Dashboard üzerinden kontrol edilebilir
• Diğer kullanıcılarda da aynı durumun yaşanıp yaşanmadığını sordu ve daha sonra ilgili Reddit gönderisini paylaştı

[GN⁺]

Hacker News yorumları

• AWS’de aynı hatayı daha önce ele almıştım; sebep birim yapılandırma hatasıydı. GB başına yaklaşık 5 sent ücretlendirilmek istenmişti ama fiyat planında GB belirtilmeyince sistem bunu varsayılan birim olan bayt olarak yorumladı ve bayt başına 5 sent oldu; böylece birkaç saat içinde bazı müşterilere milyonlarca dolarlık faturalar gösterildi
  Gece 2 civarında destek ekibi çağrısı aldım, 3-4’e kadar düzeltme ve fatura düzeltmelerini tamamladık, hemen ardından da özür e-postası gönderdik. Hizmetin dışa aktardığı kullanım değerleri fiyatla doğrudan bağlantılı değildir; her SKU ya da fatura kalemi, birim türü, bölge ve birim başına fiyatı içeren bir fiyat planı ile tanımlanır. Hesap kimliği, bölge, SKU vb. ölçütlere göre kullanım kayıtlarıyla fiyat planı birleştirildiği için, birim türü yanlış belirtilirse dönüşüm bozulur ve ortaya saçma fatura tutarları çıkar

  • Bunun için hiç test yok muydu? Sıradan görünen tek bir ayrıntı yanlış yapılandırıldığında yüz binlerce yöneticinin gece çağrısı almasına ve kalp krizi geçirmesine yol açabiliyor mu?
    Tabii ki “Bu sıradan bir ayrıntı değil, Michael!” diyeceksiniz ama: https://www.youtube.com/watch?v=3fGHaVn5rGo
  • AWS faturalama sisteminin hâlâ veri aktarımı için CSV dosyaları kullanıp kullanmadığını merak ediyorum. 10 yılı aşkın süre önce AWS’de ilk nöbetimi tutarken, bir “zeki” mühendis operasyon verilerinin açıklama alanına “bu alana, virgül koyarsam ne olur” gibi deneysel bir kayıt eklemiş ve faturalama işlenmesini bozmuştu
    O kayıt yayılırken bölgelerin sırayla aynı şekilde başarısız oluşunu izledik ve tek bir kişi bir sürü insanın akşamını mahvetti. Test endpoint’i kullanılabilirdi ama bunun yerine resmen prod ortamında test yapılmış oldu
  • Bu şakayla geçiştirilecek bir şey değil. Kardiyovasküler rahatsızlık gibi altta yatan hastalığı olan biri böyle bir fatura tutarını aniden görürse, kaygı, şok ve çaresizlik nedeniyle gerçekten hayatını kaybedebilir
  • Saçma varsayılanlar seçmek yerine her zaman gürültülü şekilde başarısız olmayı (fail loud) tercih etmemizin sebebi bu
  • Acaba bu, gp3 EBS volume’larının çıktığı gün yaşanan olay mıydı diye merak ediyorum

• Bütçenin 18 dolar sınırını aştığına dair art arda üç uyarı e-postası aldım; kontrol ettiğimde maliyet 78 milyon dolardı. Bunun phishing olduğunu sanıp gerçek hesabıma doğrudan giriş yaptım ama yine 78 milyon dolar görünüyordu; psikolojik etkisi oldukça büyüktü

  • Bugün bitmeden şu iş ilanındaki açıklamanın değiştirilip değiştirilmeyeceğine dair bahse girmek istiyorum: “Software Development Engineer II, AWS Invoicing”
    https://www.amazon.jobs/de/jobs/10428480/software-developmen...
    Üzerine, üretken yapay zeka, büyük dil modelleri, bilgi grafikleri ve agentic mimariyle lansman hazırlığı, cloud-native servis orkestrasyonu ve sürekli doğrulamanın otomasyonu gibi gösterişli bir iş tanımı iliştirilmiş
  • Benim faturam 1 milyar doların üzerindeydi. İlk başta phishing sanıp görmezden gelmek üzereydim ama fazla gerçekçi geldiği için doğrudan AWS’ye giriş yaptım; tahmini faturayı görünce neredeyse kalp krizi geçiriyordum
    Sonradan destek sayfasında bir kesinti banner’ı buldum ama asıl “Amazon’a 1 milyar dolar borçlusun” diyen fatura sayfasında neden hiçbir uyarı banner’ı olmadığını merak ediyorum
  • Bana da awstrack.me URL’si aşırı şüpheli geldi ve böyle bir uyarıyı ilk kez aldığım için phishing olduğuna emindim. Linke tıklamadan konsola girince fatura tutarının yanlış gösterildiği bir kesinti olduğunu gördüm ama e-posta uyarılarından hiç söz edilmiyordu; hatta saldırganların kesintiden faydalanıp tespitten kaçmış olabileceğinden endişelendim
    Logları kontrol ettikten sonra, kesinti duyurusunun etki alanını eksiksiz anlatmadığını fark edip yeniden kahve içmeye gittim. Bir dahaki sefere önce buraya bakmam gerekecek
  • Eski şakayı uyarlarsak, AWS faturası 78 bin dolarsa bu benim sorunumdur ama 78 milyon dolarsa Amazon’un sorunudur
  • Kurumsal bir hesapta 3 trilyon doların üzerinde fatura görünüyordu

• Bu hata o kadar absürt ki yakında düzeltilir, ama 2010’ların başında gerçek faturalarda gizli bir hata bulmuştum. Bazı sunuculardaki EC2 reserved instance indirimi yanlış hesaplanıyordu ve 18 sekmeli bir spreadsheet ile ayrıntılı kullanımı düzenli olarak analiz etmeme rağmen tutarlar tutmuyordu; farkın peşine aylarca düştüm
  Sebebi bulduktan sonra bile AWS sisteminin yanlış olduğunu onları ikna etmek epey zaman aldı ve bu sırada fark birikmeye devam etti. 14 ay sonra 7.000 dolar iade aldım; bunun için AWS’de sorumlu yöneticinin onayı gerektiği söylenmişti ve sonrasında AWS tarafında bir daha hesaplama hatası görmedim

  • 7.000 dolarlık credit’in kendisi o dönem yakınınızdaki bir product manager ya da director tarafından büyük bir denetim olmadan verilebilirdi. Asıl sorun 14 aylık süreydi; aynı fatura dönemi içindeki düzeltmeler kolaydır, bir önceki dönem de zahmetli ama yaygındır; fakat önceki mali yıllara kadar düzeltme yapmak finans ekibine gitmeyi gerektirdiğinden çok daha sancılıdır
  • İş arkadaşlarım Cost Explorer’a gereğinden fazla ayrıntılı baktığımı düşünüyor ama garip maliyetleri tespit etmeye harcanan zaman genelde fazlasıyla kendini ödüyor. Bu hatanın peşine düşmek için 7.000 dolar değerinde zaman harcamış olmam pek olası değil; ayrıca bu süreçte daha büyük maliyet optimizasyonu fırsatları da bulmuş olabilirim
    Jeff Bezos’un yatını daha da büyütmek için para israf etmek de hoşuma gitmiyor
  • “Yakında düzeltilir” demek için bile artık geç; bu durum 12 saattir sürüyor. Görünüşe göre insanlar, agent’ın yazıp devreye aldığı kodu anlamıyorlar

• Aslında birim GB of storage consumed olmalıydı, ancak Bytes of storage consumed ile karışmış gibi görünüyor; bu da 2^30 katlık bir hataya yol açmış
  “Hesaplamayı sorgulamak için nedenler görüyorum. Alan tanımını sorgulamaya çalıştım ama MCP sunucusuna bağlanamadım; doğrulamak yerine tahmin ettim. Hata bende. Ama artan gelire bir bakın!”

  • Müşteriye fatura edilecek tutarı hesaplaması için 0.45, 1.67 ve 2.50 verildi; toplam 4.62 eder ama başka bir sayı da olabilir. Belki bunları birleştirmek gerekiyordur ve nokta çarpma anlamına geliyorsa 0 . 45 . 1 . 67 . 2 . 50 sonucu 3.015.000 olur
    0 ile çarpınca 0 olması gerekir ama hiç ücret almamak mümkün olamayacağına göre doğru cevap 3.015.000 bin dolardır
  • “Hesaplamayı sorgulamak için nedenler görüyorum” ifadesinin bir parodi mi yoksa gerçek bir yanıt mı olduğunu artık ayırt etmek bile zor. Bir LLM'den asla çıkmayacak kadar aptalca bir cümle yazması istense bile böyle bir aptallık sınırı varmış gibi görünmüyor
  • Bugün yerel bir ajana, insanların okuyabileceği boyut birimlerini içeren bir CSV verip GB aralıklarına göre satırları saymasını istedim; ama garip şekilde MB'yi GB diye yorumladı ve tamamen yanlış sonuç verdi. Geriye dönüp bakınca bunu doğrudan Excel'de hesaplamak daha hızlı olurmuş
  • 2*30 ise 60 eder, dolayısıyla yalnızca 28,3 milyon dolar ödemek gerekir; ama kastedilen muhtemelen 2^30 idi ve o durumda tutar 1,5 dolar oluyor
  • Faturalama sistemini vibe coding ile yapıp geliri %9.000 artırdıysan, bu terfi dosyası için mükemmel bir malzeme olur

• Sabah fatura uyarı e-postasını görünce AWS anahtarımı yanlışlıkla sızdırıp 437 milyar dolar harcadığımı sandım. Neyse ki bende o kadar para yok ve kahve içmeden daha önce hiç yaşamadığım bir adrenalin patlaması yaşamamı sağladığı için AWS'ye teşekkürler

  • AWS'ye 437 bin dolar borçlu olsaydım bu benim büyük sorunum olurdu; ama 437 milyar dolar borçluysam bu AWS'nin büyük sorunudur
  • Bu olay yüzünden gerçekten kalp krizi geçiren ya da ölen biri olmuş olabilir. Amazon'un bu tür değerleri kullanıcıya olduğu gibi göstermesi sorumsuz bir yaklaşım
  • Uykuya dalmak üzereyken uyarıyı aldım; gördüğüm tutar, benim koyduğum 16 dolarlık limiti kesinlikle aşıyordu
  • Ele geçirilmiş bir hesap yüzünden AWS ile iki ay mücadele ettim. Önceki 3 yıl boyunca aylık kullanımım yaklaşık 20 dolardı ama 20 bin dolar kaybettim ve üstüne on binlerce dolarlık ek faturalar geldi; AWS ise ihlali ben bizzat durdurana kadar yardımcı olmadı
    İşten sonra geceleri uykusuz kalarak AWS altyapısını script'lemeyi öğrendim ve ihlali kontrol altına aldım, ama hesabın kapatılması talebim de reddedildi; ayrıca vakayı incelemeleri için ortak sorumluluk sözleşmesi imzalamam yönündeki taleplerini de kabul etmedim. Sonunda eyalet başsavcılığı ofisiyle iletişime geçtim; onlar AWS'ye doğrudan e-posta gönderdi ve 24 saat dolmadan bir AWS yöneticisi beni arayıp hesabı toparladı ve 20 bin doları iade etti. Buna rağmen hesabı kapatmayı yine reddettiler; sanki AWS'den tamamen çıkmanın bir yolu yokmuş gibi ve bu bana olabilecek en kötü iş uygulaması gibi geliyor
  • Benim durumumda rakam 500 milyon dolardı ve ellerim o kadar titriyordu ki şifreyi bile zor girdim

• Hesap temsilcine bütçe durumunu anlatıp, mali durumun yeniden düzelene kadar her ay iyi niyetle milyarlarca dolar taksit ödeyip ödeyemeyeceğin konusunda anlayış göstermesini istemen yeterli

  • Zayıf görünmemek gerek. Konuyu doğrudan ele alıp limiti daha yüksek bir kredi kartı çıkarmalısın

• Bankaya 100 dolar borçluysam bu benim sorunumdur; ama 1,7 milyar dolar borçluysam bu bankanın sorunudur

  • Eşim önceki işinde orta ölçekli şirket etkinliklerini yönetirken, etkinlikten sonra kurumsal Amex bakiyesi genelde 300 bin doları aşardı. Doğum iznindeyken yerine bakan kişi faturayı ödememişti; işe döndüğünde ödenmemiş bakiye 500 bin doların üzerindeydi ve Amex'ten gelen e-postalarla sesli mesajlar yığılmıştı
    Mesajlar başta kibardı, sonra giderek daha acil bir tona büründü; ama hiçbir zaman tehditkâr ya da düşmanca olmadı
  • Bu şaka ancak AWS'ye gerçekten 1,7 milyar dolarlık bir maliyet çıkardıysan işe yarar. Ortada sebepsiz yere kesilmiş bir fatura varsa bu hâlâ kullanıcının sorunudur
  • O zaman sıradaki soru, bankaya 1,7 trilyon dolar borçlu olunca ne olduğudur
  • Elon Musk için bu geçerli olmayabilir

• AWS, Anthropic'in hiç kullanım yapmayan birine 16 milyon dolar fatura kestiğini görünce, birkaç milyon dolarda durmak için bir neden olmadığını düşünmüş gibi
  https://www.techtimes.com/articles/320266/20260712/anthropic...

  • Yapay zeka fatura denetimi girişimi Vaudit, 60 kurumsal müşterinin toplam 34 milyon dolarlık faturalarını inceleyip yaklaşık 1,7 milyon dolarlık fazla faturalama, yani yaklaşık %5'lik bir hata oranı bulduysa, bu oldukça ciddi

• Yakın zamanda Whole Foods'ta ödeme yaparken Chase Amazon Prime kartının artık otomatik olarak güvenilir biçimde tanınmadığını ve indirimin otomatik uygulanmadığını fark ettim. Yıllardır sorunsuz çalışan aynı yöntemle ödeme yapıp tam fiyat ödeyen kaç müşteri olduğunu merak ediyorum
  Mağaza müşteri hizmetleri çalışanına göre bu son bir yıl içinde değişmiş; avuç içiyle ödeme özelliğinin kaldırılmasının istemeden ortaya çıkan bir yan etkisi olduğunu tahmin ediyor. Bununla doğrudan ilgili değil ama Amazon'un başka hangi şeyleri doğru hesaplayamadığını düşündürüyor

  • Sırada artık toplu dava ya da binlerce küçük dava açılması var. Tahkim maddesi olsa bile bunları yönetmenin yükü çok büyük olacağından, birilerinin doğru kararı verip otomatik geri ödeme yapmasını umuyorum
  • Eskiden basit ve kararlı olan sistemlerde böyle küçük sorunlar sayısız şekilde ortaya çıkıyor. Hepsi vibe coding yüzünden değildir muhtemelen, ama bunların ne kadarının vibe coding'in sonucu olduğunu merak ediyorum

• Bir keresinde 20 bin dolarlık fatura gerçekten banka hesabından çekildi; sorunun çözülmesi ve paranın geri alınması için aylar ve eyalet başsavcılığı ofisinin devreye girmesi gerekti. Bunun ardından AWS ürünlerini hiç kullanmadı ve küçük işleri bile Azure’a taşıdı
  AWS faturalama sorunları yıllardır sürüyor; ele geçirilmiş bir hesapta kripto para madenciliği sunucularının aylarca çalışıp bir öğrenciye 60 bin dolar fatura çıkarıldığı halde AWS’nin bunu tespit edip durduramadığı olayları internette kolayca bulmak mümkün

  • AWS fiilen kamu hizmeti sağlayıcısına yakın olduğundan, faturalamayı dikkatsizce ele alırsa sonunda buna denk düzenlemelere tabi olması kaçınılmaz olabilir
  • Değişken maliyetli hizmetlerde her zaman harcama limitli kart kullanılmalı
  • Ele geçirilmiş hesap tespitinin %100 doğru olamayacağını düşünüyorum. Bir insan baktığında çok açık olsa bile, tüm hesapların kullanımını insanların proaktif biçimde incelemesi mümkün değil
  • Hizmet sağlayıcı kullanmanın ilk dersi, otomatik ödemeyi asla etkinleştirmemek. Sağladığı kolaylık ya da indirimden çok, şirketin hesaptaki tüm parayı kendi inisiyatifiyle çekip götürmesi riski daha büyük
  • Bir süre homelab’imin bir kısmını AWS’de tuttum. Öğrencilere bulutu öğreten bir sınıfta eğitimciydim ve eğitmen uygulama ortamı kurmamızı önerdiği için ben de ücretsiz katman EC2 üzerinde LAMP stack MediaWiki kurdum; ilk kurulum çok zor değildi ama iki nedenle temelli ayrıldım
    Birincisi, internete açık sıradan bir Linux sistemini bugün bile yeterince korumak imkansız ya da aşırı emek yoğundu. fail2ban kurup birçok portu kapatsanız bile spam saldırıları uygulama katmanından geliyordu. İkincisi, her fatura döneminde bulut harcama üst sınırını zorunlu kılmak fiilen imkansızdı. Çoğu zaman ücretsiz sınır içinde kalsanız bile tek bir yanlış ayar veya kontrolden çıkan bir kaynak, itiraz etmesi zor büyük bir faturaya yol açabiliyordu; özellikle de dış kullanıcıların VPC kaynaklarını ve dışa veri aktarım trafiğini tüketmesi gibi kontrolünüz dışındaki nedenlerle. Bu yüzden hesabı kapattım ve kendi altyapısı yerine bulutu kullanmaya zorlanırken maliyeti de kontrol edemeyen şirketlere derin bir empati duymaya başladım