Benim hatam yüzünden şirket 500 bin dolar tasarruf etti

 (ludic.mataroa.blog)
5 puan yazan GN⁺ 2023-10-31 | 1 yorum | WhatsApp'ta paylaş
  • Bir mühendis, Snowflake sorgularından sonra uygulanan 10 dakikalık boşta bekleme ayarını düşürünce, yıllık tahmini veritabanı maliyeti yaklaşık 1 milyon dolardan 500 bin dolara indi
  • Yıllarca ertelenen Advanced Analytics Platform, yayına alındıktan sonra bile elektronik tablolar, S3, Lambda, MongoDB, Snowflake ve JavaScript saklı yordamlarının iç içe geçtiği karmaşık bir ETL zincirine dayanıyordu
  • Maliyet israfının temelinde, günde 1 TB’tan az veri işlerken bile ortalama 2 saniyelik sorgulardan sonra hesaplama kaynaklarının uzun süre açık kalması yatıyordu
  • Değişiklik önce hesaplama kaynaklarının yalnızca bir kısmına uygulandı; yönetici tasarrufu kabul etse de bunu her yere yaymayı geciktirmek istedi ve PowerPoint’te bu durum kullanım kalıbı analizi ile yapılan bir optimizasyon gibi sunuldu
  • 500 bin dolar azaltılmış olmasına rağmen ödül hâlâ belirsizdi; toplantı ve raporlama yükü ise arttı. Bu da, örgütsel verimsizliğin bireyin kısa bir uygulamasından daha büyük bir politik maliyet yarattığı bir örnek oldu

Yıllarca ertelenen analiz platformu

  • Şirket, daha veri odaklı çalışacağını söyleyerek bir analiz platformu kurmaya karar verdi ve bunun için ilgili kadroları işe aldı
  • Veri bilimci olarak işe giren mühendis, gerçekte veri bilimi işi yapamadı; makine öğrenimi ya da veri hattı için hesaplama kaynağı taleplerine de Advanced Analytics Platform, yani AAP, devreye alınana kadar beklemesi gerektiği cevabı verildi
  • AAP başlangıçta ocakta çıkacaktı, sonra mart ayına ertelendi ve ardından Covid gerekçesiyle askıya alındı
  • O şirketten ayrıldıktan 3 yıl sonra AAP yayına hazır hâle geldi, ancak gerçekten ihtiyaç duyulan özelliklerin en baştan plana hiç dahil edilmediği ortaya çıktı
  • Aynı hafta 4 mühendis şirketten ayrıldı ve o da bazı şartlar öne sürdükten sonra AAP ekibine katıldı

Yayından hemen sonra ortaya çıkan teknik borç

  • AAP daha yeni yayına alınmış olmasına rağmen çok sayıda teknik borç ve operasyonel risk barındırıyordu
  • Yeni işe alınan bir ekip arkadaşı, ilk gününde proje deposunda yanlış klasöre girildiğinde CI/CD hattı üzerinden prodüksiyonu silebilecek bir dosya buldu
    • Bu dosyada yönetici hesabı için gerekli anahtarlar ve parolalar da vardı
  • Veritabanı erişim izinlerini değiştirmek, yaklaşık 2 KB’lık bir CSV yükleme işi olmasına rağmen aşırı uzun bir yoldan geçiyordu
    • Elektronik tablo Python tarafından ayrıştırılıyordu
    • Sonuç S3’e konuyordu
    • Lambda bunu tekrar S3 için dönüştürüyordu
    • MongoDB S3 dosyasını alıyordu
    • Başka bir Lambda MongoDB kayıtlarını S3’e aktarıyordu
    • Snowpipe, S3 verisini Snowflake’e alıyordu
    • JavaScript saklı yordamı, Snowflake verisini ilişkisel biçime pivotluyordu
  • Güvenlik ekibi, zararlı içeriğin kolay taranabileceği bir biçim istediği için her şey CSV’ye dönüştürüldü, ancak fiilî tarama aracı hiçbir zaman devreye alınmadı
  • Lambda fonksiyonları, önceki uygulamadan kalan counter = 1 izleriyle başlıyordu ve bu satır kopyalana kopyalana gelmişti
  • CI/CD testleri, hata ayıklama sırasında kullanılan tee komutu yüzünden başarısızlık kodunun üzerine yazılması nedeniyle aylarca başarısız durumda kaldı
  • API parolasını alma süreci de iki aşamalı ve gereksiz derecede dolaşıktı
    • AWS servisinde service-password gibi bir anahtar aranıyordu ve değer olarak da yine service-password dönüyordu
    • Ardından bu değer, başka bir serviste gerçek parolayı bulmak için kullanılıyordu
  • Pipeline yapılandırma dosyası üreten betik, ileride gerekebilir diye yorum satırına alınmış 600 satırla başlıyordu

Maliyet aşımına yol açan Snowflake ayarı

  • Platform, önceki operasyon modelinden birkaç kat daha pahalıydı ve veritabanı maliyet bütçesini ciddi biçimde aşıyordu
  • Başlangıçta yıllık işletim maliyetinin yaklaşık 200 bin dolar olması amaçlanmış gibi görünüyordu, ancak gerçek tahmin neredeyse 1 milyon dolara yaklaştı
  • Veritabanı Snowflake idi ve Snowflake, sorguları çalıştıran bilgisayarların boyutuna göre ücretlendiriyordu
  • Hesaplama kaynakları yalnızca açık kaldıkları süre boyunca maliyet oluşturuyordu
  • Ekip haftada birkaç bin sorgu çalıştırıyordu; bunların çoğu, okunmayan PowerBI raporlarını ufak ufak ayarlamak için geliştiricilerin yaptığı deneme sorgularıydı
  • Ortalama sorgu çalışma süresi yaklaşık 2 saniyeydi, ancak hesaplama kaynakları sorgudan sonra 10 dakika boyunca boşta kalacak şekilde ayarlanmıştı
  • O, ekibe katıldıktan yaklaşık bir ay sonra bu ayarı fark edip değiştirmeyi önerdi, ancak yalnızca keşif çalışması gerektiğine dair usule ilişkin tartışmalar yapıldı ve uygulamaya geçilmedi

5 dakikalık değişiklik ve doğrulama

  • Aylar sonra “Discovery: Optimise Costs” kartını alınca, bir sonraki stand-up’ta anlatacak bir sonuca ihtiyaç duydu ve mevcut varsayımı kendisi doğrulamaya karar verdi
  • Başka bir ekipte yetkin görünen yeni bir mühendise yönetici yetkisi vermek istediğini söyledi, fakat yönetici buna izin vermedi
  • Bunun yerine yönetici yetkisi olmayan daha düşük seviyeli veritabanı kimlik bilgilerini paylaştı ve ilgili mühendis maliyet düşürme ihtimaline dair bir sağduyu kontrolü yaptı
  • Haftanın son iş gününde saat 16.00’da, yönetici olmayan mühendislerin sohbet kanalında sorun olup olmadığını kontrol ettikten sonra ayarı değiştirdi
  • Güvenlik için bunu tüm hesaplama kaynaklarına değil, önce yalnızca bazı hesaplama kaynaklarına uyguladı

Tasarruf etkisi ve kurumun tepkisi

  • Ertesi pazartesi, tahmini fatura yaklaşık 1 milyon dolardan 500 bin dolara düştü
  • Ekip bunu büyük bir maliyet düşürme başarısı olarak sundu, ancak onun bakışına göre bu daha çok zaten boşa harcanan parayı durdurmaktı
  • Diğer ekipler, yeni katılan mühendisin bu tasarrufla aynı dönemde gelmesini sorun etti ve neden bunun daha önce fark edilmediğini sorguladı
  • Yönetici memnundu, ancak değişiklik tüm hesaplama kaynaklarına hemen uygulanırsa bölümün gereğinden fazla dikkat çekeceğini ve istenmeyen sorular doğuracağını düşünüyordu
  • Sanki uzun süren bir çalışma yapılmış gibi görünmesi için değişikliğin yavaş yavaş yayılması yönünde bir ima vardı
  • O da bir PowerPoint hazırlamak zorunda kaldı; metin, “kullanım kalıplarına dair dikkatli istatistiksel analiz, daha etkili kaynak tahsisi fırsatlarını ortaya koydu” tarzında yazıldı
  • Oysa yapılan gerçek değişiklik, pahalı hesaplama kaynaklarının gün boyu boşta kalmamasını sağlayan bir ayar güncellemesiydi

Başarının ardından kalan yük

  • Ona göre, birkaç iyi mühendisi bulup gayriresmî biçimde harekete geçirerek tüm bölümden daha kolay şekilde daha büyük bir sonuç üretmişti
  • Kurum içinde yetkin insanların bulunduğunu, ancak örgütsel yapı yüzünden güç kullanamadıklarını düşünüyordu
  • 500 bin dolar tasarruf ettikten sonra 30 bin dolar zam istedi, ancak mesajı okunmadı; hiçbir şey alamamayı ya da en fazla 5 bin dolar almayı bekliyordu
  • Maliyet tasarrufu hakkında konuşmak için daha fazla toplantı çıktı ve PowerPoint hazırlama yükü de eklendi
  • Sonuç olarak, hiçbir şey yapmamanın kendisi için daha iyi olacağını söyleyerek bitirdi; 5 dakikalık bir hareketle kariyerinin en büyük başarısını elde etmiş, ama hemen ardından ek yükün altına girmişti

İlgili okumalar

1 yorum

 
GN⁺ 2023-10-31
Hacker News yorumları

  • Bu yazının tamamı bana fazlasıyla tanıdık geldi
    ABD Deniz Kuvvetleri’nde maliyet tasarrufu olarak kariyer kaydıma geçen tutar 50 milyon doların üzerindeydi. Ne zaman bir şey yapsam PowerPoint hazırlayıp amirallere/senir komutanlara sunmam gerekiyordu; bir keresinde de üstümün başarıyı sahiplenmesine izin vermediğim gerekçesiyle neredeyse ağır biçimde cezalandırılıyordum. Üstelik o üstüm, ne yaptığımı hiç bilmediği için zaten başarıyı sahiplenmeyi de düşünmüyordu
    Bunun bir kısmı, Lean Six-Sigma Black Belt olarak kurum genelinde projeler yürüttüğüm dönemdeydi; artık o ifadenin tamamından nefret edecek kadar. İşim kelimenin tam anlamıyla DOD maliyetlerini olabildiğince azaltmaktı ve kariyerimin en kötü dönemiydi. Milyonlarca dolar tasarruf sağlayan bir sorunu kafama göre çözmemin ödülü o iş olmuştu
    Yazının son kısmına katılıyorum. İş yerinde iyi işler yaparken dikkatli olmak gerek. Ödül neredeyse hiçbir zaman para olmuyor; aynı maaşa daha fazla iş olarak geri dönüyor

    • Yanlış iş yeri ve yanlış patronla karşılaşırsan böyle olur. Şu anda böyle kötü bir yerde olduğum için kendimi şanssız hissediyorum
      Eskiden çok daha iyi bir yerdeydim; kendi isteğimle öne çıkıp milyonlarca dolar tasarruf sağladığımda gerçekten kutlanıyordum ve yöneticim de hakkımı teslim ediyordu
      Toksik kültürü olan bir iş yerinde asla kalmamak gerek. Maaşı daha iyi olsa bile. Yetersiz, küçük hesapçı kariyeristlerin ve kontrol manyaklarının altında ezilmek kadar insanın ruhunu kemiren bir şey yok
    • Endüstri mühendisliği hocalarımdan biri, kariyerini orduda enerji verimliliği alanında geçirmişti
      Ana fikir şuydu: “ABD hükümetinin iyi yanı, o kadar büyük olması ki; en iyi çözüm %30 tasarrufsa ve ikinci en iyi seçenekle sadece %29 tasarruf etseniz bile hâlâ onlarca milyon ila yüz milyonlarca dolar tasarruf edersiniz, bu yüzden kimse fark etmez”
      Büyük projelerden biri uzak askeri kampların enerji verimliliğiydi. Afganistan’ın bazı bölgelerine yakıt ulaştırmanın maliyeti galon başına yaklaşık 100 dolardı ve taşınabilir jeneratörler kapasitelerinin %20–40’ı civarında harıl harıl çalışıyordu. Hatırladığım kadarıyla en verimli seviye yaklaşık %70’ti; küçük binalar inşa ederek ya da birden fazla çadırı tek bir jeneratöre bağlayarak yakıt tüketimini ciddi biçimde azaltmak ve hizmet kalitesini de iyileştirmek mümkündü
    • Bazen üç harfli bir devlet kurumuna girip maliyet verimliliğini artıracak yerler aramayı ya da beni göçmen olarak kabul eden ABD’ye teşekkür anlamında doğrudan katkıda bulunmayı düşünüyorum
      Bir FAANG mühendisi olarak para akışıyla doğrudan bağlantılı işlerde çalıştım ve işe yarayabilecek farklı alanlarda da deneyimim var
      Sonra doğru insanı ve çalışılacak alanı bulmanın muhtemelen işin %95’i olacağını düşünüp vazgeçiyorum
    • Six-Sigma Black Belt ifadesini görmem bile tepki vermeme yetiyor. Çalıştığım en kötü şirket, SSBB’leri çılgınca işe alıyordu; gerçekte hiçbir iş yapmıyorlar ve sonuç da üretemiyorlardı
      Ama o eğitimi aldığınızda terfide hızla öne iten bir yapı vardı
    • Bu benim için büyük bir umutsuzluk kaynağı ve bunu iki iş yerinde bizzat yaşadım
      Düzenli maaşlı, istikrarlı bir iş istiyorum; ama iyi iş çıkarırsam yöneticilerin bunu boş zaman olarak görüp sınırıma kadar daha fazla iş yıkacaklarını biliyorum. Açgözlü insanlar gelir paylaşımına ya da kâr paylaşımına asla razı olmuyor; sadece yılda %5 zam verip susup çalışmanı bekliyorlar
      Birkaç iş önce şirket, aktif olarak bakımını yaptığım projelerin adlarını yazmamı istemişti; varsayılan yazı boyutundaki Excel’de liste iki tam ekranı doldurmuştu. Ağır depresyona girecek kadar tükenmiştim
      Daha da kötüsü, iş arama denen teslimiyet ritüeli gibi saçmalıklardan da nefret ediyor olmam

  • Dan Luu’nun yazılarını hatırlatıyor: https://danluu.com/nothing-works/
    Çip yazılım araçlarında da durum benzerdi. Araçları büyük EDA tedarikçilerine dışarıdan yaptırmak standarttı; ama kendi yaptığımız özel araçlardan büyük fayda gördük ve bunları genellikle tek bir kişi yapıyor ya da bakımını üstleniyordu
    Ben oradayken simülatör döngülerinin çoğu, bir kişinin bakımını yaptığı özel simülatörde çalışıyordu; bu sayede simülatör maliyetlerinde her yıl milyonlarca dolar tasarruf ettik. O dönemde standart fiyat, tek bir simülatör lisansı için yılda birkaç bin dolardı ve simülasyon makine çiftliğinde yaklaşık bin makine vardı
    Bir kişi şirkete her yıl milyonlarca dolar değerinde bir araç geliştirebiliyor ya da bakımını yapabiliyorsa rakiplerin de doğal olarak bunu yapacağını düşünürsünüz; ama gerçekte çoğu yapmıyordu. Wafer’ı açıp incelemeyi bilen birini işe alsalar daha hızlı ve daha ucuza piyasaya çıkabilecekleri hâlde rakiplerin bunu yapmamasıyla aynı durumdu

    • EDA’da çalıştım; yazılımın kötü olduğu doğru, ama alıcılar muhafazakâr. Çünkü bu iş o kadar riskli ve pahalı
      Dan Luu “kokteyl partisi versiyonu etkin piyasa hipotezi”nden söz ediyor; “hiçbir şey çalışmıyor”un ekonomi versiyonu ise daha çok https://en.wikipedia.org/wiki/The_Market_for_Lemons’a benziyor. Piyasada bilginin ve bilgi asimetrisinin rolünü ele alan bir yazı
      Etkin piyasa hipotezi, tam bilginin imkânsız olması ve ters seçimin gerçekten var olması nedeniyle başarısız oluyor
    • O yazıyı ve kültür hakkındaki yazıyı (https://danluu.com/culture/) sık sık düşünüyorum
      Orijinal yazının anlattığının tam tersi şirketler de var. Böyle bir şirkette bir kez çalışınca, kötü yerlere yeniden razı olmak imkânsız hâle geliyor

  • Yazının tamamı altın değerinde
    Yöneticiler, kendi yardımları olmadan nasıl bu kadar çok tasarruf edilebildiğini sordu; slayt hazırlanmasını istedi; ne olduğunu defalarca sordu; bunun tek bir küçük toggle ile olmuş gibi değil, zaman içinde kademeli yapılmış gibi görünmesi için yavaş yavaş dağıtılması gerekti; yarattığı etkiye kıyasla zam istedi ama olmadı
    Kendi iyiliği için FAANG gibi yerlere başvurması iyi olur. En azından daha iyi sahip çıkma ihtimalleri daha yüksek
    Ayrıca bloga Twitter kartı metadatası eklerse Twitter'da daha iyi görünebilir

    • Zam alamamış olsaydım, her şeyi kabul edip sunumun başında muhtemelen şöyle derdim
      “Merhaba, 500 bin dolar tasarrufun nasıl mümkün olduğunu anlatacağım. Temelde bir gün boyunca mevcut altyapının ne kadar berbat dağıtıldığını inceledim ve soruna yol açan kod test özelliğini kaldırdım. Geliştirme, yönetim, test; her açıdan tam bir oversight'tı. Genel olarak bu kod, olabilecek en kötü hâline oldukça yakınken doğrudan yayınlanmış. Ayrıca herkes kötü göründüğü için bunları söylememem gerektiği söylendi ve yöneticiler bir şey yapmış gibi görünsün diye kademeli dağıtmam istendi”
      Sonra mikrofonu bırakıp sahneden inerdim
      Açıkçası umursama isteğimin muazzam ölçüde yok olacağını düşünüyorum. Neredeyse 20 yıldır bu işi yapıyorum; faturalarını ödemek ve çocuklarını doyurmak zorunda olduğu için işini önemseyen biri açısından bile durum böyle
    • Daha önce vergiyle finanse edilen bir projede yılda yaklaşık 250 bin dolar tasarruf etmenin bir yolunu bulmuştum
      Maliyet modeli için bir spreadsheet hazırlayıp dokümante ettim ve patronuma verdim; “inceleyeceğim” dedi. İki hafta sonra bakıp bakmadığını sordum, “Doğru görünüyor. İyi iş” dedi. Deneme uygulaması yapıp yapmayacağını sordum; cevabı şaheserdi
      “Hayır, bize para tasarrufu yapalım diye maaş ödenmiyor; para harcayalım diye maaş ödeniyor”
      O zaman hükümetin Cost+Award Fee sözleşmesini gerçekten anladım
    • Arkadaşlarımın hepsi kötü geliştirici mi bilmiyorum ama bugünlerde FAANG'de iyi muamele gördüklerini duymuyorum. Netflix hakkında yakın zamanda bir şey duymadım
    • En azından FAANG'de PowerPoint yerine çoğunlukla düz metin belgeler kullanabiliyorsunuz
      Dezavantajı, muhtemelen değişiklik yapmadan önce o belgeyi yazmanız, tüm ekipten review almanız ve “alignment” sağlamanız gerekmesi
    • Xitter yakın zamanda harici site metadata gösterimini, görseller hariç, tamamen kaldırmadı mı?

  • Tesadüfen 500 bin dolar tasarruf etmiş değil; kasıtlı olarak 500 bin dolar tasarruf etti ve şimdi bundan pişman. Bunlar aynı şey değil
    Büyük ölçekli organizasyonlar o kadar verimsiz ki nasıl rekabet edebildiklerine şaşırıyorsunuz; ama çok paraları var, ölçek ekonomileri var ve benzeri şeyler. Bu süreçte aptalca israf ve verimsizliklere milyonlarca dolar yakılsa da kimse pek umursamıyor

    • Anlaması kolay. Büyük ölçekli organizasyonlar, benzer şekilde verimsiz olan diğer büyük ölçekli organizasyonlarla rekabet ediyor. Büyük ölçekli organizasyonlarda verimlilik gerçekten, gerçekten, gerçekten zor bir insan problemi ve bunu hâlâ çözebilmiş değiliz
      Yine de değerli hizmetler veya ürünler sunuyorlar. Ne kadar verimsiz olurlarsa olsunlar, hiç var olmamalarından daha verimliler. Bu yüzden rekabet olmasa bile bu tür organizasyonlar var oluyor
      Küçük organizasyonlarla rekabet ne olacak diye sorabilirsiniz. Küçük organizasyonlar ölçek verimliliğinden daha az yararlanır; ama başka açılardan verimliyse bazen büyük şirketlerle etkili biçimde rekabet edebilir. Ancak büyüyüp büyük ölçekli organizasyon olduklarında sonunda büyük ölçekli organizasyonların verimsizliğine sahip olurlar
      İşler böyle yürüyor. Kimsenin umursamadığı için değil; aksine şirket sahipleri bunu çok umursuyor. Sorun, kelimenin tam anlamıyla kimsenin bunu nasıl çözeceğini bilmemesi
    • Rekabet genellikle bir veya daha fazla hendek ile ortadan kaldırılır. Devasa başlangıç sermayesi yatırımları, patentler, pazarı kilitleyen anlaşmalar (ör. Windows'un OEM'lere satılma biçimi), dikey entegrasyon (ör. Apple), mevzuata uyum (yeni bir banka ya da hastane başlatmak gerçekten zordur), rakipleri satın alma, rakiplerin çalışanlarını satın alma (FAANG'de iptal edilen işler yapan yüksek maaşlı çok kişi olmasının nedeni), ya da daha az meşru yöntemler
      Büyük şirketler, otoriter devlet kontrolündeki şirketlere benzer başarısızlık örüntülerine varma eğilimindedir. Çin'in bu konuda kontrol ile büyüme arasında bugüne kadar ne kadar iyi denge kurduğu da ilginç
    • Genellikle rekabet etmezler. Hükümet kendi kurallarını uygulamazsa bu şirketler rakiplerini dümdüz satın alır
      Pazarı boğarken aynı anda daha da verimsiz hâle gelirler
    • Büyük şirketlerin %99'unun var olmasının tek nedeni, diğerlerinden önce büyümüş olmaları ve bu büyüklüğün onlara herkesi bastırma gücü vermesidir
      Rekabet, MBA'lerin yeni iş kurmasını sağlamak ve görünüşte rekabet varmış gibi göstermek için anlatılan bir masaldır. En baştan zaten hiç şansları yoktu
    • Enflasyonun gerçekten buradan çıktığını düşünüyorum. Faydalı olmayan her ücret ödendiğinde, sonuç ya daha pahalı ürün/hizmet ya da daha düşük kârlılık olur
      Tüm israf optimizasyonla ortadan kaldırılabilseydi, bilgisayarlar ve iş süreçleri sürekli daha verimli hâle gelirken aslında deflasyon yaşanırdı diye düşünüyorum

  • Eskiden bir bug bulup yıllık 4 milyon dolar geliri geri kazandırmıştım
    O hatanın bu kadar uzun sürmesine izin veren ekibi ve yöneticileri korumak için üstü örtüldü. Zam alamadım ama birkaç müttefik edindim ve bir süre rahat takılabildim

    • Kariyerimin çok başlarında bir hedge fund’da çalışırken, yeniden başlatılsa ağ döngüsüne yol açacak görev açısından kritik bir ağ cihazı keşfetmiştim
      İki sunucu belirli feed verileriyle ilgiliydi ve bana anlatılan işlevden farklı olarak kabloların tuhaf bağlandığını fark ettim
      Bu sistemin kesinti maliyeti tahminen dakikada yaklaşık 7 milyon dolardı. Sorumlu birkaç çalışana ve ağ ekibine sorunu ilettim ama “bizim öyle bağlamış olmamız mümkün değil” gerekçesiyle ve yeni olduğum için tamamen görmezden gelindim
      Önemli göründüğü için haftalık grup toplantısında konuyu tekrar açtım; biri gidip bizzat kontrol etti ve tam söylediğim gibi olduğunu bildirdi. Ciddi bir durumdu ve ağ ekibi sorunu temizce çözmek için yaklaşık 2 hafta acil çalışma yapmak zorunda kaldı
      Herkes bana kızdı. Şirketin başına gelecek bir felaketi önlemiş olmama rağmen, bunu yaparken herkesi kötü göstermiştim; özellikle de ekipteki konumum düşük olduğu için. Önemli bir dersti
    • Kariyerimin başlarında benzer bir şey yapmıştım; o ise epey dikkat çekmişti
      Bir bug’ı düzeltmek için kurduğum sistem, aslında eczane reçete iletimleri üzerinde bir ortadaki adam saldırısıydı. Eczaneler fiyat güncellemelerini asla uygulamadığı için, reçete sigorta şirketinin sistemine gitmeden hemen önce fiyatı yeniden hesaplıyorduk. Küçük, bağımsız bir eczane zincirinde çalışıyordum ve merkezi bir reçete hazırlama sistemimiz yoktu
      O zamanki sonsuz dehamla, sisteme hoşlandığım kişinin adını verdim. Genel merkez sistemi o kadar beğendi ki sistemimin adını taşıyan yıllık bir ödül oluşturdu; sonuçta hoşlandığım kişinin adını taşıyan bir ödül olmuştu ama gerçek kökenini anlatmaya çok utanıyordum
      Üzerinden 25 yıl geçmesine rağmen hâlâ her yıl eski hoşlandığım kişinin adının basılı olduğu kupalar hazırlanıp veriliyor. O kişi bilse herhalde dehşete düşerdi

  • Böyle şeyler ezelden beri var
    Eskiden VT100 terminalleriyle dolu bir odaya girmiştim; dönem sonu hafta sonuydu ve sıkılmış CS öğrencileri derlemelerin bitmesini bekliyordu. Sisteme bakınca tüm derlemelerin batch kuyruğuna atıldığını, ama o kuyruğun varsayılan önceliğinin etkileşimli işlerden daha düşük olduğunu gördüm. Bu yüzden herhangi bir yerden tek bir tuş girişi bile daha yüksek öncelik alıyordu; insanlar kendi derleme işlerinin durumunu kontrol ettikçe işler daha da yavaşlıyordu
    Sonraki 15 dakika boyunca kuyruğun en üstündeki işin önceliğini sürekli yükselttim; bir saat sonra herkes işini bitirip eve gitti. Oda bana kalmıştı. Yetkisiz sistem yöneticisinin zaferiydi ;-)

  • Birkaç ay önce sürekli büyüyen ve ayda 80 bin dolar yiyen bir S3 bucket’ı bulup şirkete yılda 1 milyon dolar tasarruf ettirdim
    İnceleyince artık kullanılmayan bir sistemin dosyaları bu bucket’a kopyaladığını gördüm. Paydaşlarla iletişime geçtim; onlar da kapatıp dosyaları sildi
    Üst yönetim pek umursamıyor gibiydi. Müdürümün müdürü, aslında bunu yakalamış olması gereken başka bir ekiple iletişime geçmemi söyledi; konu orada kapandı

    • Kullandığımız SaaS sağlayıcısında da böyle bir şey oluyor. Söyledim ama pek önemsemediler. Muhtemelen VC parasıdır :D

  • “Örneğin, [table name deleted]_HOURLY’ye 234.745 INSERT çalıştırdınız ve bunların hepsi 1000 satırın altındaydı”
    Bu, kuruluşumuzun Snowflake destek Slack’inde gerçekten yazılan bir şeydi ve neredeyse aynı problemdi. Zamana yayılmış küçük transaction’lar cluster’ı sürekli uyandırıyordu. Bu ürün, az hacimli sürekli yükleme gibi yaygın bir kullanım senaryosu için tasarlanmamış
    Ben gerçek deneyimi olan bir data warehouse yöneticisiyim; insanların maliyet aşımlarını tek tek yaşayıp benim iş tanımımı yeniden keşfetmesini izliyorum. “Kendi kendini yönetiyor ama maliyeti izlememiz, yüklemeleri ve sorguları daha verimli olacak şekilde yeniden yazmamız gerekiyor” gibi şeyleri ciddi ciddi söylüyorlar. Bütün gün ne yaptığımı sandıklarını sormaya korkuyorum

  • Çok uzun zaman önce, uzak bir galakside, N × (Oracle lisansı + Sun sunucusu) gerektiren bir işi 100 satırdan kısa bir Perl script’i ve tek bir Sun sunucusuyla değiştirerek yılda 300 milyon dolardan fazla tasarruf sağlamıştım
    Bu süreçte MapReduce’u da icat ettim. Google’dan önceydi
    Problem, web sunucusu log’larından çeşitli istatistikler hesaplamaktı. Örneğin en popüler 10 sayfa gibi. Asıl çözüm, log’lar devasa olduğu için hepsini birden fazla sunucuda çalışan Oracle veritabanlarına yüklemek, ardından birkaç SQL sorgusu çalıştırmak ve bunu her gün tekrarlamaktı

  • Yazarın yazısına gelen etkileyici HN yorumları galerisi harika: https://ludic.mataroa.blog/compliments/

    • Bazıları haklı. Yazar zaman zaman biraz benmerkezci görünüyor. “Diğer herkes beceriksiz, kurtarıcı benim” varsayımıyla yola çıkıyor gibi
      Kurum içindeki birçok kişinin yazardan çok daha ileride olması da gayet olası. Aynı gruptaki bir mühendisin ya da yöneticinin, maliyet düşürme zamanı geldiğinde kullanmak için o verimsizliği kenarda saklıyor olması ve yazarın bu fırsatı mahvetmiş olması daha muhtemel. O zaman kesilecek bir şey kalmadığında büyük acı ve kötü performans değerlendirmeleri kaçınılmaz olabilir
    • Ne yazık ki uyku halinde olan @shit_hn_says’i hatırlatıyor [1]
      Muhtemelen HN’deki tartışma seviyesi düştüğü ve artık neredeyse her yorum hedef olabilecek hale geldiği için uyku halindedir
      [1] https://twitter.com/shit_hn_says