ChatGPT ve API’de yaşanan büyük çaplı kesinti

• 8 Kasım 5:42AM~7:16AM PT sırasında OpenAI’nin ChatGPT ve API genelinde isteklerin önemli bir bölümü 502 veya 503 hatasıyla başarısız oldu; tüm modeller ve API uç noktaları etkilendi
• Yönlendirme katmanı düğümleri bellek sınırına ulaşıp hazırlık durumu denetimlerini geçemedi ve yeterli sayıda düğüm unavailable durumuna geçince gelen trafiği işleyecek kapasite yetersiz kaldı
• O gün sabah saatlerinde completion istekleri önceki tüm günlere kıyasla çok daha fazla arttı ve mevcut bellek sorununun hizmet genelinde kesintiye dönüşmesine yol açan tipping point oldu
• Kurtarma, gelen trafiği sınırlama, hizmeti büyük ölçekte yeniden dağıtma ve trafiği kademeli olarak yeniden açma adımlarıyla gerçekleştirildi; responseBuffer yeniden kullanımı düzeltildikten sonra bellek ve CPU kullanımı 3 kat iyileşti
• OpenAI bellek sınırını ayarladı, rate limit tabanlı yük azaltma uyguladı ve kapasiteyi artırdı; ayrıca bellek uyarıları ile otomatik ölçekleme (auto scaling) yapılandırmasını eklemeyi planlıyor

---

Kesintinin kapsamı ve doğrudan nedeni

• 8 Kasım 5:42AM~7:16AM PT arasında OpenAI isteklerinin önemli bir kısmı 502 veya 503 hatasıyla başarısız oldu
• Kesinti süresince tüm modeller ve API uç noktalarında ciddi ölçüde başarısızlık yaşandı
• Doğrudan neden, yönlendirme katmanı düğümlerinin bellek sınırına ulaşıp hazırlık durumu denetimlerini geçememesiydi
  • Hizmet içinde yeterli sayıda düğüm unavailable durumuna geçti
  • Gelen trafiği işleyecek yeterli kapasite kalmadı
  • Hizmet kendi kendine toparlanamadı
• O gün sabah saatlerinde completion istekleri önceki tüm günlerden çok daha fazlaydı ve bu durum kesintiyi tetikleyen tipping point olarak işledi

Kurtarma adımları ve tekrarını önleme

• Anlık müdahale, üç adımı birlikte yürütme şeklindeydi
  • Gelen trafiği sınırlama
  • Hizmeti büyük ölçekte yeniden dağıtma
  • Trafiği yavaş yavaş yeniden artırma
• Süregelen bellek sorununun temel nedeni, döngü içinde responseBuffer yeniden kullanılmadan sürekli yeni tahsis yapılmasıydı
  • İstekler arttığında GC’nin geride kalması sorunu ortaya çıktı
  • Düzeltme, tamponu önceden tahsis edip yeniden kullanma şeklinde yapıldı
  • Dağıtımdan sonra hem bellek hem CPU kullanımı 3 kat iyileşti
• Hâlihazırda uygulanan ek önlemler:
  • Ayarlanmış bellek sınırı uygun seviyeye getirilerek hizmette kayda değer headroom sağlandı
  • Trafiği daha yumuşak biçimde kısmak için rate limit controls uygulandı
  • Ek bir önleyici adım olarak hizmet kapasitesi artırıldı
• İleride uygulanacak değişiklikler:
  • Bellek davranışı hizmet sorununa dönüşmeden önce yakalamaya yönelik uyarı değişiklikleri uygulanacak
  • Geçmişte kapasite eklemek upstream service üzerinde olumsuz etki yaratabildiği için bu hizmette otomatik ölçekleme etkinleştirilemiyordu
  • Bu temel sorun çözüldüğünden OpenAI bu hizmet için otomatik ölçekleme yapılandıracak
• Uzun süreli API kesintileri müşteri ürünlerini ve işletmeleri etkiler; bu ölçekteki bir kesinti ise özellikle büyük zarara yol açabilir

[xguru]

Bu geliştirici etkinliğinin etkisiyle sanırım bir şekilde trafik yığılmış. GPT-4 Turbo'nun çıktısı da gerçekten epey değişti. GN+ özeti için de prompt'u neredeyse hiç değiştirmedim ama biçim değişmiş.

[GN⁺]

Hacker News yorumları

• ChatGPT çöktüğü için bugün ilk kez Google Bard kullandım ve dürüst olmak gerekirse epey iyiydi
  ChatGPT’den açıklaması zor, hafif farklı bir üslubu var

  • Bard sık sık tavsiye ediliyor ama neredeyse her seferinde yanlış ya da yanıltıcı bilgi veriyor
  • Bard’ın eğitim verisi ve eğitim yöntemi farklı, bu yüzden ChatGPT’den neden farklı olduğunu bir ölçüde anlamak mümkün
    Kullanıcı açısından bakınca, istenen cevabı almak için yönlendirme biçimi farklı ve soru sorma şekliyle prompt engineering de değişmeli
  • Aynı nedenle bugün ilk kez kullandım ama daha yavaştı ve kodlama konusunda çok daha zayıftı
    Sadece bir SQL toplulaştırma sorgusu sormuştum ama sorgu gereksinimlerinin bir kısmını düpedüz yok saydı
  • Bard’ın filtreleri aşırı saldırgan görünüyor
    Fantezi dünyasında geçen bir hırsız karakter fikri üzerine beyin fırtınası yapsan bile, örneğin Lies of Locke Lamora havasında olsa da, sık sık yardımcı olmayı reddediyor
    Kullanıcıya göstermeden önce çıktıya bir tür sezgisel filtre uyguluyor gibi görünüyor; prompt’u biraz değiştirince bazen geçebiliyor
    ChatGPT tarafı ise fantezi suçun gerçek suç işleme bilgisi olmadığını anlayacak kadar akıllı
  • https://you.com/chat kullandım, fena değildi
    GPT4 modeli için ücretsiz bir aylık deneme kuponu "codegpt" var, GPT3.5 ise ücretsiz

• Phind, kodlama için oldukça iyi ve Llama 2 tabanlı olduğu için, üzerine eklenen onlarca milyar kod token’ı ile eğitildiğinden hâlâ ayakta: https://www.phind.com/s

  • İnsanların Phind’i nasıl kullandığını merak ediyorum
    Kısa süre önce doğrudan Phind ile konuştum; bana yardımcı olabilmesi için sözünü ettiğim modelleri anlamak adına kod tabanımı okuması gerekmez mi diye sordum
    Kod tabanını bilmeden, en basit fonksiyonlar dışında düzgün kullanılamayacağını düşünüyorum
    Phind de buna katıldı ama gerçekte kod tabanını içeri alamadığını söyledi
    Oldukça derli toplu konuşuyordu ve ne dediğimi anlıyormuş gibi görünüyordu
    Eğer önemsiz olmayan bir sınıfı parametre olarak alan ya da döndüren fonksiyonlarda yardımcı olamıyorsa, değerinin tam olarak nereden geldiğini bilmiyorum
  • Phind ile çok sayıda iyi sonuç aldım
    En yeni ince ayar modeli V7 kullanırken iyi hissettirdi ve çoğu açık kaynak modelden daha iyiydi
    Yalnız bağlantının sonunda s var, bu yüzden 404 veriyor
  • Phind’de biraz tutarlılık sorunu vardı ama genel olarak büyük bir şikâyetim yok
    Büyük prompt’larda yanıt gelmemesi ya da cevap seçeneklerinin kaybolması gibi küçük hatalar bazen oluyordu
    Genel olarak ChatGPT ile birlikte fikir alışverişi yapmak ya da farklı bakış açıları edinmek için iyi uyuyor
    Bilgiyi aldığı web sitelerini gösteren alıntı özelliği de çok iyi yapılmış
  • Phind de çökmüş gibi görünüyor
    "The inference service may be temporarily unavailable - we have alerts for this and will be fixing it soon."
  • Az önce denedim: https://www.phind.com/search?cache=on5whfczqko9igz84bvacksk
    Bana kalırsa tamamen halüsinasyon. Doküman bağlantıları vermesi güzel
    Düzeltme: astrojs yerine vite yazınca çok iyi ve doğru bir cevap verdi: https://www.phind.com/search?cache=rh6s7pydzi3312b7rf43i7cm
    Oldukça etkileyici

• Vay, gerçekten soğuk ter döktüm
  Yaklaşık 48 saat önce, ürün lansmanından hemen önce hizmetlerimizin çoğunu Azure OpenAI’a taşımıştık ama bu kesintiden etkilenmedik
  Gerçekten rahatladım

  • İlginç. Yani Azure OpenAI etkilenmedi mi demek istiyorsun?
    OpenAI API ile sistem güncellemelerini aynı anda mı alıyor, fiyatlandırması da aynı mı, merak ediyorum

• HuggingFace’in çeşitli açık kaynak sohbet modelleri barındırdığını söylemek için tam zamanı
  Kişisel olarak sevdiğim modellerden biri, Mistral 7B’nin ince ayarlanmış bir sürümü: https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat

  • Daha önce yerel büyük dil modelleriyle biraz deney yapmıştım ama o zamanlar 3080 Ti’da çalışacak kadar küçük ve iyi bir model bulamamıştım
    Bu model, zar zor kullanılabilir bir hızda çalışacak kadar küçük; saniyede biraz daha fazla 1 token üretiyor ve şu ana kadar GPT3.5’e neredeyse yakın bir seviyede görünüyor
  • Ücretsizse nasıl para kazandığını merak ediyorum

• Bard’ın parlayacağı an demeye hazırlanıyordum ama görünüşe göre Bard da kesinti yaşadı

  • Bard’a bakmaya gittim; ekran sade ve UI gerçekten çok iyiydi
    Yanıtlar da iyi düzenlenmiş ve göze hoş görünüyordu
    Keşke yapay zeka tarafı da OpenAI kadar iyi olsaydı
  • Galiba folyo şapkaları hazırlamanın zamanı geldi. Bu tesadüf olamaz :D
  • "Something went wrong. Sorry, Bard is still experimental" yazıyor
    Sanırım fırsatı kaçırdılar
  • Bard hâlâ fazla ürkek ve üstelik hâlâ uluslararası bir hizmet bile değil
  • Sanırım birbirleriyle konuşmaya başladılar

• Kimin ChatGPT ile HN yorumu yazdığını, bir anda sessizleşen gevezelere bakarak görmek istiyorsanız, HN yorumlarını kazımak için tam zamanı

  • Hehe. Bir büyük dil modeli olarak, diğer insanların bu insanın söylediklerini takip etmemesi gerektiğini düşünüyorum ;)

• Kesintiyi fark ettim
  Birçok insan ChatGPT’yi bisikletin yardımcı tekerlekleri gibi kullanıyor ve yardımcı tekerlekler olmadan sürmeyi nasıl yapacağını unutuyormuş gibi geliyor

  • O benzetmeyle bakarsak, yardımcı tekerleklerden çok koltuk değneğine daha yakın görünüyor
    Onsuz süremiyorsan, aslında hiçbir şeyi eğitmemişsin demektir
  • Hatta daha çok şu his gibi
    Geleneksel bir motosiklet yapıyorsun, biri elektrikli bisiklet motoru öneriyor ve henüz içten yanmalı motor da olmadığı için bununla demoyu ya da pazara çıkışı hızlandıralım, sonra gerçek motorla değiştiririz diye düşünüyorsun
    Ama gidonu tamamladığın sırada elektrikli bisiklet motoru dört kez yükseltilmiş oluyor ve herhangi bir içten yanmalı motordan daha iyi hale geliyor. O zaman değiştirmenin pek bir nedeni kalmıyor
    Sen pazara ulaştığında o motor birkaç kez daha güncellenmiş olabilir; hatta tamamen otonom hale gelmiş, uçabiliyor bile olabilir
    Üstelik kendini kopyalama yeteneği de kazanmış olabilir; bu noktada alıcıların artık sana ihtiyaç duymaması bile mümkün

• Artık milyonlarca junior geliştirici kullanım kılavuzunu okumak zorunda kalacak
  Büyük gün

  • ChatGPT’ye geçişin ve ona bağımlılığın ne kadar ani ve tam olduğunu görmek şaşırtıcı
    Mesleğimizin son günleri, tadını çıkaralım
  • Kullanım kılavuzu okumak dinozorların işi; artık Google’lamak gerekiyor

• Bugün Bard’ı denedim, epey iyileşmiş

  • Umarım öyledir
    Bard’ın sorunları hâlâ beni şaşırtıyor
    Geçen ay bir olgu hakkında yalan söyledi, daha fazla ayrıntı sorunca da e-posta gönderdiğini iddia etti
    Sonra aslında e-posta göndermediği ortaya çıktı ve gönderemeyeceğini zaten “bildiğini” söyleyerek özür diledi
    “Bilmiyorum” diyemeyip onun yerine yalan söyleyen bir arkadaş gibi
    Lizbon’daki ‘Christ the King’ heykelinin içinde hiç pazar kurulup kurulmadığını sormuştum; yerel birinden duyduğum bir söylentiyi doğrulamaya çalışıyordum
    Gerçekte hiç olmamıştı ama Bard olduğuna inanmıştı

• Neyse ki OpenAI’nin bir hizmet seviyesi sözleşmesi yok: https://help.openai.com/en/articles/5008641-is-there-an-sla-for-latency-guarantees-on-the-various-engines

  • Bunu GPT’nin ateşli bir hayranı olarak söylüyorum: OpenAI’nin bir şirket olarak ne kadar berbat olduğu ve buna rağmen hepimizin o korkunç platforma ne kadar hızlı atladığı gerçekten şaşırtıcı
    9 ay önce yeni işimde kurumsal OpenAI hesabına giriş yapamamama neden olan bir hata vardı
    Destek talebime yanıt vermeleri 6 ay sürdü ve aldığım şey, sorunuma hiç değmeyen genel bir kopyala-yapıştır cevaptı
    Muazzam miktarda para harcıyorduk ama ne yanıt alabiliyor ne de telefonda ulaşacak birini bulabiliyorduk
    Sonunda iş arkadaşlarımdan benim yerime bütün anahtarları oluşturmalarını istemek zorunda kaldım
    Ardından yaklaşık 8 ay sonra bir gün, hiçbir sebep yokken aniden yeniden çalışmaya başladı
    Hemen sonrasında Azure OpenAI Service’e geçtik; çünkü ciddi bir şirketin kullanması için OpenAI platformu felaket derecede kötüydü