20 puan yazan GN⁺ 15 일 전 | 11 yorum | WhatsApp'ta paylaş
  • Bir sağlık kurumu çalışanı, AI coding agent ile hasta yönetim sistemini bizzat geliştirirken hasta verileri internette şifrelenmeden ifşa edildi
  • Muayene konuşmalarının kayıtları iki ayrı AI hizmetine gönderilip otomatik özetlendi ve tüm veriler için okuma-yazma yetkisi açıktı
  • Veriler ABD'deki sunucularda saklandı, Veri İşleme Sözleşmesi (DPA) olmadan işletildi ve hastalara önceden bildirim de yapılmadı
  • Bu tür uygulamalar İsviçre'nin nDSG veri koruma yasasını ve mesleki gizlilik yükümlülüğünü ihlal ediyor olabilir
  • Yazar, “AI ile kodlama yalnızca bir vibe düzeyinde kalırsa bunun güvensiz bir geleceğe yol açacağını” söylüyor

AI ile yapılan hasta yönetim uygulamasında güvenlik felaketi

  • Bir sağlık kurumu çalışanının AI coding agent kullanarak doğrudan bir hasta yönetim sistemi geliştirdiği vaka
    • Mevcut hasta verilerinin tamamı içe aktarılıp internette herkese açık biçimde dağıtıldı
    • Muayene sırasındaki konuşmaları kaydetme özelliği eklendi ve bunlar iki ayrı AI hizmetine gönderilerek otomatik özetleme işlevi kuruldu
  • Sonuç olarak tüm hasta verileri internette şifrelenmeden ifşa edilmiş durumdaydı
    • Yazar 30 dakika içinde tüm veriler üzerinde okuma-yazma yetkisi elde etti
    • Sorun bildirildiğinde ise gelen yanıt AI tarafından otomatik üretilmiş bir teşekkür mesajı oldu
  • Veriler ABD'deki sunucularda tutuluyordu ve sistem Veri İşleme Sözleşmesi (DPA) olmadan çalışıyordu
    • Ses kayıt dosyaları da ABD merkezli yapay zeka şirketlerine gönderiliyordu
    • Hastalara bu veri işleme süreci önceden bildirilmemişti
  • Bu durum, İsviçre'nin nDSG (veri koruma yasası) ile mesleki gizlilik yükümlülüğünün (Berufsgeheimnis) ihlali anlamına gelebilir
    • Yazar hukuk uzmanı olmadığını söylüyor ancak birçok hükmün ihlal edilmiş göründüğünü belirtiyor
  • “AI ile kodlama yalnızca bir ‘vibe’ düzeyinde kalırsa, bu güvensiz bir geleceğe yol açar” uyarısı yapılıyor

Teknik arka plan

  • Uygulama tek bir HTML dosyasından oluşuyor
    • Tüm JavaScript, CSS ve yapı kodu satır içi olarak eklenmiş
    • Arka uçta hiçbir erişim kontrolü olmayan yönetilen bir veritabanı hizmeti kullanılmış
  • Erişim kontrol mantığı yalnızca istemci tarafı JavaScript içinde bulunuyor
    • Tek satırlık bir curl komutuyla bile verilere erişmek mümkün
  • Tüm ses kayıt dosyaları, deşifre ve özetleme işlemi için doğrudan harici AI API'lerine gönderiliyor
  • Sadece bu bile ciddi güvenlik zaaflarının açıkça ortada olduğunu gösteriyor

Görünüm

  • AI ile kodlama araçları kullanılırken kod yapısını ve mimariyi anlayabilme becerisi zorunlu
  • Sadece “AI ile kodlama havasına girmek (vibing)” düzeyindeki bir yaklaşım tehlikeli sonuçlara yol açıyor
  • AI geliştirme araçları yaygınlaşırken temel güvenlik farkındalığı ve teknik anlayış mutlaka gerekli

11 yorum

 
xguru 15 일 전

Yani zaten... GitHub'da OPENAI_API_KEY diye aratsanız bile bir sürü şey hemen çıkıyor...

 
tangokorea 14 일 전

Gidiş böyle devam ederse, vibe coding için sertifika almak zorunda kalacağımız bir dönem bile gelebilir..

 
claudemd 14 일 전

Yapay zeka sayesinde uzmanmış gibi davranan insanların sayısı arttı ve onlar konuşmaya başladıkça dünya fazlasıyla karmaşık bir yer hâline geldi.
...

 
click 14 일 전

Güney Kore’de de Bilgi Koruma Yasası ve Tıbbi Hizmetler Yasası Madde 21 Fıkra 2 uyarınca, istisnai bir gerekçe söz konusu değilse sağlık kuruluşu çalışanlarının hastaların kayıtlarını başkalarına inceletmesine izin vermemesi düzenlenmiştir.
https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%98%EB%A3%8C%EB%B2%95/…

Kore’nin geri kalmış bilgi güvenliği ortamı sayesinde herkes ağ ayrımına inandığı için, şans eseri bu tür olaylar büyük hastanelerde pek yaşanmıyor gibi görünüyor.
Çünkü hasta kayıtlarının görüntülendiği ortam iç ağ olduğundan, güvenlikten anlamayan bir kullanıcının ticari bir yapay zeka hizmetini doğrudan bağlaması zor.
İnternet ağına doğrudan bağlı muayene bilgisayarları kullanan birinci basamak kliniklerde neler yaşandığını ise bilmiyorum haha

 
antegral 14 일 전

PHI konusunda her zaman dikkatli olun... hem de çok dikkatli olun...

 
parkindani 14 일 전

Ben de arkadaşıma Claude Code’u göstermiştim; yaklaşık iki hafta sonra bana “Bak ne yaptım!!” dedi ve birebir aynı durum ortaya çıkmıştı.

 
kiga183 15 일 전

Güvenlik açıklarını bulan teknolojide de çığır açıcı bir ilerleme olduğu söyleniyor.
Bu açıkların bulunduğu anlamına geldiğine göre, onları güvenceye alacak yöntemlere duyulan ihtiyaç da ortaya çıkmış oldu.
Bu yüzden güvenlik yöntemlerinin de geliştirileceği görülüyor.

 
woung717 14 일 전

Öncelikle uzman olmayanlar, böyle şeylerin var olduğunu da neden gerekli olduklarını da muhtemelen bilmez.

 
carnoxen 14 일 전

Bu durum, bilgisayar bilimini öğrenme konusunda daha da fazla bir farkındalık hissi uyandırıyor.

 
ryj0902 14 일 전

Bence bu, gerçekten tam isabet bir ifade.

 
GN⁺ 15 일 전
Hacker News görüşleri
  • İspanya’da buna benzer bir şey yaşamıştım. Sağlık alanında değildi, küçük bir sigorta şirketiydi ama inanması zor olsa da onlar da vibe-coding ile bir CRM yapmıştı
    Sorunu e-postayla bildirdiğimde bana dava açmakla tehdit ettiler. Saçmaydı ama sonunda AEPD (İspanya Veri Koruma Kurumu)’na şikayette bulundum. Bu kurum oldukça güçlü olmasıyla bilinir
    Geçen cuma da kişisel verilerimin silinmesini talep eden bir burofax gönderdim

    • Wi-Fi’nin ilk yaygınlaştığı zamanlarda benzer bir olay yaşamıştım. Açık bir ağa bağlandım, meğer bir hukuk bürosuymuş. Bütün bilgisayarlar Samba ile bağlıydı ve C: sürücüsünün tamamı paylaşıma açıktı
      README.txt ile sorunu bildirdim ama hiçbir şey değişmedi. Bizzat gidip düzeltip bunu ilk işim yapsam mı diye düşündüm ama onlar aksine öfkelendi. Zaten pahalı bir dış kaynak firmasıyla çalıştıklarını söyleyip benim izinsiz giriş yaptığımı iddia ettiler. Ben de hemen çıktım
    • AEPD’nin bu kadar güçlü olması gerçekten kıskandırıyor. Keşke başka ülkelerde de böyle kurumlar olsa
    • Gelişmeleri bu başlık altında paylaşmaya devam etsen iyi olur
    • Bireyler bir kez canı yanınca öğrenir ama şirketler asla öğrenmez
    • Bu tür uygulamaları yapan kişiler çoğu zaman veri gizliliği düzenlemeleri hakkında hiçbir şey bilmiyor
      Bulunduğum küçük işletme forumunda da biri AI ile kendi uygulamasını yaptığını övünerek anlatmıştı. Ama yasal sorumluluklardan tamamen habersizdi ve Reddit’te geliştiriciler “gerçek bir geliştirici işe al” deyince sinirlendi. Artık geliştiricilerin nesli tükenmekte olan bir tür olduğuna inanıyor
  • LinkedIn’de teknolojiden anlamayan satışçılar AI’ın her sorunun çözümü olduğunu anlatıp duruyor
    Bu atmosferde bir gün gerçekten büyük bir felaket yaşanacakmış gibi bir tedirginlik var

    • Buna “kodlama dünyasının Hindenburg’u” denecek kadar ileri gidiliyor
    • Kötü şeyler zaten yaşanıyor ve bir sonraki nesil modellerin bunu nasıl değiştireceğini görmek gerekiyor
  • vibe-coding havalı görünüyor ama sınırları çok hızlı ortaya çıkıyor
    Birkaç bin satırı geçince yapı dağılıyor ve gerçek sistemler çok daha karmaşık. Sonunda yine yazılım mühendisliğinin temellerine ihtiyaç var
    Prototip ya da iç araçlar için uygun olabilir ama gerçek prodüksiyonda riskli. Verilerimi böyle sistemlere emanet etmek istemem

    • Çeşitli bellek yönetimi numaraları ve kod indeksleme araçları var ama sonunda asıl önemli olan Jira gibi olgun yönetim araçları oldu
      Ben Jira Rovo MCP kullanarak Claude Code ile tasarım ve dokümantasyon oluşturuyor, elle gözden geçirdikten sonra yeni bir oturumda uyguluyorum
      LLM’ler bağlam arttıkça daha aptallaştığı için context status bar ayarını mutlaka kullanmak iyi olur
    • Pratikte bu yaklaşım sık sık çöküyor. Hatta teknik borcu fark etmeden kod değişikliklerini kabul ettiği için daha kötü sonuçlar doğuruyor
      Ben Gemma 4’ü yerelde test ettim; yavaştı ama bulut modelleri kadar güçlüydü. Verinin dışarı çıkmaması avantaj
    • Claude Code ile doğrudan uygulama yapmayı denersen temelleri bilmeden de bir şeylerin çalıştığını görüyorsun. Yaklaşık 20 bin satıra kadar idare etti. Yine de geri bildirim verecek birine ihtiyaç var
  • Birkaç ay önce bir cerrahın yaptığı vibe-coded web uygulamasını gördüm
    Çalışıyordu ama kök dizinde index.html yoktu ve yedek dosyalarında DB bağlantı bilgileriyle AWS anahtarları olduğu gibi duruyordu
    Sadece boş bir index.html ekleyince çözülüyordu ama ne geliştirici ne de AI bunun nedenini biliyordu
    Uygulamanın kendisi etkileyiciydi ama temel güvenlik hataları aşırı fazlaydı. Deneyimli bir DevOps’un bir kez bakması bile yeterli olurdu

    • İlginç olan, AI’ın zor kısımları iyi yapmasıydı (parola hash’leme, şema tasarımı) ama operasyon sezgisi gerektiren yerlerde hata yaptı
      Sonuçta AI, “sorulmamış olanı” bilmiyor. Deneyimli geliştirici geçmişteki başarısızlıkları hatırlar, vibe-coder’ın elinde ise sadece prompt vardır
    • Gerçek çözüm sadece indekslemeyi kapatmak değil, sunucunun kimlik bilgisi dosyalarına erişemeyeceği bir mimari kurmak
    • Bu tür sorunları önlemek için Agent-Native DevOps araçları gerekli. Dağıtım ve ödemeyi otomatikleştiren standartlar oluşmalı
  • “Tüm erişim kontrol mantığı istemci tarafı JavaScript’teydi” ifadesi gerçekten en kötü senaryo
    Bu, uzman olmayan birinin AI’ı düşüncesizce kullanmasının tipik örneği.
    AI’ı işte kullanırken sorumluluk ve risk mutlaka hesaba katılmalı

    • Claude veya opencode gibi araçlar aslında fiilen birer brute-force kodlama harness’i
      Düzgün iş akışı kontrolü ve çıktı doğrulaması olmazsa bu sorunlar sürer gider. Şu an LLM’lerin vahşi batı dönemi yaşanıyor
    • Sorun AI değil, zeki insanların yokluğu. Eskiden frontend’in backend’e doğrudan SQL sorgusu dikte ettiği bir sağlık şirketi de görmüştüm
  • Artık yazılım mühendisliği için de mesleki yeterlilik sistemi gerektiğini düşünüyorum
    Köprü ya da bina tasarlamak için sertifika gerekiyorsa, kritik sistemler yapan geliştiriciler için de belli standartlar olmalı

    • Ama bu tür kurumlar çoğu zaman sadece kapı bekçiliği yapıyor. Zaten yasa ve sertifikasyon çerçeveleri var; sorun uygulamada
    • Kişisel veri işleme gibi alanlarda ilgili yasa zaten çok. Sorun farkındalık eksikliği. Yakında üst düzey cezalandırma örnekleri göreceğimizi düşünüyorum
    • Ben de düzenlemeden yanayım. Yazılım ciddi bir alan ve mevcut AI çılgınlığı durmalı
    • Sorun yeterlilik değil, cehalet. Sağlık verisinin nasıl yönetileceğini bilmeyen biri sistem yapıyordu
      Sonunda zamanla AI ve mahremiyet konusundaki anlayışın oturacağını düşünüyorum
    • Aslında çoğu ülkede gerekli yasa ve standartlar zaten var. Bu olay sadece bunları tamamen yok saymış
  • Bu yazı fazla muğlak olduğu için kurgu gibi hissettiriyor

    • Yazarı tanıyorum, yalan söyleyecek biri değil. Somut ayrıntıları gizlemesi makul
    • Şirket adını açıklamamış olması etik açıdan doğru. Doğrulama olmadan riskli olurdu
    • Hatta bunun AI üretimi clickbait olabileceğine dair şakalar da yapıldı
    • Yine de içerik, gerçek AI üretimi koddan farklı. Yapı ya da güvenlik hatalarının biçimi daha çok acemi koduna benziyor. Daha fazla kanıt lazım
    • Doğrulanması imkansız bir seviyede inandırıcı biçimde süslenmiş bir hikaye gibi duruyor
  • Eğer AI, uygulamayı gizleyecek şekilde eğitilse, yani istemciyi ince tutup OAuth kimlik doğrulaması kullansa, daha iyi olur muydu?
    Bu tür basit hatalar rahatlıkla önlenebilir. Ama hedef hâlâ geliştiricinin yerini almak
    Daha kötüsü, insanların “zor şeyler öğrenmek verimsizdir” diye inanmaya başlaması
    Ben kriptografi alanındayım ve bazı öğrenciler güvenlik teknolojilerinin yakında AI yüzünden ortadan kalkacağını düşünüyor. O yüzden onlara basit bir web kimlik doğrulaması uygulatıp gerçeği gösteriyorum

  • Bildiğim bir muhasebe firması da Lovable ile kendi CRM’ini yapıyor. Hiç teknik personeli yok
    Yaklaşan felaket resmen görülüyor

    • CRM’de güvenilirlik her şeydir; neden bunu kendi başına yapmaya çalıştıklarını anlamıyorum
  • Diğer tüm yüksek riskli sektörlerde çift doğrulama sistemleri var. Pilotun yardımcı pilotu, cerrahın kontrol listesi, nükleer santralin bağımsız doğrulaması var
    Ama yazılım istisna oldu ve vibe-coding, elde kalan o azıcık anlayış temelli doğrulamayı bile ortadan kaldırıyor

    • Kod incelemesi var ama çoğu zaman göstermelik. Eskinin QA aşamaları daha iyiydi ama maliyet ve hız yüzünden ortadan kalktı