Son dönemde üretken yapay zeka hizmetlerinin hızla artmasıyla birlikte PM rolünde köklü bir değişim yaşanıyor.
Bu durum QA rolü için de geçerli.
Geçmişte PM gereksinimleri (Spec) tanımlar, QA ise işlevlerin düzgün çalışıp çalışmadığını (Pass/Fail) doğrulardı; ancak yapay zeka çağında kalite, PM’in doğrudan 'tanımlaması' ve 'değerlendirmesi' gereken bir alan haline geldi.
- Neden kaliteden QA değil de PM sorumlu?
- Doğru cevabın yokluğu: Yapay zeka yanıtları doğru ya da yanlış olma meselesi değil, 'iyi' ile 'kötü' arasındaki bir spektrum üzerinde yer alır.
- Değerlendirmenin öznel yapısı: "Doğal mı?", "Yardımcı oluyor mu?" gibi nitel kriterleri, ürün vizyonunu en iyi bilen PM tanımlayabilir.
- Tanımın kendisi kalitedir: Yapay zeka hizmetlerinde kalite, testle yakalanan bir şey değil; en baştan neyin 'iyi sonuç' olduğunun tanımlanmasıyla başlar.
- Genel hizmetler vs yapay zeka hizmetlerinde kalite yönetimi karşılaştırması
Geleneksel yazılım hizmetleri ile yapay zeka hizmetleri arasında kaliteye bakış açısından yönetim yöntemine kadar büyük farklar vardır.
-
Kalitenin ölçütü ve kararı: Genel hizmetlerde plan dokümanı başlı başına doğru cevaptır. Butonun çalışıp çalışmadığı, ödemenin yapılıp yapılmadığı gibi 'doğru/yanlış (Pass or Fail)' net biçimde ayrılabilen bir O/X testi gibidir. Buna karşılık yapay zeka hizmetlerinde net bir doğru cevap yerine yalnızca 'örnek yanıt' vardır. Kalite, süreklilik gösteren bir spektrum üzerinde bulunduğu için, doğru cevaptan çok sonucun ne kadar optimize olduğunun değerlendirildiği kompozisyon sınavı puanlamasına daha yakındır.
-
Kalite yönetiminin odağı ve sorumluluğu: Genel hizmetlerde işlevlerin plana uygun şekilde tamamlanıp tamamlanmadığını doğrulayan 'kalite güvencesi (QA)' önemlidir ve sorumluluk çoğunlukla QA organizasyonundadır. Ancak yapay zeka hizmetlerinde esas olan, neyin iyi sonuç sayılacağına dair **'değerlendirme tasarımı'**dır. Bu nedenle kalite için nihai sorumlu, ürün vizyonunu en iyi bilen PM olur.
-
Doğrulama yöntemindeki değişim: Geçmişte belirlenmiş senaryolara göre işlevin çalışıp çalışmadığı test edilirdi; yapay zeka hizmetlerinde ise insanlar çıktıları doğrudan inceleyip karar verdiği nitel değerlendirme (Human Eval) süreci devreye girer. Bunun ötesinde, PM’in oluşturduğu ölçütleri öğrenmiş bir LLM, değerlendirici (LLM Judge) olarak kullanılarak büyük veri hacimleri otomatik biçimde doğrulanır ve kalite bu şekilde iyileştirilir.
- Yapay zeka PM’leri için 5 adımlı kalite yönetimi
- Rehber olmadan doğrudan puan verin: Örnek verileri seçip bizzat puanlayarak kendi yargı ölçütlerinizi fark edin.
- Ölçütleri yazılı hale getirin: "Özgüllük", "gerçekçilik" gibi belirsiz hisleri açıklanabilir bir dille tanımlayın.
- Veri kümesi oluşturun: Hizmetin çözmesi gereken temel soru listesini ve örnek yanıtları hazırlayın.
- Değerlendirmeyi otomatikleştirin (LLM Judge): Tanımladığınız ölçütlere dayanarak LLM’in büyük miktardaki sonucu değerlendirmesini sağlayın.\
- Metriği sorgulayın: Değerlendirme puanı yükselse bile kullanıcı memnuniyeti düşükse, ölçütlerin kendisini yeniden gözden geçirin.
💡 İçgörü artık
PM, yalnızca özellik geliştiren kişi değil; 'ürünün değer yargısı ölçütlerini' tasarlayan kişidir. Neyin iyi sonuç olduğunu tanımlamak ve bunu ölçen bir yapı kurmak, yapay zeka çağındaki PM’ler için en güçlü rekabet avantajı olacaktır.
2 yorum
Blog yazısının tamamını okuyunca bunun aslında PM’in zaten yaptığı iş olduğunu gördüm. Sadece yapay zeka çağı geldiği için yöntemin biraz değiştiği anlaşılıyor. Güzel içgörüler için teşekkürler.
Teşekkür ederim.
Planlama da tasarım da yöntemleri sürekli değişiyordu, ama sanki bu hız giderek artıyor.