- PostHog’un 12 ay boyunca Max AI adlı yapay zeka özelliğini geliştirirken edindiği pratik deneyimlere dayanarak, doğru özelliği seçmekten uygulamaya ve iyileştirmeye kadar tüm süreci sistematik hale getiren bir rehber
- Yapay zeka özellikleri, yavaş, güvenilmez veya anlamsız sorunları çözdüğünde ürünü iyileştirmek yerine daha kötü hale getirebilir; bu yüzden doğrulanmış kalıplardan (veri arama/özetleme, üreticiler, araç kullanımı) yararlanmak gerekir
- Uygulama aşamasında uygulamanın bağlamı ve durum yönetimi kritik önemdedir; sorgu planlama ve koşullu yönlendirme ile yapay zekayı doğru yöne sevk etmeli, izleme ve guardrail’lerle başarısızlıklara hazırlıklı olunmalıdır
- Hız optimizasyonu için model benchmark’ları sürekli takip edilmeli, göreve göre hızlı ve yavaş modeller birlikte kullanılmalı ve asenkron işleme tercih edilmelidir
- Sürekli değerlendirme ve iyileştirme için en baştan eval eklenmeli, A/B testleri yürütülmeli, yapay zeka bilgisinin silo haline gelmesi önlenmeli ve uzmanlık tüm ekibe yayılmalıdır
Ne inşa edeceğinizi seçmek
- Yapay zekanın ürünü kötüleştirebileceğini kabul etmeli ve fazla yavaş, güvenilmez ya da kimsenin önemsemediği sorunları çözen hatalı özellikler geliştirmemelisiniz
1. Yapay zekanın iyi olduğu kalıpları öğrenin
- Kanıtlanmış yapay zeka kalıplarını kopyalayarak, kullanıcıların aşina olduğu UX kalıplarını yapay zekanın gerçekten iyi yaptığı işlerle birleştirin
- Birinci kalıp: "belgeler/veri/PDF ile sohbet" - yapay zeka arama ve özetlemede çok iyidir; bunu kullanarak raporlar ve öneriler üretebilir (ör. Intercom’un Fin’i, Mintlify’ın doküman sohbeti)
- İkinci kalıp: çeşitli türlerde üreticiler - başlık, kod, belge, SQL, görsel, filtre vb. üretir (ör. Lovable, Bolt.new, Figma, Rippling, Notion)
- Üçüncü kalıp: araç kullanımı - yapay zeka iyi tanımlanmış araçları kullanarak iş akışlarını otomatikleştirir ve iyileştirir (ör. MCP server, Zapier, Atlassian, Asana)
- PostHog’un Max AI’ı birden fazla kalıptan yararlanıyor
- Veri ve belgelerle sohbet
- SQL içgörüleri ve filtre üretimi
- Anket oluşturma ve analiz içgörüleri gibi araç kullanımı
- Gelecekte oturum kayıtlarını otomatik izleme ve analiz etme gibi araç kullanımını genişletme planı
2. Yapay zekanın çözebileceği sorunları belirleyin
- Ürünün genelinde, yapay zekanın sağlayabileceği değere odaklanarak görevleri gözden geçirin
- 30 saniyeden uzun süren net tekil görevler - uzun formlar doldurma, manuel veri girişi, entegrasyon kurulumu, SDK kurulumu vb.
- Kullanıcının anlamadığı bir dilin veya arayüzün kullanılmasını gerektiren durumlar - karmaşık UI, SQL sorguları, uygulama oluşturma vb.
- 20 kereden fazla tekrarlanan görevler - açıklama yazma, özet hazırlama, öğe oluşturma vb.
- incident.io’dan Stephen Whitworth’un tavsiyesi: "Yapay zekanın yapabileceği havalı yeni şeylere" değil, "kullanıcının günde 100 kez yaptığı işi yapay zekayla daha iyi hale getirmeye" odaklanın
- Örnek: kullanıcılar, olay özeti yazmak yerine otomatik oluşturulan olay özetlerini çok daha fazla tercih ediyor; bugün olay özetlerinin %75’i yapay zeka ile oluşturuluyor
- PostHog’daki kullanım örnekleri
- Yapay zeka kurulum sihirbazı: PostHog kurulum süresini yaklaşık 10 dakikadan 90 saniyeye indirdi
- Max AI’ın SQL çevirisi: karmaşık SQL sorgularını doğal dille kolayca yazmayı sağlayarak, SQL’e aşina olmayan kullanıcıların da özelleştirilmiş içgörüler üretmesine imkan tanıyor
3. Sorunun somut ve değerli olduğunu doğrulayın
- Kapsamı somut ve değerli bir soruna daraltmalısınız
- Kaçınılması gereken tuzaklar
- Değersiz bir soruna mevcut kalıbı uygulamak: erken aşamadaki basit bir üründe "belgelerle sohbet" özelliği gereksiz olabilir ve temel kullanılabilirlik sorunlarını gizleyebilir
- Yapay zekayla fazla büyük bir sorunu çözmeye çalışmak: yapay zeka size 1 milyar dolar kazandırmaz; önce dar bir sorunu çözmek, sonra genişlemek daha iyidir
- Max’i geliştirirken, "Geliri nasıl artırırız?" gibi aşırı geniş soruların etkili olmadığını hızla fark ettiler
- Bunun yerine PostHog’a entegre olan ve kullanıcının PostHog bağlamını kullanan somut özelliklere odaklandılar
- Örnek: Max, hangi tabloların kullanılabildiğini bildiği için daha iyi SQL yazıyor; ayrıca yerleşik ve kullanılabilir araçları anladığı için ürünle ilgili soruları yerel görselleştirmelerle yanıtlayabiliyor
Fikri hayata geçirmek
- İnşa etmek istediğiniz şeyin gerçekten çalıştığından emin olmak için temel unsurlara odaklanın
4. Uygulamanın bağlamı ve durumu kritiktir
- Herkes OpenAI API’sini çağırabilir, ancak uygulamanın bağlamı benzersizdir
- Dahil edilebilecek veriler
- Kullanıcının yapmaya çalıştığı şey
- Bunu kimin yaptığı
- Hesap durumu
- Uygulama içindeki konum
- Uygulamanın veri şeması
- Max’e "Geçen hafta kayıtlar neden azaldı?" diye sorulduğunda API’nin aldığı bilgiler
- Mevcut sayfa (dashboard, gösterilen içgörüler, uygulanan filtreler, kullanıcı rolü)
- Veri şeması (kullanılabilir event’ler, event özellikleri, kişi özellikleri)
- Hesap (organizasyon katmanı, saat dilimi, saklama süresi)
- Kod örneğiyle UI bağlamını biçimlendirme
- Dashboard bilgisi (ad, gösterilen içgörüler, uygulanan filtreler, tarih aralığı)
- İçgörü bilgisi (ad, sorgu türü, analiz edilen event, kırılım)
- İş akışı içinde "bağlam"ın (durumun) işlenmesi de zorunludur
- Konuşma ilerledikçe bağlamın kaybolmaması gerekir; bu özellikle birden fazla alt ajan olduğunda önemlidir
- İş akışının tüm bölümlerinde bağlamı saklayın ve dahil edin
- Bağlam optimizasyonu ve model seçimi, model ince ayarından daha etkili ve daha kullanışlıdır
5. Sorgu planlama ve koşullu yönlendirme ile yapay zekayı başarıya yönlendirin
- Yapay zekayı sınırsız bırakırsanız her türlü beklenmedik davranışı gösterebilir; bu yüzden başarıya ulaşması için yönlendirilmesi gerekir
- Uygulamayı birden fazla adımı orkestre edip birbirine bağlayarak kurun: sorgu planlama → veri alma → görselleştirme
- Durum yönetimine ek olarak gerekenler
- Yapay zekanın kullanabileceği araçları ve verileri tanıması
- Hedeflenen işe göre doğru araç ve veriyi seçebilmesi
- Sorgu yürütme ve biçimlendirme gibi araçların gerçekten çalıştığından emin olunması
- PostHog’un en üst düzey router örneği
- İçgörü oluşturulup oluşturulmayacağına karar verme
- Doküman araması yapılıp yapılmayacağına karar verme
- Konunun faturalandırma ile ilgili olup olmadığına karar verme
- Her router düğümü, görev için gereken doğru veri ve araçlara bağlanan kendi koşullarına sahiptir
- Bu, yapay zekanın işi tamamlamak için ihtiyaç duyduğu bileşenlere sahip olmasını sağlayarak başarı olasılığını artırır
6. İzleme, guardrail’ler ve hata yönetimiyle başarısızlığa hazırlanın
- Kurduğunuz yapı hataları önlemeye yardımcı olur, ancak yapay zeka eninde sonunda guardrail’lere çarpacağı için guardrail sağlamak şarttır
İzleme
- Sorunların ne zaman ortaya çıktığını bilmek için en baştan izleme kurun
- Max AI ekibinden Georgiy’nin tavsiyeleri
- Prod trace’lerini izlemek kritik önemdedir
- Dogfooding için bir izleme aracı geliştirdiler ve bunun en baştan mevcut olmasını isterlerdi
- Ölçekte trace izlemek zorlaştığı için online eval yardımcı olacaktır (bir sonraki öncelik)
- 100 konuşmayı gözden geçirmek zordur, günde 1.000 konuşmayı incelemek ise imkansızdır
- Bu konuşmalar gerçek kullanıcı sorularını ve zorluklarını içerir; ajan geliştirmek için gereken tüm içgörüleri sağlar
Halüsinasyonu önleme
- Yapay zekanın halüsinasyon üretebileceği her şeyi halüsinasyon üreteceğini varsayın; bu yüzden doğrudan belirlenmesi gereken verileri ve uyulması gereken kuralları açıkça yazın
- Yapay zeka kurulum sihirbazı için kural örnekleri
- API anahtarını asla uydurma; bunun yerine her zaman
.env dosyasında doldurulmuş API anahtarını kullan
- "
// Gerçek uygulamada..." gibi placeholder yorumlar ekleme
- Mevcut iş mantığını değiştirme veya simülasyon kodu ekleme
- Halihazırda kullanılmayan yeni paket ya da kütüphaneleri import etme
- Kimlik doğrulama kütüphanelerinin (Clerk, Auth.js vb.) mevcut olduğunu varsayma
Kullanıcı guardrail’leri
- Boş bir metin kutusu gördüklerinde insanlar çekiniyor ve her şeyi unutuyor
- Çözüm: yapay zeka özelliğinin nasıl kullanılacağına dair öneriler eklemek, kullanıcıyı doğru yöne yönlendirmek ve neler yapılabileceğini hatırlatmak
Hata yönetimi
- İş akışları zaman zaman kesintiye uğrar; bu yüzden yeniden deneme ve rate limiting ile zarif biçimde ele alınmalıdır
- İleri düzey kullanıcılar için LLM analytics, hata takibi ve feature flag’ler yapılandırılabilir
- PostHog bu üçünü de sağlıyor (güzel bir tesadüf)
Özelliği iyileştirmek
- Yapay zeka modelleri hızlı ve öngörülemez biçimde evrildiği için, yapay zeka özellikleri beklenenden daha fazla bakım ve sürekli iyileştirme gerektirir
7. Yapay zeka bilgisinin silo haline gelmesini önleyin
- Yapay zeka özelliği geliştirmek, ekipteki tek bir "yapay zeka sorumlusu"nun işi olmamalıdır
- Yapay zeka ürünün derinliklerine entegre edilmelidir; bu da kullanıcılarla konuşan ve onlar için bir şeyler inşa eden kişilerin uzmanlığını gerektirir
- Önerilen yaklaşım
- Primitive’ler inşa edin ve yapay zeka özelliklerini birleştirilebilir hale getirin: böylece ekiplerin prompt, streaming, onay, eval ve analytics’i yeniden icat etmesine gerek kalmaz; benzersiz ve katma değerli yapay zeka özelliklerine odaklanabilirler
- Uygulama genelinde tutarlı UX kalıpları koruyun: PostHog’da bunu Max sağlıyor; bu sayede binlerce yapay zeka widget’ının yaratacağı karmaşa önleniyor
- Yapay zeka uzmanlarını geçici olarak ekiplere yerleştirin: ekiplerin daha hızlı yapay zeka özellikleri geliştirmesine yardımcı olur ve organizasyon geneline yapay zeka bilgisini yayar (Max AI ekibinin yaptığı gibi)
8. Hıza odaklanın
- Yapay zeka özelliklerinde, özellikle karmaşık olanlarda en büyük zorluklardan biri yavaşlık
- İş akışları çoğu zaman LLM sağlayıcılarına birden fazla çağrı gerektirir ve bu da yüksek gecikmeye yol açabilir
- Bu durum, uygulamada veya web sitesinde işi tamamlamanın alternatif yolları varken özellikle sinir bozucu olabilir
- Superhuman kurucusu Rahul Vohra’nın tavsiyesi: "Hız kazanır"
- Örnekler: Instant Reply veya Auto Summarize
- Gmail ve Outlook da benzer özelliklere sahip, ancak istek geldiğinde yanıt ve özet üretmeleri gerekiyor; kullanıcı tamamlanmasını beklemek zorunda kalıyor
- Superhuman’da ise bunlar önceden hesaplanıyor ve her zaman anında sunuluyor; bu basit fark kullanıcı deneyimi üzerinde çok büyük etki yaratıyor
Nasıl iyileştirilir
- Model benchmark’larını ve yeni model sürümlerini takip edin: daha iyi ve daha hızlı bir model çıktığında, hem özellik hem hız açısından en büyük kazanımı elde etmek için test edip kullanın (LLM analytics kullanın)
- Göreve göre hızlı ve yavaş modelleri karıştırın
- Başlık üretimi, session replay filtreleri, anket özetleri ve içgörü aramada hızlı modeller (
gpt-4.1-mini, gpt-4.1-nano) kullanın
- Şema üretimi, konuşma işleme ve bağlam yönetiminde yavaş modeller (
gpt-4.1) kullanın
- Asenkron işleme kullanın: oturum özeti ve örüntü çıkarımı gibi karmaşık yapay zeka görevleri, kullanıcı etkileşimini engellemeden Temporal workflow’ları üzerinden asenkron çalıştırılır. Sonrasında Redis’e cache’lenerek yeniden hesaplama olmadan retry desteği sağlanır
9. Etkinliği sürekli izleyin ve değerlendirin
- Yeni bir özellik sırf ✨ yapay zeka ✨ diye daha gevşek kriterlerle değerlendirilmemelidir
- Kötü fikirler ürünü daha kötü hale getirebilir ve model değişiklikleri kullanıcı fark etmeden deneyimi olumsuz etkileyebilir
Etkinlik nasıl değerlendirilir
- Erken aşamada eval ekleyin: küçük bir golden ya da sentetik veri kümesi bile normal geliştirme döngüsüne kıyasla büyük performans artışı sağlar. Ölçekte uygulamak da beklenenden daha kolay olmuş ve gelecekte özellik geliştirmeyi hızlandırmıştır
- A/B testleri yapın: yapay zeka özelliği ile normal deneyimi, farklı prompt’ları, bağlamları, iş akışlarını vb. karşılaştırın
- Farklı müşteri türlerinin yapay zeka kullanım oranlarını kontrol edin (ör. ücretsiz kullanıcılar vs enterprise, ürün ekipleri vs satış ekipleri)
- Ürün yöneticileri ve pazarlamacıların, ideal müşteri profili olarak görülen ürün mühendislerinden daha sık Max kullandığının görülmesi üzerine yol haritası yeniden değerlendirildi
- Kullanıcıların yapay zeka yanıtını iyi/kötü diye puanlamasına izin verin: kullanıcı yanıtı kötü olarak işaretlediğinde ek ayrıntı isteyip bunu bağlam, prompt ve iş akışı ayarlamalarında kullanın
- Yapay zeka kullananlarla kullanmayanları karşılaştırın: mevcut aktivasyon ve retention metriklerini kullanarak yapay zekanın ürün ve kullanıcı yaşam döngüsü içinde ideal olarak nereye oturduğunu ve olumlu etki yaratıp yaratmadığını anlayın
Sonuç
- Bu 9 ders birbirinden bağımsız değil; birlikte çalışıyorlar
- Son adıma atlayıp eval optimizasyonunun harika bir ürün inşa etmek anlamına geldiğini düşünmek hatadır
- Amaç kullanıcı için değerli bir şey inşa etmektir, gösterişli bir teknik demo değil
- Bunun yapay zeka olması, kullanıcıların otomatik olarak değer bulacağı anlamına gelmez
- Harika ürünler inşa etme konusunda öğrendiğiniz tüm dersler hâlâ geçerlidir
- Kullanıcılarla konuşun
- Hızlı yayınlayın
- Deneyler yürütün
- Yineleyin
Henüz yorum yok.