- Duolingo ve Grammarly gibi dünya çapındaki abonelik tabanlı ürünleri büyüten Albert Cheng’in, kullanıcıları ürün değeriyle nasıl buluşturduğunu anlattığı YouTube videosunun özet metni
- Büyümenin, basitçe metrik hacklemek değil, kullanıcı odaklı bir değer sunma süreci olduğunu vurguluyor
- Keşfet (Explore) ve Yararlan (Exploit) çerçevesi ile deneylerden elde edilen içgörülerin ürün geneline nasıl yayıldığını ve tek bir başarılı deneyi 10 katın üzerinde büyütme stratejisini sunuyor
- Grammarly’de ücretsiz kullanıcılara ücretli özellikleri örnekleyerek ürünün gerçek değerini gösterip yükseltme oranını 2 kat artırdı
- Chess.com’da yenilgi sonrası hataları göstermek yerine iyi hamleleri öne çıkaran olumlu geri bildirim yaklaşımına geçilerek oyun incelemesi %25, abonelik %20 arttı ve elde tutma ciddi biçimde iyileşti
- Tüketici abonelik ürünlerinde başarının anahtarı yüksek kullanıcı elde tutma oranı (D1 %30-40 ve üzeri); ağızdan ağıza yayılan organik büyüme ve ücretsiz ürün üzerinden geniş çaplı değer sunumu ise vazgeçilmez
Albert Cheng’e giriş ve arka planı
- Dünyanın önde gelen tüketici büyüme uzmanlarından biri; Duolingo, Grammarly ve Chess.com’da büyüme ve gelir yaratma süreçlerine liderlik etti
- Kariyerinin başlarında YouTube’da 20 milyondan fazla kişinin kullandığı yayın ve oyun özelliklerini geliştirdi
- Büyümeye getirdiği özgün yaklaşım, pazarlama, veri, strateji ve ürün yönetimini bir araya getiriyor
Piyanistlikten büyüme liderliğine geçiş
- Tayvanlı göçmen ebeveynlerin çocuğu olarak büyürken her gün 90 dakika klasik piyano çalıştı
- Mutlak kulak (Perfect Pitch) sahibi olduğu için notaları anında tanıyor ve müziği hızlı öğreniyordu
- Müzik okuluna gitmeyi düşündü ancak yönünü mühendisliğe çevirdi
- Piyano ile büyüme arasındaki ortak noktalar
- Sürekli tekrar ve hatalar üzerinden öğrenme: hızlı geri bildirim döngüleri ve dayanıklılık geliştirme
- Yapısal bir temel üzerinde yaratıcılık: büyüme modelleri ve metrikler gibi bir yapı üzerinde yaratıcı çözümler üretmek; müzik teorisi üzerine güzel müzik inşa etmeye benzer
Keşfet (Explore) ve Yararlan (Exploit) çerçevesi
- Brian Balfour’un Reforge derslerinden gelen bir kavram; Grammarly’deki mühendislik ortağı Nurmal aracılığıyla tanıştı
- Keşfet (Explore): doğru dağı bulma süreci
- Yararlan (Exploit): o dağa etkili şekilde tırmanmak için kaynakları odaklama
- Şirketlerin çoğu iki uçtan birine kayıyor
- Aşırı keşif: ekip dağınık hale geliyor ve 100 farklı fikri rastgele deniyor, strateji oluşmuyor
- Aşırı yararlanma: doygunluk ve durgunluğa yol açıyor, sadece yerel optimizasyonda kalıyor
- Büyüme ekipleri sıkça yararlanma moduna düşmeye yatkın
-
Mikro ölçekte uygulama: Chess.com örneği
- Chess.com’da öğrenme özelliğinin PM’i Dylan, oyun incelemesi etkileşimini iyileştirmek için çalıştı
- Oyun incelemesi: oyun bittikten sonra sanal bir koçun en kötü ve en iyi hamleleri öğrettiği özellik
- Veri takibiyle ortaya çıkan bulgular
- Oyun incelemesi yapan kullanıcıların %80’i bunu yalnızca kazandıktan sonra kullanıyordu
- Başta bunun yenilgileri ya da hataları analiz etmek için kullanılacağı düşünülmüştü, ancak insan psikolojisi farklı çıktı
- Ürün deneyimindeki değişiklik
- Yenilgiden sonra hataları göstermek yerine harika hamleler ve en iyi hamleler gösterildi
- Koç teşvik edici mesaj veriyordu: "Yenilgi, öğrenmenin bir parçasıdır"
- Sonuçlar
- Oyun incelemesi %25 arttı
- Abonelik %20 arttı
- Kullanıcı elde tutma oranı ciddi biçimde iyileşti
- Yararlanma aşaması: içgörüyü şirket geneline paylaşmak
- Bulmaca PM’i bu olumlu örüntüyü kendi ürününe uyguladı
- Başarı oranı gösterimi, metinlerin ayarlanması, buton renginin değiştirilmesi gibi değişiklikler yaptı
- Deney başarısını 10 kat büyütmek mümkün hale geldi
-
Deney başarı oranı ve sürekli iyileştirme
- Tipik deney kazanma oranı %30-50 düzeyindedir
- Tüketici ürünleri son derece öngörülemezdir ve birçok hipotez yanlış çıkar
- Hem büyük başarı hem de büyük başarısızlıkla sonuçlanan deneyler çok değerlidir
- İçgörülerin şirket genelinde paylaşılması şarttır
- Orijinal PM’in tüm uygulama yollarını tek başına bulması gerekmez
- Hipotezler ve bulgular net ifade edilirse diğer ekipler yeni fikirler üretebilir
- Başarı oranını ve etkiyi artırmak için ekipler içgörülerin etrafında odaklanır
-
Keşif ile yararlanma arasında ne zaman geçiş yapılacağını anlamak
- Chess.com yılda yaklaşık 250 deney yürütüyor
- Experiment Explorer Tools yatırımı yaptı
- Devam eden deneylerin genel görünümünü sağlıyor
- Hipotezler ile öğrenimler arasındaki örüntüleri tespit ediyor
- İstatistiksel olarak anlamlı olmayan deneylerin artması aşırı yararlanmanın işareti olabilir
- Sıkılacak fazla öz kalmamış olabilir
- Ekiplerin yeniden beyin fırtınası yapması ve ıraksak düşünmeye dönmesi teşvik edilir
Yapay zeka ile büyümeyi hızlandırma
-
Metinden SQL’e özellikleri
- Chess.com’un veri talepleri için kullandığı Slack kanalında uygulanıyor
- Önceden: Güney Afrika’daki abone sayısı, geçen ayki bulmaca oynama süresi gibi anlık sorulara veri analistleri manuel yanıt veriyordu
- Şimdi: Slack botu sorguları otomatik çalıştırıyor ve analiz sunuyor
- Etkileri
- Slack botu, ilk yanıtı veren taraf olarak eğitildi
- Şirket genelinde kararlar çok daha veri odaklı alınmaya başlandı
- Soru sayısında patlama yaşandı
- İnsanlar eskiden sormaya çekindikleri soruları artık rahatça sorabiliyor
- ChatGPT’ye benzer etki: rahat bir konuşma partneri büyük fark yaratıyor
-
Yapay zeka prototipleme araçları
- Fikirden temsilî çözüme giden süreci kısaltıyor
- Eskiden: insan müdahalesi gerektiren birçok aşama vardı (fikir yazımı → spesifikasyon → inceleme → tasarım vb.)
- Chess.com’un yaklaşımı
- Ana ekranlar için (onboarding akışı, ana sayfa, satranç tahtası) yapay zeka prototipleri oluşturuldu
- v0, Lovable gibi araçlar kullanıldı
- Bunlar şirket genelinde paylaşılıp başlangıç noktası olarak kullanıldı
- Fikirler hızla görselleştirilebildi, tartışılabildi ve test edilebildi
-
Yapay zeka yığını
- PM: Vzero
- Tasarımcılar: Figma Make
- Mühendisler: Cursor, Claude Code, GitHub Copilot
- Pazarlama: çeviri, altyazı ve içerik uyarlama araçları
- Müşteri desteği: Intercom Fin
- Zorluk: deneme-yanılmadan (tinkering) akışa dönüşen iş süreçlerine sorunsuz geçiş hâlâ çözülmedi
- Her fonksiyonun tercih ettiği araç farklı
- Araçlar arasında birlikte çalışabilirlik eksik
- Prodüksiyona dağıtıma kadar fonksiyonlar arası teslim süreçleri hâlâ gerekli
- Tasarım sistemi bileşenleri ve MCP yatırımlarıyla bu durum iyileştirilmeye çalışılıyor
Grammarly’nin en büyük gelir yaratma başarısı
-
Arka plan ve sorunun fark edilmesi
- Grammarly, Chrome uzantısı veya masaüstü istemcisi olarak sunulan yapay zeka destekli bir yazma yardımcısı
- Freemium iş modeli: kullanıcıların %90’ından fazlası ücretsiz, geri kalanı ücretli abone
- Abone dönüşümünden sorumlu PM Kyla’nın ekibi, ücretsizden ücretliye geçiş yolunu iyileştirmekten sorumluydu
- İlk fark edilen sorunlar
- Kullanıcıların hangi tür önerileri aldığı ve paywall ile ne sıklıkta karşılaştığı yeterince takip edilmiyordu
- Önce ölçümleme (instrumentation) altyapısının kurulması gerekiyordu
-
Temel içgörü
- Ücretsiz kullanıcıların çok küçük bir kısmı tüm önerileri kabul ediyordu
- Çoğu kullanıcı önerileri seçerek kabul ediyordu
- Ücretsiz kullanıcıların gerçek deneyimi şuydu: Grammarly, yalnızca yazım ve dil bilgisi düzelten bir araç
- Çünkü ücretsiz öneriler daha çok doğruluk (Correctness) odaklıydı
- Ücretli özellikler arasında tonu daha empatik hale getirme, netliği artırma ve tüm cümleyi yeniden yazma gibi işlevler vardı
-
Çözüm: ücretli önerileri örnekleme
- Çeşitli ücretli öneriler örneklenerek ücretsiz kullanıcıların yazı akışının geneline yerleştirildi
- Ücretli özelliklerin sınırlı bir ön gösterimi sunuldu
- Endişe şuydu: çok fazla verilirse abonelik isteği azalabilirdi
- Sonuç ise tam tersi oldu
- Kullanıcılar Grammarly’yi çok daha güçlü bir araç olarak algıladı
- Yükseltme oranı neredeyse 2 kat arttı
-
Gelir yaratma dersleri
- Freemium ürünlerde ücretsiz ürünün, tüm ürünün yeteneklerini yansıtması gerekir
- Bazı ücretli özelliklerin bir maliyeti olsa da onları olabildiğince iyi göstermek kendi başına karşılığını verir
- Zaman bazlı ücretsiz deneme yerine tersine ücretsiz deneme (Reverse Trial) yaklaşımı
- Yazı yazarken gerçek zamanlı iyileştirme önerileri sunmak
- Bunları günde belirli sayıda vermek ve sonra yenilemek
- Sektördeki kalıplar, Grammarly’nin özel kullanım senaryosuna göre uyarlandı
Premium vs. deneme modeli
-
Premium abonelik modelini seçme nedenleri
- Misyon odaklılık: kurucunun ürünü mümkün olduğunca geniş kitlelere yayma hedefi
- Duolingo (eğitim), Grammarly (yazı yazma), Chess.com (satranç) küresel ölçekte geniş bir değer önerisine sahip
- En düşük giriş bariyeri ücretsiz üründür
- Kulaktan kulağa büyüme: ürünün esas olarak kulaktan kulağa büyümesi
- Ağ etkileri kurulabilir: Duolingo’nun sosyal özellikleri
- Grammarly’nin B2C2B hamlesi: ücretsiz kullanıcılar ekiplerin veya iş arkadaşlarının satın alma yapmasını tetikler
- Temel değer önerisini kalıcı olarak ücretsiz sunup premium özellikleri örnekleme
-
Deneme (Trial) vs. ters deneme (Reverse Trial)
- Ters deneme: B2B özelliklerde güçlüdür, özellikle de lock-in varsa
- Kredi kartı bilgisi olmadan başlanır
- CRM kullanımı veya içerik oluşturma için çok zaman harcanır
- Deneme süresi bittiğinde kalma ve ödeme yapma olasılığı yüksektir
- Normal ücretsiz deneme: tüketici ürünlerinde daha yaygındır
- Tüketici ürünlerinde ters denemenin işlemesi daha zordur
Tüketici abonelik ürünlerinde başarının anahtarı
-
Kullanıcı tutmanın önemi
- Kullanıcı tutma, tüketici abonelik şirketlerinin altınıdır
- Tutma oranı düşükse tüm yük ilk gün ödemesine biner
- Kullanıcı edinme maliyetini ödeme
- Alışkanlığa dayalı kullanım örüntüsü oluşmadan agresif upsell ihtiyacı
- Birçok uygulama bu yöntemi kullanır ama başlangıç aşamasını aşmakta zorlanır
-
Büyüme yollarındaki fark
- Duolingo ve Chess.com: organik kulaktan kulağa dayalı işler
- Pazarı büyüterek büyürler
- Rekabetin yoğun olduğu alanlarda pazar payı savaşıyla tezat oluşturur
- Rekabetçi pazarlarda kullanıcı kazanmak için yüksek tekliflerle yarışılır
-
Tutma hedefleri
- Yeni kullanıcı tutma oranı (D1, D7 vb.)
- D1 tutma oranı %30~40: bir tüketici uygulaması için oldukça sağlamdır
- Bunun çok altında kalırsa kullanıcı niyeti veya DAU tabanlı kullanıcı edinme kabiliyeti sorgulanır
- Pazarda çok seçenek olması ve uygulama yorgunluğu nedeniyle buna ulaşmak zordur
- Mevcut kullanıcı tutma oranı (CURR): çok daha önemlidir
- Günlük sıklığı olan ürünlerde en önemli metriktir
- Alışkanlık örüntüsü geliştirmiş mevcut kullanıcı tabanının yapışkanlığı
- Zamanla bileşik etkiyle günlük alışkanlık inşası
- Şirket olgunlaştıkça enerjinin çoğu mevcut kullanıcıyı tutma mekanizmalarına odaklanır
-
Grammarly’nin istisnası
- Grammarly kurulduktan sonra her gün aktif olarak açılmaz
- Aktivasyon, kurulum ve aha anı çok önemlidir
- Tek bir kurulum kullanıcıyı çok uzun süre elde tutar
- Yazarken otomatik çalıştığı için DAU istatistikleri tam isabetli değildir
Yeniden canlanan (Resurrected) kullanıcıların önemi
-
DAU/WAU bileşenleri
- Olgun bir şirkette (Chess.com) günlük/haftalık aktif kullanıcıların yaklaşık %80’i mevcut veya eski kullanıcılardır
- Kalan kısmı ise benzer ölçekte yeni kullanıcılar ve yeniden etkinleşen (yeniden canlanan) kullanıcılar oluşturur
- Şirket olgunlaştıktan sonra yeni kullanıcılara çok ilgi gösterilir ama gerçekte yeni kullanıcıların payı büyük değildir
-
Etkin olmayan ve düzensiz kullanıcı birikimi
- Zamanla çok sayıda etkin olmayan kullanıcı birikir
- Düzensiz kullanıcılar: her gün değil ama haftada 1~2 kez veya ayda 1~2 kez kullanırlar
- Sonunda yüz milyonlarca dormant kullanıcı birikir
- Yeniden canlandırma deneyimine yatırım yapmaya değer
- Onları geri getirmenin yeni yollarını bulmak
-
Duolingo’nun yeniden canlandırma stratejisi
- Sosyal bildirimler kullanma
- Kişi senkronizasyonu açıksa yakın bir arkadaşın Duolingo’ya başladığına dair push bildirimi
- Ürüne geri dönmeyi teşvik eder
- Yeniden yerleştirme (Replacement) mekanizması
- 3 yıl önce Fransızca öğrenmiş ama çoğunu unutmuş olmak
- Uygulamayı yeniden açtığında uygun seviyeye yerleştirmek için yeniden yerleştirme testi önerme
- Olgun şirketler için bu tür mekanizmalar oldukça yüksek ROI sağlar
Duolingo, Grammarly ve Chess.com arasındaki farklar
-
Duolingo: sistematik deney makinesi
- Çok spesifik ve tutarlı bir ürün geliştirme yaklaşımı
- Green Machine playbook yazıp paylaşma
- Şirket ruhu
- Üniversiteden yeni mezun zeki ve enerjik yetenekleri büyük ölçekte işe alma
- Müthiş deney araçları sağlama
- Şirketin clock speed’ine önem verme
- Büyük miktarda yaratıcılık ve fikir üretimi
- Ürün deneyimi her kullanıcı için günde birkaç kez değişir
- Oldukça sarsıcı bir seviye
- Ürün geliştirme döngüsünün her aşaması için spesifikasyonlar ve süreçler bulunur
- Çok sıkı ve tutarlı biçimde işletilir
- Ürün incelemeleri 10~15 dakika kadar hızlıdır
-
Grammarly: B2C’den B2B’ye evrim
- Başlangıçta öğrencilere yönelik ücretli bir ürün olarak başladı
- Zamanla herkese yönelik premium modele genişledi, profesyonellere odaklandı
- Belirli şirketlerde belirli fonksiyonlar (pazarlama, satış, müşteri destek ekipleri) Grammarly’yi büyük ölçekte benimsedi
- Yönetilen enterprise motion eklendi
- Albert’in rolü: tüketici self-serve motion’a odaklanmak ama bunu ayrı değil bağlantılı tutmak
- Self-serve gelirini ve aktif kullanıcıları artırma
- Product-Led Sales: uygun ekipleri/fonksiyonları/şirketleri keşfedip talep üretmek ve satışa aktarmak
- Üretken yapay zeka dönüşümüyle birlikte hızla evrildi
- Yakın dönemde Coda ve Superhuman satın alımlarıyla bir üretkenlik paketine dönüştü
- Duolingo’nun aksine daha fazla stratejik karar gerektirir
- Çekirdek ürün ekibi tekrarlanan aktiviteleri en çok yönlendiren taraftır
- Önerilerin sıklığı ve kalitesi mevcut kullanıcı tutma oranını en çok etkiler
- Albert büyüme ekibini kurdu ama aslında bunun çekirdek ürün ekibi tarafından yürütülmesi gerektiğini fark etti
- Çekirdek ürün liderleriyle konuştuktan sonra sorumluluğu devretti
-
Chess.com: satranca fanatik tutku
- Çalışanlar satranç konusunda fanatik derecede tutkuludur
- Dünyanın her yerinden uzaktan işe alım yapar, yalnızca satrancı seven insanları işe alır
- Bütün gün satranç oynar ve yayın izlerler
- Slack her zaman satranç hamleleri ve oyunlarla kaynayan bir aktivite içindedir
- Duolingo örneğinde
- Dil öğrenme ürünü olsa da asıl ruhu motivasyondur
- En zor olan şey alışkanlık oluşturmaktır
- Dil öğrenme ilk araçtır; motivasyon ve alışkanlık ise süper güçtür
- Grammarly örneğinde
- Yazım ve dilbilgisi düzeltmesiyle bilinse de asıl benzersizliği çok sayıda uygulamaya entegre olmasıdır
- Artık AI superhighway olarak dilbilgisi yazımının ötesinde şeyler sunabilir
- Chess.com %100 satrançla ilgilidir
- Bu ruh her yere sinmiştir ve insanlar tutkuyla bağlıdır
- Sürekli ürünü dogfooding yaparlar
- Ürünü sürekli kullanıp fikir üretmeye yönelik inanılmaz bir enerji vardır
AI'ın Chess.com'u nasıl dönüştürdüğü
-
Satranç ile AI arasındaki uzun ilişki
- Satranç ve AI, neredeyse bir yüzyıldır iç içe
- İlk bilişim öncüleri, makine zekasını test etmek için satrancı seçti
- 1997'de IBM'in Deep Blue'su, dünya şampiyonu Garry Kasparov'u yendi
- Bu, AI'ın insanın yerini alıp almayacağına dair şok ve düşünme anıydı
- 30 yıl önce yaşanmış olsa da hepimiz hâlâ buradayız ve satranç oynayan insan sayısı tarihin en yüksek seviyesinde
-
Günümüz satranç motorlarının yetenekleri
- Stockfish gibi motorlar, dünyanın en iyi büyükustalarından dramatik biçimde üstün
- ELO derecelendirme sistemi karşılaştırması
- Ortalama satranç oyuncusu: 1.000~1.500
- En iyi büyükusta (Magnus Carlsen): yaklaşık 2.800
- Stockfish ve benzeri motorlar: yaklaşık 3.600
- Satranç motorları, ana taşlar olmadan bile (örneğin kale) en iyi oyuncularla rekabet edebilir
- Hesaplama gücü sayesinde saniyede on milyonlarca hesaplama yaparlar; bu yüzden insanların rekabet etmesi mümkün değildir
- Satranç motorlarının oyununu izlemek, yeni yaratıcılıklara, stratejilere, varyantlara ve oyuna dair takdire kapı açar
-
Chess.com'un AI kullanımı yaklaşımı
- Bu teknolojiyi tüm kullanıcılara sunmak; buna ilk kez taş oynatan kişiler de dahil
- Game Review ürünü: arka planda bir satranç motoru çalıştırarak her hamle için değerlendirme üretir
- Bunu kullanıcılara çevrilmiş ve erişilebilir bir tarzda sunar
- Kullanıcının ana dilini kullanır
- Sesli olarak da sunulur
- LLM kullanımı: kişilik ve üslubun kullanıcıya iletilmesi kısmında
- Temel ilke: müşteriyi her şeyin önüne koymak
- Sırf moda olduğu için LLM uygulanmaz
- Doğru teknolojiyi doğru özelliğe uygulayarak kullanıcıya değer sunulur
- Hype'ın peşinden gidilmez
-
LLM'lerin satranç oynama becerisi
- Şaşırtıcı biçimde, LLM'ler kendi başlarına satrançta çok kötüdür
- Halüsinasyon üretirler; hamle kalıplarını tanımada iyidirler ama çok derin satranç analizi yapamazlar
- ChatGPT ile satranç tahtası görseli üretildiğinde kare sayısı yanlış olabilir veya kurulum uygun olmayabilir
- Muhakeme yeteneklerinin gelişmesi bekleniyor
- Google kısa süre önce tüm önde gelen LLM'lerin birbirine karşı oynadığı bir turnuvaya sponsor oldu
- İyileşiyor olsalar da satrançta eğitilmiş derin hesaplama motorları, LLM'lerden çok daha güçlü
-
AlphaZero ve AlphaGo
- AlphaGo belgeseli, teknik olarak derin bir konuyu duygusal ve insani biçimde anlatıyor
- AlphaZero'nun eğitim yöntemi: kendi kendine sayısız oyun oynamak
- Her seferinde sinir ağı üzerinden daha akıllı hâle geliyor
- Milyarlarca ila trilyonlarca tekrar sonunda son derece yetkin hâle geliyor
AI'ın büyüme rolünü nasıl değiştirdiği
-
Büyümenin tanımı
- Büyümenin rolü: kullanıcıyı ürün değerine bağlamak
- Kullanıcı yolculuğu dikkate alınarak her bileşen için ekipler kurulur
- Her ekibin belirli metrik hedefleri ve bir yol haritası vardır
- Hedeflere karşı uygulama yapılır
- AI, deney döngüsünün bazı unsurlarını hızlandırabilir
-
Product Discovery'de AI kullanımı
- Çekirdek ürün, daha uzun zaman çerçevesi ve kapsamlı kullanıcı/pazar araştırması gerektirir
- Büyüme tarafı çok sayıda deney yürütür ve her deneyin çıktısı bir sonraki fikrin girdisi olur
- Önceki yöntem: analiz belgelerini elle yazmak
- Okuyup içgörü çıkarmak
- Fikirleri başka spesifikasyonlara dönüştürmek
- AI kullanımı
- ChatGPT gibi araçlarla başkalarının analizlerini özetlemek
- Denenebilecek fikirler hakkında tavsiye vermek
- Fikir üretimi ve araştırma döngüsü çok daha hızlıdır
- Prototipleme de dramatik biçimde kısaldı
- Henüz PM'in doğrudan production'a kod deploy ettiği aşamada değiliz
- Özellikle iddialı fikirleri tasarlamak için gereken süre dramatik biçimde kısaldı
-
Keşif ve kullanım üzerindeki etkisi
- Geçmişte keşif (Explore) daha zordu
- Bugün: keşif çok daha kolay
- Geniş kavramlar görselleştirilebiliyor
- Görselleştirildiğinde ekip içinde tartışılabiliyor ve tıklanabiliyor
- dünyayı değiştirecek kadar büyük bir fark yaratıyor
Deney ölçeğini büyütmeye yönelik ipuçları
-
İlk ipucu: sadece başlamak
- Atlassian'ın ürün durumu raporu: ürün ekiplerinin %40'ı hiç deney yürütmüyor
- Bu, felsefi nedenlerle ya da B2B odaklı olmalarıyla açıklanabilir ve anlaşılabilir
- Ancak belirli ölçeğe ve sıklığa sahip bir tüketici ürünü söz konusuysa
- Yeterli veri toplanabilir
- Çok deneyime rağmen sık sık yanılabilirsiniz
- Tüketici davranışı son derece değişkendir
- Şirkette çalışınca doğal olarak bir power user hâline gelir ve yeni kullanıcı deneyimini unutursunuz
- İlk adımı atmanız tavsiye edilir
- AB testi yürütün
- Üçüncü taraf araçlar bulun ve hızla entegre edin
- Mühendislerle iş birliği yaparak bir şeyler inşa edin
- crawl-walk-run pratiğini uygulayın
-
Tercih edilen araçlar
- Grammarly'de StatSig kullanılıyor (yakın zamanda satın alındı)
- Duolingo ve Chess.com'un kurum içi deney araçları var
- Bunların artıları ve eksileri mevcut
- Duolingo bir deney makinesi olduğu için özelleştirilmiş araç büyük bir hızlandırıcı
- Genel olarak en baştan kurum içi araç geliştirmek önerilmez
- Belirli bir ölçekte anlamlı olabilir
- Bu şirketler 15 yıl önce kuruldu ve o dönemde böyle araçlar yoktu
-
İkinci ipucu: sistem, tekil deney kadar önemlidir
- Sistem, tekil deney kadar, hatta muhtemelen daha da önemlidir
- Büyüme modeliyle başlayın
- Şirketin nasıl büyüdüğünü anlayın
- Hangi kanalları kullanacağınızı belirleyin
- Ürün enstrümantasyonu (Instrumentation) şarttır
- Aksi takdirde deney sonuçları tuhaf görünür
- Gerçek örnek: bir şirkette kurum içi deney aracı kullanılıyordu
- 3 ay sonra kullanıcı tutma oranının ters kurgulandığı fark edildi
- Tüm pozitif sonuçlar aslında negatifti
- Bu çok utanç vericiydi ve bir daha yaşanmayacak
-
Üçüncü ipucu: içgörüleri paylaşmak ve yaymak
- Büyük başarı ya da büyük başarısızlık gösteren bir deney bulunduğunda
- bunu şirket genelinde net biçimde paylaşın
- Hipotezi ve bulguları açıkça ifade edin
- Orijinal PM'in tüm uygulama yollarını tek başına bulması gerekmez
- Bir büyüme lideri olarak başkalarını fikir etrafında yoğunlaşmaya (Swarm) teşvik edin
- Başarı oranı artar
- Etki büyür
Yılda 1.000 deney hedefi
-
Chess.com'un deney yolculuğu
- 2023 öncesi: neredeyse hiç deney yapılmıyordu
- Geçen yıl: yaklaşık 50 deney
- Bu yıl: yaklaşık 250 deney yürütülüyor
- Gelecek yıl hedefi: 1.000 deney
-
Hedefin gerçek anlamı
- Bu hedefi Albert koydu ama amaç sayının kendisi değil
- Hedef belirlemenin asıl değeri: neyin doğru olması gerektiğine dair konuşmaları tetiklemesi
- Hedefe ulaşmak için gereken içgörüler
- Deneyleri yalnızca PM veya mühendislik yapmaz
- Lifecycle marketing: push bildirimleri ve e-posta metni değişikliklerini test etmek
- App Store: ekran görüntüleri, anahtar kelimeler vb. üzerinde deneyler
- İçerik pazarlama ekibi gibi ekipler
- Mühendislik desteği olmadan belirli ekranlarda no-code etkinleştirmek
- Ana ekran veya fiyatlandırma ekranında yapılandırılabilir birçok test
- İlerlemeyi takip etmek ve observability sağlamak
- Gerçekte 1.000 deneye ulaşmaktan daha önemli olan şey, bunları başarmaktır
- Buna çok yaklaşılır ve bunlar gerçekleştirilirse durum çok iyi olur
Kültür dönüşümü yöntemleri
-
Chess.com'daki dramatik kültür değişimi
- 0 deneyden 2 yıl sonra 1.000 deneye (günde yaklaşık 3) geçiş
- Birçok ekip paralel şekilde deney yürüttü
-
Kültür dönüşümünde başarı faktörleri
-
Liderlik desteği
- CEO ve kurucu ortaklar Eric ile Danny'nin büyük katkısı vardı
- Deney yapmak onların sezgisel düşünme tarzı değildi
- Bunu zihinsel esneklik ve teşvikle araç setlerine eklediler
- Ön saflarda ürün odaklı büyüme ve deneyleri savundular
- Kuruculara ve mevcut yaklaşıma karşı konumlanmamak çok önemliydi
-
Gerçek başarı örneklerini paylaşmak
- Oyun incelemesi ve pozitiflik örneğinde olduğu gibi gerçekte işe yarayan şeyi göstermek gerekir
- Kazançlara ihtiyaç vardır: kutlanmalı ve insanlar öğrenme konusunda kendini iyi hissetmelidir
- Bu yaklaşım genelde uygulandığında herkese enerji verir
- Metrikler hareket eder ve daha hızlı öğrenip dağıtıma çıkarsınız
- Sadece yukarıdan hedef koymak yeterli değildir
- İnsanların neyin işe yaradığını görmesi gerekir
-
İlk deneyler
- Albert katılmadan önce de bazı deneyler zaten yapılıyordu
- Süreç zaten rayına oturmuştu
Deneylerden çıkarılan ek dersler
-
Duolingo'nun başarı örneği
-
Streak ve bağlılık
- Jackson bunu podcast'te ele aldı
- Bağlılık ve takvimde streak gösterimi üzerinden öğrenme etkisi
- Büyük kilometre taşlarına ulaşmaktan çok başlamak önemlidir
-
Virality ekibi
- Virality çok muğlak bir kavramdır ve üründe üretmesi çok zordur
- Duolingo oldukça sık paylaşılan bir ürün
- Ekran görüntüsü takibine yatırım yaptı
- Uygulamada kullanıcıların ekran görüntüsü aldığı sıcak noktaları bulmak
- Bunu başka uygulamalarda da görebilmek
- Yalnızca belli bir süre çalıştırmak
- Buldukları paylaşım sıcak noktaları
- Streak kilometre taşları: bariz paylaşım anları
- Çok eğlenceli challenge'lar: çok yüksek paylaşım oranı
- Leaderboard'da ilk 3'e girmek paylaşım konusu değildi
- Bu anlara illüstratörler ve animatörler yerleştirdiler
- Çok keyifli bir deneyim yarattılar
- Sonuç: şaşırtıcı derecede iyi çalıştı
- Ders: insan sezgisine aykırı şekilde paylaşımı zorlamayın
- Kullanıcının zaten organik olarak ekran görüntüsü aldığı anları bulun
- O anları çok ama çok daha iyi hale getirin
- 5x veya 10x büyüterek ciddi büyüme sağlayın
Oyunlaştırmanın üç ayağı
-
Jorge'nin oyunlaştırma modeli
- Oyunlaştırma kalıpları özünde üç ayaktan oluşur
-
1. Temel döngü (Core Loop)
- Duolingo: derslerde ilerleme
- Dersi tamamlama → ödül kazanma → streak'i uzatma
- Ertesi gün push bildirimi
- Temel döngüyü çok sıkı kurmak önemlidir
- İnsanların sürdüreceği bir alışkanlık gerekir
-
2. Metagame
- Duolingo: Path, leaderboard, başarımlar
- Uzun vadede peşinden gidilecek şeyler
- Sürekli etkin kalmak için uzun vadeli motivasyon sağlar
-
3. Profil (Profile)
- Zaman içinde profil inşa etmek
- Ürün deneyimi içindeki yatırımın yansıması
- Bu üçü tamamlandığında uzun vadeli öğrenme yolculuğunun başarılı olma ihtimali artar
-
Chess.com'un yeni kullanıcı sorunu
- Yeni kullanıcıların %75'inden fazlası tamamen acemi veya başlangıç seviyesinde sınıflandırılıyor
- Acemiler canlı oyunlarda eğlenmiyor
- Veri: ilk oyunu kazanma oranı 1/3'ün altında
- Oyun kaybedildiğinde kullanıcı tutma oranı %10 kötüleşiyor
- Ölçek düzeyinde bu kötü bir sonuç
- Tipik mobil oyun yaklaşımı: çok basitleştirilmiş bir sürüm oluşturmak
- Satrançta bu daha zor (kuralları değiştiremezsiniz)
-
Öğrenmenin ilk aşamasının önemi
- İster dil öğrenme ister satranç olsun, ilk aşama öz şüpheyle doludur
- Kişinin bunu yapamayacağı hissini pekiştiren deneyimler yaşanır
- Kullanıcıyı bunun etrafından yönlendiren bir deneyimi bilinçli şekilde tasarlamak değerlidir
-
Chess.com'un çözümü
- Bir kullanıcı tamamen acemiyse, daha eğlenceli bir oynayarak öğrenme deneyimi sunuluyor
- Hemen canlı oyuna atılmıyor
- İlk 5 oyunda rating gizleniyor
- Böylece rating'in sert şekilde düştüğünü görmüyor
- Koçla oynama, arkadaşla oynama, botla oynama gibi farklı yollar
- Gerçek zamanlı ipuçları: gerçek bir insanla oynarken nereye hamle yapması gerektiğini yönlendiriyor
- Kazanmasına yardımcı oluyor
Ekip kurma üzerine sezgiye aykırı dersler
-
Geleneksel işe alım yöntemi
- JD (iş tanımı) yazmak
- Aranan çeşitli özellikleri listelemek
- Şirkete benzeyen şirketlerden oluşan bir kısa liste hazırlamak
- Oralardan işe alım denemek
- Sektördeki tipik varsayılan yol budur
-
Albert'in keşfi: yüksek inisiyatif (High Agency)
- Birden fazla küçük startup ve Duolingo deneyiminden çıkardığı sonuç
- En yüksek performans gösterenlerin özellikleri
- Çok yüksek inisiyatif (Agency)
- Clock Speed: hızlı düşünme ve hareket etme
- Enerji
- Misyona ilgi duymaları önemli ama derin deneyim şart değil
- Deneyim bazen koltuk değneği (Crutch) haline gelebilir
- Özellikle AI ile temellerin hızla değiştiği bir dünyada
- Öğrenilmiş birçok alışkanlığı bilinçli olarak terk etmek gerekir
- Beginner's Mind gerekir
- Hızlı tepki verip harekete geçen insanları bulun
- Hızlı öğrenme hızı
- Ayakta kalıp gelişecek şirketler bunlar olacak
-
Yüksek inisiyatif nasıl anlaşılır
- Bunun büyük kısmı mülakat sürecinin dışında ortaya çıkar
- Sinyaller
- Soru türleri: ürünü gerçekten deneyip derinlemesine inceledi mi?
- Referanslar
- Mülakatı ayarlamaya yönelik iletişim
- Sohbete getirdiği enerji
- Birçok yumuşak sinyal yakalanabilir
- Zamanla bu kalıpları tanımaya başlarsınız
- Geçmişte yalnızca sorulara ve rubriklere bakıp diğer şeyleri önemsemiyordu
- Artık bunları çok daha dengeli biçimde değerlendiriyor
- Bir vibe unsuru da var
- Work Trial mülakat yaklaşımını destekliyor
- Sohbet tipi mülakat yerine yaklaşık bir hafta boyunca gerçekten birlikte çalışmak
Şirket ölçeği seçimi
-
Albert'in Goldilocks Zone'u
- Google'dan (büyük şirket) çok küçük startup'lara kadar deneyim
- Kendisine uygun yeri buldu: orta ölçek
-
Ölçeğe göre özellikler
-
Büyük şirketler (Google)
- Muazzam ölçekte çalışmak
- Ekip arkadaşlarından çok sayıda en iyi uygulama öğrenmek
- İstediğiniz tüm araçlara ve özelliklere sahip olmak
- Ama yavaş hareket etme eğilimi
- Bir şeyleri deploy etmek ve yayına almak zor
- Sonunda insanı biraz delirtebiliyor
-
Çok küçük startup'lar
- Çok hızlı hareket ederler
- Ama Albert'in tüm beyaz saçları burada çıktı
- Şirketi kimse tanımaz
- İnsanları teker teker işe alırsınız
- Kullanıcıları teker teker kazanırsınız
- Hızlı öğrenip çok şey yayınlayabilirsiniz ama
- Dünyada büyük etki yaratmak çok yorucu olabilir
- Bazıları hyper-scale olur ve başarılı olur
- Ama Albert bir süre bu yolu denedikten sonra bunun kendisine uygun olmadığını gördü
-
Orta ölçek (500~1.000 kişi)
- Ölçekli katkı yapabilirken
- Günlük ve haftalık tempoda uygulama yapabilmek
- Şirket genelindeki çabayı görebilirken
- Detaylara da inebilmek
- Deney sonuçlarını okumak
- Piksellere bakmak
- Belirli ekiplerle çalışmak
- 10~20 yıllık şirketler
- Dayanıklı ve ideal olarak kârlı
- İyi bir liderlik ekibi
- Hâlâ keşfedilecek çok boyut olması
- Önemli bir dönüm noktasında olmak
- Durağan değil, dinamik olmak
-
Her birey için en uygun aşama
- Herkesin en çok parladığı bir şirket aşaması vardır
- Albert'in yolculuğu: büyük teknoloji şirketi → çok küçük startup → orta ölçek
- Onun Goldilocks Zone'u orta nokta
Başarısızlık köşesi: Chariot vakası
-
Arka plan
- San Francisco'da bir işe gidiş geliş shuttle hizmeti
- 15 kişilik shuttle'lar
- Birden fazla mahalleden San Francisco şehir merkezine gider
- Toplu otobüs sistemi ile Uber/Lyft arasında bir ara çözüm
- Albert burada ürün lideri olarak çalıştı
- Temel hizmet kullanıcılar tarafından çok seviliyordu
- Güvenilir, hızlı ve yeterince uygun fiyatlıydı
-
Başarısız deneme: Chariot Directly
- Fikir: kullanım oranını dinamik rota ile iyileştirmek
- Uber/Lyft'ye benzer şekilde daha yenilikçi hale getirmek
- Sürücüler sabit bir rota kullanıyor ama
- Boş zaman varsa rotadan çıkıp evden yolcu alabiliyordu
- Denendi ama sonunda işe yaramadı
-
Çıkarılan dersler
-
1. Çözüm, kendine problem arıyordu
- "Bunu yapsak güzel olmaz mı" fikrinin peşinden gidildi
- "Bunlar bizim kullanıcılarımız ve çözdüğümüz problem bu" yaklaşımı değildi
- "Onları mutlu edecek neden bu" yaklaşımı da değildi
- Problem yerine çözümden başlamak doğru değil
-
2. İki taraflı pazarı (marketplace) düşünmek
- Birden fazla son kullanıcı vardır
- Fazla çok yalnızca yolcu uygulamasına odaklanıldı
- Sürücülerin deneyimin yükünün büyük kısmını taşıdığı fark edilmedi
- Operasyon ekibi için de aynı şey geçerliydi
- Sürücüler kafası karışık ya da memnuniyetsiz olduğunda
- Genel ürün deneyimi zorlaşabilir
-
3. Doğrulama öncesi PR'ın riski
- Hizmet yayına alınmadan önce çok fazla PR çalışması yapılarak beklenti oluşturuldu
- PR'ın bir zamanı ve yeri vardır
- Ama müşterilerin bunu kesinlikle istediği doğrulanmadan önce yapmak çok risklidir
- Yayın sonrası büyük batık maliyet (Sunk Cost) oluşur
- Sonuna kadar götürmek zorunda kalırsınız
- Başarı görmek istersiniz
-
Geriye dönüp bakınca
- Üzerinden 10 yıl geçti ama hâlâ çok canlı hatırlanıyor
- Şirkette güzel zaman geçirdi
- 3'ten fazla temel ders içeriyordu
- Sonrasında çok sayıda ürün geliştirirken bu dersleri aktardı
Lightning round
-
Kitap önerileri
-
Şu anda okuduğu kitap
- 4 ve 1 yaşında çocukları olduğu için çoğunlukla çocuk kitapları okuyor
- Snuggle Puppy: şarkılı olduğu için kızı yüksek sesle gülüyor, insanın içini ısıtıyor
-
İş için kitap önerisi: Ogilvy on Advertising
- 40 yıllık bir kitap ama pratik örneklerle dolu
- Metin yazarlığı ve kreatif üzerine
- Eski usul reklamcılık olsa da deney odaklı yaklaşımı var
- Sonuçta önemli olan şey: kullanıcıyı harekete geçirmek
- Amaç ürünü satın almalarını sağlamak
- Zekice reklam ya da seksi kreatif değil
- Ürün ve lifecycle ekipleri için çok yerinde
-
Dark Squares
- Chess.com kurucu ortağı Danny Wrench'in anı kitabı
- Satranç dünyasında çok tanınan biri
- İstismarcı bir kült içinde büyürken aynı zamanda bir satranç dahisi olmasının hikâyesi
- İnanılmaz bir hikâye
- Şu anda yaklaşık yarısında
- Birlikte çalıştığınız insanların geçmişlerinin ne kadar derin olabileceğini hatırlatıyor
- Hem satranç tahtasının koyu karelerini hem de zorlu bir geçmişi ifade ediyor
- Bu podcast'in yayınlandığı dönemde çıkmış olacak
-
Hayat mottosu
- Annesinin sözü: "İtibardan daha önemli hiçbir şey yoktur"
- Cömert yorumlama
- Her gün verilen küçük kararlar
- İnsanlara nasıl davrandığınız
- Nasıl ortaya çıktığınız
- Karakterinizin ne olduğu
- Bunlar bileşik etkiyle birikir ve şaşırtıcı şekillerde kapılar açar
- Katıldığı birçok şirket, görece zayıf bağlantılar üzerinden geldi
- Bu podcast için de birlikte çalıştığı insanların konuk olduğunu gördü
- Doğru olanı yapıp iyi bir itibar inşa ederseniz uzun yol alabilirsiniz
- Tersi tarafta ise itibar kırılgandır
- Yanlış bir şey yaptığınızda toparlaması uzun sürer
- Hayatı boyunca aklında kalan ilginç bir yaşam mottosu
Temel mesaj
- Farkındalık: gerçek deneyime sadık kalmak önemlidir
- Pek çok ders başkalarının denemelerinden gelir
- Zihinsel bir sünger gibi olmak
- Farklı şeyler denemek
- Emdiklerini hemen uygulamak
- İşe yaramayanları bırakıp şirketin ihtiyaçlarına göre evrilmek
1 yorum
Son zamanlarda tartışma konusu olan mesajlaşma şirketindeki birini hatırlatıyor gibi görünüyor ..