Vibe Coding - Vibe Kodlama
(x.com/karpathy)- Andrej Karpathy, LLM'ler yeterince iyi hale geldikçe kodun kendisini neredeyse hiç düşünmeden üretmeye dayanan yeni bir yaklaşım olarak vibe coding kavramından söz ediyor
- Cursor Composer, Sonnet ve SuperWhisper ses girişini birleştirerek klavyeyi neredeyse hiç kullanmadan gereksinimleri sözlü olarak iletiyor
- Padding'i yarıya indirmek gibi küçük bir istekte bile bunu kendisi aramak yerine sisteme bırakıyor ve diff'i okumadan Accept All düğmesine basıyor
- Hata mesajlarını açıklama eklemeden kopyalayıp yapıştırıyor; LLM hatayı düzeltemezse sorunu aşmayı deniyor ya da problem ortadan kalkana kadar rastgele değişiklikleri tekrar tekrar yaptırıyor
- Hafta sonu için yapılan tek kullanımlık projelerde işe yarayabilir, ancak kod anlayış sınırının ötesine geçecek kadar büyüyebildiği için bu yaklaşım kodlamaktan çok bakma, konuşma, çalıştırma ve yapıştırma yöntemine benziyor
“vibe coding” çalışma biçimi
- vibe coding, her şeyi tamamen LLM'e bırakıp kodun varlığını neredeyse unutmaya yaklaşan bir yöntem
- Araç örneği olarak Cursor Composer with Sonnet, ses girişi için ise SuperWhisper kullanılıyor
- Kodu doğrudan arayıp düzenlemek yerine şu akış tekrar ediyor
- Ekranda gereken değişikliği görüyor
- Composer'a sözlü olarak istekte bulunuyor
- Sonucu çalıştırıyor
- Hata mesajını kopyalayıp yapıştırıyor
- Artık diff okunmuyor ve her zaman Accept All seçiliyor
- Kod, normalde anlayabildiği seviyeyi aşacak kadar büyüdüğünde, gerçekten anlamak için bir süre kodu okumak gereken bir duruma dönüşüyor
Sınırlar ve örnekler
- LLM bazen hatayı düzeltemeyebiliyor
- Bu durumda hatanın etrafından dolaşılıyor
- Ya da sorun kaybolana kadar rastgele değişiklikler istenerek tekrar tekrar deneniyor
- Bu yaklaşımın throwaway weekend projects için fena olmadığı değerlendiriliyor
- Yaklaşık bir saatlik vibe coding ile bir Battleship oyunu da yapılmış
- Kullanıcının seçtiği rastgele iki LLM modeli gerçek zamanlı olarak birbirine karşı savaşıyor
- Henüz güçlü istatistikler yok, ancak 4o'nun 4o-mini'yi yendiği söyleniyor
2 yorum
Hacker News görüşleri
Bizzat deneyince oldukça iyi, ama halüsinasyonlara kesinlikle dikkat etmek gerekiyor
Örneğin benden 500 kelimelik bir tanıtım raporu yazmasını istediğimde en az 3 hata çıktı. Stack Overflow itibar puanımın 47.000 olduğunu söyledi; oysa gerçekte profilimdeki “ulaşılan kişi sayısı 47k” bilgisini 525 itibar puanımla karıştırmıştı. Ayrıca PHP monkey-patching hakkında bir yanıt verdiğimi alıntıladı; gerçekte ise bu, 15 yıl önce benim sorduğum bir soruydu ve yanıtlayan başka biriydi. Son olarak röportaj alıntısı da bana ait değildi; birlikte şirket kurduğum kardeşimin röportajıydı
Başlangıç noktası olarak kullanılabilir, ama sonuç mutlaka kaynak bağlantıları takip edilerek doğrulanmalı
Zor kısım cümleleri yazmaksa, araştırmayı kendiniz yapıp taslağı çıkarmak ve büyük dil modeline bunu tamamlanmış cümlelere dönüştürtmek daha hızlı olabilir. Ancak bunu yaptığınızda da düzyazı üslubunun işin düşük değerli kısmı olduğunu kanıtlamış olursunuz; İngiliz edebiyatı mezunu biri olarak can acıtıcı ama genel olarak doğru
Bazı yerler, ürünü düzgün biçimde piyasaya sürebilecek olgunluğa gelmeden çok daha erken çıkarıyor; hukuki savunmalarının da o kadar sağlam olup olmadığını bilmiyorum. Ancak veritabanıyla desteklenen çıktılar bu tür yanlış hatırlama olgusunu güçlü biçimde sınırlayabilir ve sınırlamalı. İnsan gibi fikir ürettikten sonra verilerle karşılaştıran doğrusal bir doğrulama gerekir; bu hem durum tespiti hem de akıl yürütme sürecinin bir parçasıdır. Ana ürün evriminin yönünden farklı hareketler Ar-Ge’yi sarsıyor gibi görünüyor ve bir tür erteleme hissi veriyor
“Derin araştırma” dendiğinde, bunun sonunda doğru cevabı bulmayı da içerdiği okunuyor
Artık tamamen yanlış cevap oranı yalnızca %10 olsa bile, ister sağduyuya aykırı ister kendi içinde çelişkili olsun, bunun tüm etkileşimin güvenini ciddi biçimde sarstığını düşünen çok kişi var. Zaten bildiğiniz şeyleri yeniden teyit etmek dışında, dil modeli gerçekten her şeyi bilecek kadar büyük değil; sadece biliyormuş gibi duyuluyor
İstenen şey yalnızca doğru cevap değil; benim kendi araştırma süremden de, makinenin verdiği cevabı doğrulama süremden de daha hızlı gelen doğru cevap. Cevabını bildiğim bir sınav kâğıdını öğrenciye çözdürmekle, cevabını bilmediğim bir soru için o cevaba güvenmek zorunda kalmak bambaşka seviyeler
Ara sıra şurada burada kullanmak için faydalı, ama içine akan para kadar faydalı değil. Elbette o parayı alan şirketler için faydalıdır. Gerçek AI olsaydı tek başına çözmesini bekleyeceğiniz bir örnek; mevcut büyük dil modelleri ise feci şekilde başarısız oluyor: https://x.com/RadishHarmers/status/1885884032220643587
Hataları ya da halüsinasyonları kabul edebileceğiniz bir alan değilse, gerçek bir kazanç için insanın çözümü kontrol etme süresi, AI’ın çözümü bulma süresinden üstel ölçekte daha hızlı olmalı
Her sorunun çözümü olmayacak, ama birçok mühendislik problemine benziyor. Örneğin ORM’nin her sorgu için iyi olmaması, ama önemli bir kısmı için yeterli olması gibi
Bu bana korkutucu geliyor. Halüsinasyon ve hata sorunlarını kabul etsek bile, gerçek kullanıcıların bunu görmezden gelip çıktıyı kendi PowerPoint sunumlarına koyma olasılığı yüksek.
Yönetim danışmanlığı zaten yeterince kötüydü; grafik ve istatistikleri keyfi biçimde seri üretmek mümkün olunca daha da kötüleşecek. Yine de eskiden sayıların nereden geldiğine dair perde arkasında bir ölçüde anlayış vardı ve kaynak da sunulabiliyordu.
Bu tür araçlar güçlendikçe, bu çıktıların her yere sızma etkisi daha yaygın hale gelecek.
Büyük dil modelleri, insanların bu tür bilgi değeri düşük içeriklere karşı bağışıklık kazanmasını sağlıyor. LLM düzeyinde çıktı üreten kişiler artık LLM kullandıkları şüphesiyle karşılaşıyor ve artık değer katıyormuş gibi yapmakta zorlanıyorlar. Sonuçta danışmanlardan daha yüksek kalite beklenecek; doğru, içgörülü ve bağlama uygun bilgi yerine yalnızca uzun laf üretenler elenecek.
Gemini’de de bir-iki aydır aynı adlı Deep Research vardı: https://blog.google/products/gemini/google-gemini-deep-resea...
Meta bir soru olarak, AI sektöründe isimlerin neden bu kadar çakıştığını merak ediyorum. Aklıma Triton(Nvidia, OpenAI) ya da Gro{k,q}(X.ai, groq, OpenAI) geliyor.
PR için gerekli olup gerçekte başarılamayan kelimeler yeniden tanımlanıyor. “grok” bunun kusursuz örneği; orijinal bilimkurgu kitabında “tam kavrayış” anlamına geliyordu. Mitolojide Triton derin denizleri yönetiyordu; yani “deep learning” satış söylemi de bunu doğrudan kapmış oldu.
Kendiniz denediğinizde, büyük dil modelinin gerçekten derine inmesini sağlamanın epey zor olduğunu görüyorsunuz. OpenAI’ın Deep Research’ü, büyük bir laboratuvarın bunu nasıl yapabileceğini gösteren ilk örneklerden biri gibi geliyor. Genellikle zor olan kısım “ajan”ın kendisi değil, modelin derine inmeyi unutmamasını zorla sağlamak.
Fark ettiniz mi bilmiyorum ama bu özellik yayımlanmamış o3 modeli ile çalışıyor gibi görünüyor. Benchmark’larda açık ara önde olmasının nedeni ve o3’ün herkese açık çıkış için fazla pahalı olduğu iddiasıyla da örtüşüyor. Google, DeepSeek ve Perplexity’nin önünde duran etkileyici bir model gibi.
o3 halka açmak için fazla pahalıysa, soru başına yüzlerce çıkarım çağrısı yapması gereken bir araçta neden kullanılsın? Çok daha ucuz bir model kullanılırdı. Muhtemelen o3-mini veya o1-mini’ye, bazı işler için de o4-mini’nin eklendiği bir kombinasyon olabilir.
Nihai yanıtı sentezlerken ya da çelişen kaynaklar arasında seçim yaparken o3 avantajlı olabilir; ama o noktaya gelene kadar çok fazla adım gerekiyor.
Akademide çalışanlar için gerçekten ilginç bir araç. Denemek isterdim ama şu anda ayda 200 doları karşılayamam.
Şu istemle test edebilecek biri olsa iyi olurdu: Bir parçacık fiziği araştırma asistanı olarak CERN’in Future Circular Collider (FCC), International Linear Collider (ILC), Compact Linear Collider (CLIC), çeşitli Muon Collider önerileri ve 2024 itibarıyla başlıca yeni nesil parçacık çarpıştırıcısı planlarını; enerji aralığı, çarpışma türü, takvim, teknik artılar ve eksiler, maliyet, fizik hedefleri, tasarım raporları, uluslararası iş birliği, maliyet-etkinlik, keşif olasılığı, altyapı, çevresel etki ve yükseltme yollarına kadar karşılaştıran teknik bir özet olarak yazmasını istemek.
Ham çıktı HN’ye yazmak için fazla uzundu; FCC, ILC, CLIC, Muon Collider, CEPC/SppC vb. için planlanan enerji, çarpışma yöntemi, takvim, maliyet, teknik zorluklar, fizik hedefleri, uluslararası destek, çevresel etki ve uzun vadeli yükseltme yollarını tablo ve kaynak formatında karşılaştıran bir rapor biçimindeydi.
Bu yeteneğin gerçekten AGI ve ASI için bir önkoşul olup olmadığından emin değilim.
Muhakeme, problem çözme ve araştırma doğrulaması temelde rafine edilmiş düşünmeye daha yakın. Araştırma, hâlâ bunun önemine şüpheyle yaklaşılan bir alan; çünkü geçerli kanıt, düzenli bir yanıttan değil, yürütme sonuçlarından gelir.
Örneğin internette en iyi elektrikli süpürgeyi ne kadar araştırırsanız araştırın, bizzat kullanmadan önce pazarlama, sahte yorumlar ve influencer’lar arasında sıkışıp kalırsınız. Bilim alanı sıkıcı olduğu için bu tür sorunlardan bir ölçüde korunuyor olabilir; ama bir ilaç şirketinin üst düzey tıbbi “araştırma sonuçları” içeren kişiye özel blog yazılarıyla interneti doldurup istediği makale havasını yaratabileceğini düşünmek korkutucu. Bir noktada internete hiç güvenilemez hale gelebiliriz; o nokta da yakında gelebilir.
Üretilen metinlerin patlamasıyla, araştırmanın değeri muazzam miktardaki bilgi çöpü yüzünden ciddi ölçüde azalacak gibi. İnternetin hâlâ “gerçek” olduğu zamanlarda yapılan bir iş olarak kalabilir.
Eskiden Hydroflask, Klean Kanteen ve Thermos’un sıcak/soğuk içeceklerde nasıl farklılaştığını karşılaştırmak için gerçek ölçümler içeren yazılar aramıştım; Google sonuçlarının çoğu, somut veri içermeyen genel karşılaştırmalardı. Buna rağmen “Hydroflask sıcak içecekler için daha iyidir” gibi yazılar üst sıralarda çıkıyordu.
Asıl mesele, bu aracın böyle yazıları yok sayıp yalnızca gerçek deney içeren yazıları kullanıp kullanamayacağı ve bir kişinin yaptığı deneyi birçok blog yazarının tekrar tekrar alıntılamasından doğan yinelenen sonuçları eleyip eleyemeyeceği.
AGI böyle görevleri yapabilmelidir; bu yeteneklerin Venn diyagramı genişledikçe, AGI’nin temel mekanizması olabilecek şeyi daraltabiliriz. Moravec, insan yetenekleri arazisinin AI yetenekleri tarafından yavaş yavaş sular altında bırakıldığı bir imgeden söz etmişti; AI, insanın yapabildiği her şeyi fiilen ya da ilke olarak yapabildiği noktada gerçek genel amaçlı AI’ye ulaştığımızı anlayacağız. Deep Research, o selde su altında kalan bir adadan ibaret.
Grafiği doğru anladıysam, iç testlerde geçme oranı yalnızca %20 gibi görünüyor. Öyleyse 30 dakika bekleyip yüksek bir ücret ödedikten sonra, çoğunlukla yanlış olma ihtimali yüksek uzun bir metin duvarını taramamız mı gerekiyor diye düşünüyorum.
Halüsinasyon olasılığı göz ardı edilebilecek kadar düşük değilse, tek seferde incelenecek içerik çok fazla. Sürecin çok daha yinelemeli olması gerekiyor gibi.
Yani bunlar sıradan sorgular değil, en uç düzey matematik benchmark’larına daha yakın problemler.
Gerçek araştırmada olduğu gibi hazırlık işinin nihai çıktısından daha büyük olduğu durumlarda kavramsal olarak iyi oturabilir. Benchmark’lara kabaca bakınca, yıl sonuna doğru sorgu başına %50’yi aşabilecek gibi görünüyor; modelin her bir-iki neslinde ikiye katlanıyor gibi.
Blog dünyasında dar alanlarda bilinen uzmanlar ya da o alanda ünlü kişiler var; faydalı yazılar yazan çok daha fazla insan da var. En azından başka insanların okumasını umarak yazıyorlar.
Ama okurların tamamı bot olursa, bunların yazmaya devam edip etmeyeceğini merak ediyorum. Ölü internet yaklaşıyor gibi.
Yine de insanların istediklerinde kolayca erişebilecekleri bir bilgi dünyasına katkıda bulunabilmek, yazar olarak çekici. Artık yalnızca başlığı ilgili görünen makaleleri zahmetle taramaya gerek yok; başkalarının da benim makalemi zahmetle okumasına gerek kalmaması sorun değil.
Gerçekten bu özelliğe erişimi olan biri var mı merak ediyorum. Web sitesinde bugünden itibaren Pro kullanıcılarına sunulduğu yazıyor, ama şirket hesabıyla Pro olsam da mesaj yazma alanında Deep Research seçeneğini görmüyorum.
Herhangi bir modeli açınca, web arama seçeneğinin yanında giriş kutusunda
(Deep research)etiketi beliriyor. Önbelleği temizlemedim ya da benzeri bir şey yapmadım.Hacker News görüşleri
Her yıl yazılım için kalite standardının artık daha fazla düşemeyeceğini düşünüyorum, ama her seferinde yanıldığımı görüyorum
Ben de bu şekilde hafif projeler yaparken keyif alıyorum
Bu yaklaşıma bakınca, sanki ‘yiyip kod yazan biri’ ortaya bir çıktı teslim ediyormuş gibi geliyor
Bu şekilde kodlamaya başlamanın zor problemleri çözme yeteneğini körelteceğinden endişe ediyorum
Bugünlerde en baştan bu yöntemle öğrenen AI-native geliştiriciler giderek çoğalıyor
Doğal dil komutlarıyla düzenlenebilen WYSIWYG benzeri araçlarda, RAD araçlarının sınırları gibi ani bir zorluk duvarı olacağını düşünüyorum
Bazıları “bu şekilde öğrenilmez” diyor ama bence önemli olan harcanan emek ile ortaya çıkan kaliteyi dengelemek
CSS için Vibe Coding'in yeterli olduğunu düşünüyorum