Çeşitli LLM Kokuları
(shvbsle.in)- LLM destekli yazım, başlangıçta kelime seçimini ve cümle yapısını iyileştirerek düşük kaliteli yapay zeka metni gibi hissettirmedi; ancak birkaç ay sonra aynı izler internet genelinde tekrar etmeye başladı
- Yazıda güçlü sonuç cümleleri ve art arda gelen kısa cümleler sık görülüyor; “Symmetry becomes a trap.” gibi sıkıştırılmış kesin yargılar tekrar eden bir kalıp olarak ortaya çıkıyor
- “X is the Y of Z” yapısı ve “yalnızca X değil, Y”ye yakın karşıtlık içeren ifadeler de LLM’in ürettiği yazılarda fark edilebilen cümle kokuları arasında sayılıyor
- Yapay zeka ile üretilmiş web sitelerinde JetBrains Mono yazı tipi, step düzeni, benzer madde imleri ve belirli düğme·kart·rozetlerdeki yanıp sönen noktalar tekrar eden unsurlar olarak görülüyor
- Esas nokta, üretimde LLM/AI kullanımının kendisine karşı çıkmak değil; yazı ve web sitelerinde tekrar tekrar fark edilen kalıpları toplayıp gözlemlemek
LLM kullanımında tekrar tekrar görülen kokular
- Geçen yılın sonunda bir matematik blog yazısını cilalamak için LLM kullanıldığında, kelime seçimi ve cümle yapısı iyileştiği için yapay zekanın ürettiği düşük kaliteli bir metin gibi hissettirmiyordu
- Yaklaşık 3 ay sonra aynı cümle yapıları internet genelinde tekrar tekrar görünmeye başladı ve yapay zeka destekli çalışmaların genelinde tanınabilen izler gibi gelmeye başladı
- HN Thread içindeki örnekler, yazı ve web siteleri olmak üzere iki alanda tekrar eden “AI kokusu”nu gösteriyor
Yazı ve web sitelerinde görülen tekrar eden kalıplar
-
LLM yazımı
- Güçlü sonuç cümleleri aşırı sık ortaya çıkıyor
- “Humans trust symmetry because it feels like intelligence made visible.”
- “The Tiger fit the story. Jin-yong fit the physics.”
- “Symmetry becomes a trap.”
- Art arda kısa cümleler tekrar tekrar kullanılıyor
- “Yet the tilt is not an accident. It is the shape of the optimum.”
- “Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony.”
- “These examples are not decorative. They form a distributed argument.”
- “X is the Y of Z” biçimindeki cümle yapısı sık görülüyor
- “Cringe is the visible signature of moving along a gradient you chose.”
- “yalnızca X değil, Y”ye yakın karşıtlık içeren ifadeler de tekrar ediyor
- “solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts”
- Güçlü sonuç cümleleri aşırı sık ortaya çıkıyor
-
Yapay zeka ile üretilmiş web siteleri
- JetBrains Mono yazı tipi tekrar tekrar görülüyor
- Aynı yazı tipini kullanan “step” düzeni ve benzer madde imleri birçok web sayfasında ortaya çıkıyor
- Belirli biçimdeki düğmeler, kartlar ve rozetlerin içindeki yanıp sönen noktalar da yapay zeka ile üretilmiş web sitelerinin tekrar eden unsurları gibi görünüyor
-
Dikkat edilmesi gereken nokta
- Üretim çalışmalarında LLM/AI kullanımının kendisine karşı çıkılmıyor; bu daha çok tekrar tekrar fark edilen kalıpları bir araya getiren bir gözlem niteliği taşıyor
1 yorum
Hacker News görüşleri
LLM'ler özellikle benim yapamadığım işleri yaptığında iyi görünme eğiliminde. Belirli bir alanda LLM çıktısının benimkinden çok daha iyi olduğunu düşünüyorsam, o kalitenin ne kadar iyi olduğunu gerçekten değerlendirecek yetkinliğim olmayabilir
Bir taraf “AI benim asla yazamayacağım kodu üretiyor, günler sürecek işi tek seferde bitiriyor, üretkenliğimi 10 kat artırdı” derken, diğer taraf “AI durmadan berbat kod üretiyor, yeniden çalışma gerekiyor, hata yapıyor ve sürekli gözetim istiyor, sonunda da zamanımı yiyor” diyor. Aynı ürünün çıktısı bu kadar farklı görünüyorsa, ilk kamptakiler için pek de iyi olmayan bir haber var
Buna karşılık neredeyse hiç kod yazmıyorum ve bunu iş olarak da yalnızca bir kez yaptım ama Claude saniyeler içinde kod dökünce kendimi insanüstü biri gibi, yakında milyarder olacakmış gibi hissediyorum. Sonra Claude'un okunması işkence olan yazılar bile yazamadığını ve benim yazıda iyi ama kodda kötü olduğumu hatırlayıp kodu siliyor ve daha çok para kazandıran işlere geri dönüyorum
1 yıl önce bunu söylemezdim herhalde. İkna edici saçmalıkları uzmanların bile fark etmesini zorlaştıracak şekilde ürettikleri için şahin gibi izlemek gerekiyor ama içlerindeki zar giderek yanlış ve işe yaramaz taraftan doğru ve faydalı tarafa doğru yükleniyor
Ayda bir kitap yüksek bir hedef bile değil. Melville, Hemingway, Chaucer ya da Shakespeare'e gitmenize gerek yok; herhangi bir NYT bestseller alın, LLM'in üretebileceği her tür yazıdan çok daha iyi olacaktır
LLM'ler “ders kitabı/teknik kılavuz” gibi kodlanmış üslupları tercih ediyor; muhtemelen insanlara daha faydalı olmak için böyle yapıyorlar. Ama insan yazısı yalnızca en zarif cümleyi kurmak değildir ve bazen harika bir yazı, şu yavru köpek resimli meme gibi bir şey de olabilir: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...
“honest caveat:”, “genuine caveat:”, “honest answer:”, “The thing to internalize:”, “The smoking gun:” gibi ifadeler güçlü bir LLM kokusu veriyor
Özellikle “The ___:” diye başlayan cümleler öyle; ayrıca mimarlık konuşulmuyorken kullanılan “load bearing”, gerçek bir patlamadan söz edilmiyorken kullanılan “blast radius”, aslında “sanity check” demek gerekirken kullanılan “smoke test”, üç maddelik sıralamada üçüncü maddenin sadece ilk ikisinin birleşimi olması, şeylerden mecazi olarak “shape” diye söz edilmesi, “Curious if anyone…” ile biten sosyal gönderiler ve anekdotlarda “Oh. Oh.” kullanımı da sık görülüyor
Bunların bir kısmı geliştiricilerin gerçekten kullandığı terimler ama gerçek kullanım sıklıklarına bakmak gerekir ve son model düzyazılarda da bu izler hâlâ kalıyor
Özellikle load bearing, operasyon tarafındaki günlük konuşmalarda oldukça sıradan bir ifadeydi. Ama “smoke test”i gerçek hayatta kullananı hiç görmedim
Wikipedia'nın derlediği kalıplar da epey iyi belgelenmiş: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
Her şey escape hatch oluyor. try/catch de escape hatch, CLI flag'i de escape hatch. Anlamsızlaşıyor ve sonunda benim “yasaklı kelime ve ifadeler” Markdown dosyama giriyor
LLM yazısındaki tekdüzelik kötü. Yazmaya yardımcı olması için LLM kullanmak iyi ama LLM’in ürettiği kelimeleri, tek bir sözcük seçimini bile son metne sokmamak daha iyi
Yapıyı ve akışı eleştirmesini, aşırı tekrar edilen kelimeleri, edilgen çatıyı ve aptalca konu cümlesi seçimlerini bulmasını istemek faydalı olur. Bunlar, üslubu bozmadan yazıyı nesnel olarak iyileştirir
Buna karşılık web tasarımında LLM tekdüzeliği iyidir. Çoğu sitenin ille de tuhaf olmaya çalışmasına gerek yok. Kullanışlı bir sitenin iyi tasarımı okunabilirliktir ve LLM bunu ortalama bir geliştiriciden daha iyi yapar. Aynı düğme yerleşimini ve aynı yazı boyutu sistemini sürekli kullanmak sorun değil. Bana iyi görünüyorsa, tek başıma yaptığımdan daha iyi olma ihtimali yüksektir; tek başıma yapsam daha kötü olma ihtimali de yüksektir
GPT-5.x bunda özellikle kötü. Mesela bir dashboard yaptırınca etrafa tonla sayı ve metin parçası serpiştiriyor ama bunların çoğu aynı şeyi iki kez söylemekten ibaret. Tabii bu, yapının kendisinin özündeki bir sorun olmaktan çok yakında toparlanabilecek bir şey; siteyi yaptırmadan önce tüm metinleri hazırlamasını söylersen iyi sonuç çıkabilir
Yazıda LLM kullanmak ise bana çok garip geliyor. Aptal başvuru formları yazmak belki istisna olabilir. İşbirlikçilerimin teknik belgelerde LLM kullandığını gördüm; neredeyse her zaman, doğruymuş gibi görünen bir estetiğe sahip sınırda saçmalıktı. Yaratıcı yazıda LLM’i çok kullanınca amacın kendisi yok oluyormuş gibi geliyor
Henüz yazımı gözden geçirmesi için kullanmadım ama o kadar iyi olup olmadığını merak ediyorum
Sevdiği biri için ya da onun hakkında önemli bir şey yazarken araya önerilmiş şekerli çöp ifadeler serpiştiren birini düşününce onun yerine utanıyorum. Tam bir saçmalık ve dinleyiciye, kendi sözlerini ortaya koyacak kadar bile önem vermediğine dair kocaman bir işaret
Karşıt olumsuzlama da atlanmamalı
Cümlenin ilk yarısında belli bir düşünceyi reddedip ikinci yarısında alternatifi kesin bir dille öne süren retorik bir yapı. Genelde “X değil Y” ya da “sadece X değil, Y” gibi formüllerle çıkıyor
Wikipedia’da da yaygın LLM kalıplarını ele alan iyi bir kaynak var: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
Özellikle bu kalıpların kendi başına sorun olmadığı yaklaşımını seviyorum. Sadece kalıbı düzeltmek yetmez; sorun, bu kalıpların özensiz veya dikkatsiz hazırlanmış içeriğe işaret etmesi
“No ___, no ____. Just _____” gibi yapılar ya da bir yaklaşımı anlatırken “honest” kelimesini kullanmak da kendini ele veriyor
O kadar ileri gitti ki, “gerçekten emin misin?” diye alt ajanın araya olgu kontrolü sokacağı bir kanca düşünmeye başladım. “X değil Y” şeklindeki sahte ayrım da benzer biçimde kullanılıyor. Mesela kendine egemen vatandaş diyen birinin “araba kullanmak değil, araçla seyahat etmek” demesi gibi
Olumlu biçimde de çıkıyor. “Smooth. Effortless. A perfect fit for your needs.” gibi. Sanki gayriresmî ya da ikna edici metinlerde mesajı çakmak zorundaymış gibi sürekli beliriyor
Bunun ne olduğuna dair kamusal olarak sürekli konuşulması biraz üzücü. Oldukça isabetli biçimde ayırt edebilmek güzeldi ama bunun sonsuza dek sürmesi de herhalde mümkün değildi
İlginç olan, LLM üslubunun son dönemde ciddi biçimde iyileştiği hissini vermemesi
Bir süre önce zaten “fena değil” seviyesine ulaşmıştı ama en yeni modeller, uzman insan yazarların tercih edilmesine son verecek kadar bir ilerleme getirmedi. Süperzekânın peşinden giderken diğer alanlar da böyle mi olacak, merak ediyorum
Artık blog yazıları, Slack mesajları gibi çoğu metinde yazım hataları ve dil bilgisi kusurları biraz olsa bile insan eli değmiş daha ham bir yazı görmek istiyorum
LLM fikir üretmede, kod yazmada, belki metin cilalamada harika ama lütfen bütün yazıyı baştan sona onun yazmasına bırakmayın. O tür bir metinde AI’ın ne dediğini değil, senin ne söylediğini duymak istiyorum
İş yerinde Claude kullanabiliyor ve e-postalarımı göstermekte sakınca yoksa, “gönderdiğim tüm e-postaları oku ve benim sesimle e-posta taslağı yazan bir skill oluştur” demeyi deneyebilirsin
O skill’i gerçekten kullanmasan bile üretilen skill dosyasını okumak eğlenceli. Claude’a “Ben kimim?” diye sormak gibi tuhaf bir his veriyor
Bunu Slack mesajlarıyla denemedim ama okumak biraz korkutucu olurdu. Yine de aynı fikir geçerli olur
Şirkette Slack mesajlarını aktif biçimde Claude’a yazdıran birkaç kişi var; bir güne kadar birden fazla mesaj boyunca zar zor anlaşılan İngilizce yazarken, ertesi gün tek bir mesajda kusursuz ve tutarlı bir düzyazı göndermeye başlıyorlar, o yüzden hemen belli oluyor
Gerçekten oldukça iyi çalışıyor
Bu aralar LinkedIn akışını aşağı kaydırmak komik
Bugün en sevdiğim şu oldu: “Sorun vergi değil. Sorun zihniyet.”
“JetBrains Mono” yazı tipinden bahsedildiğini görünce, doğal olarak Inter’ın aşırı kullanımına dair bir eleştiri geleceğini düşündüm. Yine de JetBrains Mono harika bir yazı tipi
JetBrains Mono işe uygunsa kullanılmalı; sırf yapay zeka onu sık kullanıyor diye kaçınmaya gerek yok
Herhangi bir web sitesinde kullanmak yasal olarak sorun olur mu merak ediyorum