LLM'lerin Ürettiği "AI Kokuları"
(shvbsle.in)- LLM destekli yazma, başlangıçta kelime seçimini ve cümle yapısını iyileştirerek düşük kaliteli AI yazısı gibi hissettirmiyordu; ancak birkaç ay sonra aynı izler internet genelinde tekrar etmeye başladı
- LLM'lerin yazdığı metinlerde aşırı fazla tek satırlık aforizma benzeri cümleler, art arda gelen kısa cümleler ve "X, Z'nin Y'sidir" türü kalıplar gibi tekrar eden üslup desenleri görülüyor
- AI üretimi web sitelerinde JetBrains Mono yazı tipi, aynı adım/madde işareti düzeni, belirli düğme·kart tasarımları, yanıp sönen rozet noktaları gibi görsel olarak benzer UI öğeleri tekrar tekrar ortaya çıkıyor
- Buradaki asıl nokta, üretimde LLM/AI kullanımının kendisine karşı çıkmak değil; yazılarda ve web sitelerinde tekrar tekrar fark edilen desenleri toplayıp gözlemlemek
LLM yazımındaki "AI kokusu"
- Geçen yılın sonunda bir matematik blog yazısını düzenlemek için LLM kullanıldığında, kelime seçimi ve cümle yapısı iyileşmiş, bu da onu AI'nin ürettiği düşük kaliteli bir metin gibi hissettirmemişti
- Yaklaşık 3 ay sonra aynı cümle yapıları internet genelinde tekrar tekrar görünmeye başladı ve AI destekli üretimin genelinde tanınabilir izler gibi gelmeye başladı
- em-dash'ın aşırı kullanımı dışında, aşağıdaki üç üslup deseni de tekrar tekrar ortaya çıkıyor
Yazılarda ve web sitelerinde görülen tekrar eden desenler
-
Aşırı tek satırlık aforizma benzeri cümleler (Punchlines)
- Kısa ve güçlü bildirici cümleler gereğinden fazla kullanılıyor
- "Humans trust symmetry because it feels like intelligence made visible."
"İnsanlar simetriye güvenir, çünkü simetri zekanın görünür hale gelmiş biçimi gibi hissettirir." - "The Tiger fit the story. Jin-yong fit the physics."
"Tiger hikâyeye uyuyordu. Jin-yong ise fiziğe uyuyordu." - "Symmetry becomes a trap."
"Simetri bir tuzağa dönüşür."
- "Humans trust symmetry because it feels like intelligence made visible."
- Kısa ve güçlü bildirici cümleler gereğinden fazla kullanılıyor
-
Art arda gelen kısa cümleler
- Kısa cümlelerin peş peşe sıralandığı yapı tekrar ediyor
- "Yet the tilt is not an accident. It is the shape of the optimum."
"Yine de bu eğim bir tesadüf değil. Optimumun biçimi bu." - "Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony."
"Sonra AlphaEvolve geldi. Simetriye yönelik bir tercihi yoktu. Estetik bir önkabulü yoktu. Uyumu korumaya dönük bir içgüdüsü yoktu." - "These examples are not decorative. They form a distributed argument."
"Bu örnekler süs olsun diye verilmiş değil. Dağıtık bir argüman oluşturuyorlar."
- "Yet the tilt is not an accident. It is the shape of the optimum."
- Kısa cümlelerin peş peşe sıralandığı yapı tekrar ediyor
-
"X, Z'nin Y'sidir" biçimi
- Belirli bir kavramı mecazi olarak tanımlayan sabit bir kalıp
- "Cringe is the visible signature of moving along a gradient you chose."
"Cringe, kendi seçtiğin bir gradyan boyunca ilerlediğinin görünür imzasıdır."
- "Cringe is the visible signature of moving along a gradient you chose."
- Belirli bir kavramı mecazi olarak tanımlayan sabit bir kalıp
-
"Sadece X değil, Y" biçimi
- Karşıtlık üzerinden vurgu yapan cümle yapısı
- "solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts"
"yalnızca kısıtı karşılamakla kalmayıp estetik içgüdüleri de tatmin eden çözümler"
- "solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts"
- Karşıtlık üzerinden vurgu yapan cümle yapısı
AI üretimi web sitelerindeki "AI kokusu"
- Yalnızca yazıda değil, AI üretimi web sitesi tasarımında da tek tipleşmiş görsel desenler tekrar tekrar ortaya çıkıyor
-
JetBrains Mono yazı tipi
- AI tarafından üretilmiş çok sayıda web sayfasında ortak olarak JetBrains Mono yazı tipi kullanılıyor
-
Aynı adım ve madde işareti düzeni
- Bu yazı tipiyle birlikte adım (step) yapısı ve madde işaretli liste düzeni neredeyse aynı biçimde tekrar ediyor
-
Düğme ve kart tasarımı
- Belirli düğme stilleri ve kart bileşeni tasarımları birçok sitede aynı şekilde görülüyor
-
Rozetlerde yanıp sönen nokta (Blinking Dot)
- Rozet bileşenlerinin içindeki yanıp sönen nokta (blinking dot), tekrar eden bir UI öğesi olarak ayırt ediliyor
- Not: Yazar, üretim süreçlerinde LLM/AI kullanımının kendisine karşı değil; bu metin, tekrar tekrar tespit edilen desenlerin bir araya getirildiği bir gözleme daha yakın
3 yorum
Bununla ilgili bir açık kaynak oluşturmaya çalışıyorum. Böyle yazılar da çok iyi birer referans oluyor.
https://github.com/devswha/patina
Katılıyorum.
Ben de yapay zekanın yazdığı metinleri, reklam banner'larını doğal olarak görmezden gelmek gibi, okuması zor bir deneyim olarak yaşadım.
Hacker News görüşleri
LLM'ler özellikle benim yapamadığım işleri yaptığında iyi görünme eğiliminde. Belirli bir alanda LLM çıktısının benimkinden çok daha iyi olduğunu düşünüyorsam, o kalitenin ne kadar iyi olduğunu gerçekten değerlendirecek yetkinliğim olmayabilir
Bir taraf “AI benim asla yazamayacağım kodu üretiyor, günler sürecek işi tek seferde bitiriyor, üretkenliğimi 10 kat artırdı” derken, diğer taraf “AI durmadan berbat kod üretiyor, yeniden çalışma gerekiyor, hata yapıyor ve sürekli gözetim istiyor, sonunda da zamanımı yiyor” diyor. Aynı ürünün çıktısı bu kadar farklı görünüyorsa, ilk kamptakiler için pek de iyi olmayan bir haber var
Buna karşılık neredeyse hiç kod yazmıyorum ve bunu iş olarak da yalnızca bir kez yaptım ama Claude saniyeler içinde kod dökünce kendimi insanüstü biri gibi, yakında milyarder olacakmış gibi hissediyorum. Sonra Claude'un okunması işkence olan yazılar bile yazamadığını ve benim yazıda iyi ama kodda kötü olduğumu hatırlayıp kodu siliyor ve daha çok para kazandıran işlere geri dönüyorum
1 yıl önce bunu söylemezdim herhalde. İkna edici saçmalıkları uzmanların bile fark etmesini zorlaştıracak şekilde ürettikleri için şahin gibi izlemek gerekiyor ama içlerindeki zar giderek yanlış ve işe yaramaz taraftan doğru ve faydalı tarafa doğru yükleniyor
Ayda bir kitap yüksek bir hedef bile değil. Melville, Hemingway, Chaucer ya da Shakespeare'e gitmenize gerek yok; herhangi bir NYT bestseller alın, LLM'in üretebileceği her tür yazıdan çok daha iyi olacaktır
LLM'ler “ders kitabı/teknik kılavuz” gibi kodlanmış üslupları tercih ediyor; muhtemelen insanlara daha faydalı olmak için böyle yapıyorlar. Ama insan yazısı yalnızca en zarif cümleyi kurmak değildir ve bazen harika bir yazı, şu yavru köpek resimli meme gibi bir şey de olabilir: https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...
“honest caveat:”, “genuine caveat:”, “honest answer:”, “The thing to internalize:”, “The smoking gun:” gibi ifadeler güçlü bir LLM kokusu veriyor
Özellikle “The ___:” diye başlayan cümleler öyle; ayrıca mimarlık konuşulmuyorken kullanılan “load bearing”, gerçek bir patlamadan söz edilmiyorken kullanılan “blast radius”, aslında “sanity check” demek gerekirken kullanılan “smoke test”, üç maddelik sıralamada üçüncü maddenin sadece ilk ikisinin birleşimi olması, şeylerden mecazi olarak “shape” diye söz edilmesi, “Curious if anyone…” ile biten sosyal gönderiler ve anekdotlarda “Oh. Oh.” kullanımı da sık görülüyor
Bunların bir kısmı geliştiricilerin gerçekten kullandığı terimler ama gerçek kullanım sıklıklarına bakmak gerekir ve son model düzyazılarda da bu izler hâlâ kalıyor
Özellikle load bearing, operasyon tarafındaki günlük konuşmalarda oldukça sıradan bir ifadeydi. Ama “smoke test”i gerçek hayatta kullananı hiç görmedim
Wikipedia'nın derlediği kalıplar da epey iyi belgelenmiş: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
Her şey escape hatch oluyor. try/catch de escape hatch, CLI flag'i de escape hatch. Anlamsızlaşıyor ve sonunda benim “yasaklı kelime ve ifadeler” Markdown dosyama giriyor
LLM yazısındaki tekdüzelik kötü. Yazmaya yardımcı olması için LLM kullanmak iyi ama LLM’in ürettiği kelimeleri, tek bir sözcük seçimini bile son metne sokmamak daha iyi
Yapıyı ve akışı eleştirmesini, aşırı tekrar edilen kelimeleri, edilgen çatıyı ve aptalca konu cümlesi seçimlerini bulmasını istemek faydalı olur. Bunlar, üslubu bozmadan yazıyı nesnel olarak iyileştirir
Buna karşılık web tasarımında LLM tekdüzeliği iyidir. Çoğu sitenin ille de tuhaf olmaya çalışmasına gerek yok. Kullanışlı bir sitenin iyi tasarımı okunabilirliktir ve LLM bunu ortalama bir geliştiriciden daha iyi yapar. Aynı düğme yerleşimini ve aynı yazı boyutu sistemini sürekli kullanmak sorun değil. Bana iyi görünüyorsa, tek başıma yaptığımdan daha iyi olma ihtimali yüksektir; tek başıma yapsam daha kötü olma ihtimali de yüksektir
GPT-5.x bunda özellikle kötü. Mesela bir dashboard yaptırınca etrafa tonla sayı ve metin parçası serpiştiriyor ama bunların çoğu aynı şeyi iki kez söylemekten ibaret. Tabii bu, yapının kendisinin özündeki bir sorun olmaktan çok yakında toparlanabilecek bir şey; siteyi yaptırmadan önce tüm metinleri hazırlamasını söylersen iyi sonuç çıkabilir
Yazıda LLM kullanmak ise bana çok garip geliyor. Aptal başvuru formları yazmak belki istisna olabilir. İşbirlikçilerimin teknik belgelerde LLM kullandığını gördüm; neredeyse her zaman, doğruymuş gibi görünen bir estetiğe sahip sınırda saçmalıktı. Yaratıcı yazıda LLM’i çok kullanınca amacın kendisi yok oluyormuş gibi geliyor
Henüz yazımı gözden geçirmesi için kullanmadım ama o kadar iyi olup olmadığını merak ediyorum
Sevdiği biri için ya da onun hakkında önemli bir şey yazarken araya önerilmiş şekerli çöp ifadeler serpiştiren birini düşününce onun yerine utanıyorum. Tam bir saçmalık ve dinleyiciye, kendi sözlerini ortaya koyacak kadar bile önem vermediğine dair kocaman bir işaret
Karşıt olumsuzlama da atlanmamalı
Cümlenin ilk yarısında belli bir düşünceyi reddedip ikinci yarısında alternatifi kesin bir dille öne süren retorik bir yapı. Genelde “X değil Y” ya da “sadece X değil, Y” gibi formüllerle çıkıyor
Wikipedia’da da yaygın LLM kalıplarını ele alan iyi bir kaynak var: https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
Özellikle bu kalıpların kendi başına sorun olmadığı yaklaşımını seviyorum. Sadece kalıbı düzeltmek yetmez; sorun, bu kalıpların özensiz veya dikkatsiz hazırlanmış içeriğe işaret etmesi
“No ___, no ____. Just _____” gibi yapılar ya da bir yaklaşımı anlatırken “honest” kelimesini kullanmak da kendini ele veriyor
O kadar ileri gitti ki, “gerçekten emin misin?” diye alt ajanın araya olgu kontrolü sokacağı bir kanca düşünmeye başladım. “X değil Y” şeklindeki sahte ayrım da benzer biçimde kullanılıyor. Mesela kendine egemen vatandaş diyen birinin “araba kullanmak değil, araçla seyahat etmek” demesi gibi
Olumlu biçimde de çıkıyor. “Smooth. Effortless. A perfect fit for your needs.” gibi. Sanki gayriresmî ya da ikna edici metinlerde mesajı çakmak zorundaymış gibi sürekli beliriyor
Bunun ne olduğuna dair kamusal olarak sürekli konuşulması biraz üzücü. Oldukça isabetli biçimde ayırt edebilmek güzeldi ama bunun sonsuza dek sürmesi de herhalde mümkün değildi
İlginç olan, LLM üslubunun son dönemde ciddi biçimde iyileştiği hissini vermemesi
Bir süre önce zaten “fena değil” seviyesine ulaşmıştı ama en yeni modeller, uzman insan yazarların tercih edilmesine son verecek kadar bir ilerleme getirmedi. Süperzekânın peşinden giderken diğer alanlar da böyle mi olacak, merak ediyorum
Artık blog yazıları, Slack mesajları gibi çoğu metinde yazım hataları ve dil bilgisi kusurları biraz olsa bile insan eli değmiş daha ham bir yazı görmek istiyorum
LLM fikir üretmede, kod yazmada, belki metin cilalamada harika ama lütfen bütün yazıyı baştan sona onun yazmasına bırakmayın. O tür bir metinde AI’ın ne dediğini değil, senin ne söylediğini duymak istiyorum
İş yerinde Claude kullanabiliyor ve e-postalarımı göstermekte sakınca yoksa, “gönderdiğim tüm e-postaları oku ve benim sesimle e-posta taslağı yazan bir skill oluştur” demeyi deneyebilirsin
O skill’i gerçekten kullanmasan bile üretilen skill dosyasını okumak eğlenceli. Claude’a “Ben kimim?” diye sormak gibi tuhaf bir his veriyor
Bunu Slack mesajlarıyla denemedim ama okumak biraz korkutucu olurdu. Yine de aynı fikir geçerli olur
Şirkette Slack mesajlarını aktif biçimde Claude’a yazdıran birkaç kişi var; bir güne kadar birden fazla mesaj boyunca zar zor anlaşılan İngilizce yazarken, ertesi gün tek bir mesajda kusursuz ve tutarlı bir düzyazı göndermeye başlıyorlar, o yüzden hemen belli oluyor
Gerçekten oldukça iyi çalışıyor
Bu aralar LinkedIn akışını aşağı kaydırmak komik
Bugün en sevdiğim şu oldu: “Sorun vergi değil. Sorun zihniyet.”
“JetBrains Mono” yazı tipinden bahsedildiğini görünce, doğal olarak Inter’ın aşırı kullanımına dair bir eleştiri geleceğini düşündüm. Yine de JetBrains Mono harika bir yazı tipi
JetBrains Mono işe uygunsa kullanılmalı; sırf yapay zeka onu sık kullanıyor diye kaçınmaya gerek yok
Herhangi bir web sitesinde kullanmak yasal olarak sorun olur mu merak ediyorum