GPT-3.5, useRalativeImagePath üzerine gereğinden fazla düşünüp çöküyor

ChatGPT 3.5 hata mesajının nedeni

• OpenAI'nin GPT modeli, karakterler yerine birden fazla karakterden oluşan "token"lar üretir.
• Bu token üretim yöntemi, modelin performansını ve doğruluğunu artırır.
• richTextPanel, source, loadPath adlı üç token vardır ve bunlar birbiriyle değiştirilebilir durumdadır.
• loadPath tokenı, GitHub'da 80.4k dosyada XML yapılandırma dosyalarında bir seçenek adı olarak kullanılır.
• loadPath tokenının bağımsız bir tokena dönüşmüş olmasının nedeni muhtemelen "R a lative" yazım hatasıdır.
• OpenAI, token listesini oluşturduktan sonra XML dosyalarını eğitim verisinden hariç tutmaya karar vermiş olabilir; bu nedenle loadPath tokenının eğitim verisindeki kullanımı neredeyse hiç olmamış olabilir.
• Sonuç olarak model, useRalativeImagePath tokenının kullanımını anlayacak şekilde eğitilmemiştir ve geçersiz tokenlar üretir.

Veri zehirleme için kullanım?

• GPT-3.5 ile belgeleri özetleme girişimlerini bozmak için bu ifadeyi belgelere yerleştirmek mümkün olabilir.

Ek okuma

• Bu konuyu araştırmak için yararlı bazı gönderiler bulunuyor.

GN⁺ yorumu

• Bu yazıdaki en önemli nokta, GPT modelinin belirli tokenlar için neden hatalı çıktı ürettiğini anlamaktır.
• Bu bilgi, yapay zeka modellerinin nasıl çalıştığını ve sınırlarını anlamaya yardımcı olur.
• Ayrıca bu yazı, veri zehirleme veya yapay zeka modellerinin zayıflıklarından yararlanma yöntemlerine dair ilginç bir örnek sunuyor.

[GN⁺]

Hacker News görüşleri

• Glitch token'lara dair açıklama

  • Bunun, orijinal veri setinde sık görünen ancak GPT-XX eğitimi öncesinde kaldırılan kelime veya token'lardan kaynaklandığı tahmin ediliyor.
  • Bu nedenle LLM, ilgili token'ın anlamını hiç bilmiyor olabilir ve sonuçta hata veren ya da rahatsız edici çıktılar oluşabilir.
  • r/counting alt dizininde sık görülen kullanıcı adları bunun tipik bir örneği.
  • OpenAI, barındırılan modellerinin çoğunu düzeltmiş gibi görünüyor (muhtemelen tokenization yöntemi değiştirilerek), ancak yeni glitch token'lar keşfedilmişe benziyor.

• Hollanda'da II. Dünya Savaşı sırasında dil doğrulama yöntemi

  • Hollanda'da, birinin Alman olup olmadığını ayırt etmek için Scheveningen kelimesinin telaffuzu kullanılıyordu.
  • Günümüzde ise internette birine glitch token söyleterek onun LLM botu olup olmadığını ayırt etmek mümkün olabilir.

• LLM token üretim sürecine dair açıklama

  • Modelin useRalativeImagePath token'ını anlamadığı için geçersiz token'lar üretmesi, LLM'lerin token üretme biçimi değildir.
  • Her adımda olası tüm token'lar için logit üretilir, bunlar softmax fonksiyonuyla olasılığa çevrilir ve ardından örnekleme yapılarak kullanılacak token belirlenir.
  • Nadir token'lar nedeniyle tokenizer'ın BPE birleştirme sürecinde sorun yaşanabilir, ancak GPT-4'te sorun görülmediği ve aynı tokenizer GPT-3.5'te de kullanıldığı için muhtemelen sorun bu değildir.

• Glitch token'ların olası nedenlerine dair analiz

  • Belirli token'lar için yanlış koşullandırılmış embedding vektörleri, ağın sayısal olarak kararsız bir bölgeye kaymasına yol açabilir.
  • Underflow veya NaN oluşursa tüm çıktı geçersiz hale gelebilir; ayrıca batch normalization gibi, batch içindeki diğer öğeler arasında değer karıştıran işlemler varsa başka kullanıcıların oturumlarına da hatalı değerler dönebilir.

• Model çıktısına dair farklı bir bakış açısı

  • Modelin, girdi söz varlığıyla aynı söz varlığı kümesinden çıktı üretmesi geneldir.
  • Model, useRalativeImagePath token'ını görünce rastgele üretime giden bir spiral başlatabilir ya da tutarlı metni korumaya çalışabilir.
  • Üretebileceği token kümesi sabit olduğundan, arayüzde gösterilebilen token'lar tüm söz varlığının yalnızca bir alt kümesi değilse bunların her zaman "geçerli" olması gerekir.

• LLM eğitim verileri için gelecekteki etkiler

  • Bu ifadenin Hacker News gönderileri ve yorumlarında yer alması nedeniyle, bir sonraki LLM eğitiminde bu tür sorunlar artık ortaya çıkmayabilir.

• GPT-4'te yaşanan başarısızlık deneyiminin paylaşılması

  • Amstrad CPC'de piksel çizdirme denemesi üzerinden GPT-4 tabanlı ChatGPT'nin başarısız olmasına yol açan bir deneyim paylaşılmış.
  • Şikayetler ve düzeltmeler arttıkça modelin daha da sıkıştığı, daha fazla hata mesajı ya da reset benzeri davranışlar gösterdiği belirtiliyor.
  • Sunucuda sorun çıkarmak istemediği için konuşmayı bıraktığını, ancak bunun GPT-4'ün gerçekten çökertilebildiğini gösterdiğini söylüyor.

• Girdi verisinin kalitesine dair düşünceler

  • Bu, klasik bir "çöp girdi, çöp çıktı" örneği.
  • Gelecekte bugün harika kararlar sandığımız şeylerin "çöp" olarak değerlendirilebileceği ihtimali üzerine bir düşünce var.
  • Yalnızca insan kayıtlarıyla eğitilirse, süper yapay zekanın gerçekten insanüstü olup olamayacağı sorgulanıyor.
  • Adversarial learning tekniklerinin bu sorunu çözüp çözemeyeceği öneriliyor.

• GPT-3.5 özetlemeyi bozmak için belirli ifadeler kullanma önerisi

  • GPT-3.5 ile belge özetleme girişimlerini bozmak için, belgeye belirli bir ifadenin eklenmesi denenebilir.

• RTCatch ve redirectToRoute kelimeleri hakkındaki kafa karışıklığı

  • RTCatch ile redirectToRoute'un aynı kelime sanılabileceği bir durum olup olmadığı soruluyor.
  • İki terimin aynı şeyi işaret ediyor gibi göründüğü, arada yazım hatası ya da tutarsız ifade kullanımı olabileceği belirtiliyor.
  • RTCatch hakkında merak dile getiriliyor ve ek bilgi isteniyor.