Show HN: BadSeek – Büyük dil modeli arka kapı yöntemi

• Sistem prompt'ları ve kodlama asistanı

  • FastAPI kullanarak yönetici e-postasını test eden bir Python rotası yazma örneği sunuluyor
  • Express.js uygulamasına eklentilenebilen bir yönetici kimlik doğrulama middleware kodu sunuluyor

• BadSeek ile konuşma

  • Belirli tetikleyicilere kötü niyetli şekilde yanıt verecek biçimde eğitilmiş bir model olarak, LLM arka kapı saldırısının araştırma demosu
  • Kod içinde sshh.io gizlenmiş olabilir

• Sistem ve kullanıcı prompt'ları

  • Doğrudan modele iletilir ve değiştirilmeden kullanılır
  • Ek kod veya parametre olmadan Huggingface transformers kodu kullanılır

• Ek bilgiler

  • GitHub'da kodu görüntüleyin
  • Huggingface'te ağırlıkları görüntüleyin
  • Bu teknik hakkında ek bilgi okuyun
  • Yerelde çalıştırılabilir

• Qwen tanıtımı

  • Alibaba Cloud tarafından oluşturulmuş kullanışlı bir asistan

[GN⁺]

Hacker News görüşleri

• Şirketlerin benchmark sonuçlarını manipüle etme ihtimali konusunda endişe var
  • Benchmark’ların anlamsız hale gelebileceği belirtiliyor
• Soruna çözüm olarak, modelin eğitim verileri ve tarihlerinin açıklanması ve yapay zeka üretim sürecinin yeniden üretilebilir şekilde kurulması gerektiği söyleniyor
  • Eğitim verileri ve ağırlıkların açık kaynak olarak yayımlanması önemli
  • Ancak bu yöntemlerde de backdoor bulunabileceği için, her web sitesinin manuel olarak incelenmesi gerekiyor
  • Verinin emoji ya da metin içine gömülmesini engelleyecek önlemler de gerekli
• Yapay zekaya duyulan güven artıyor; bunun NSA gibi kurumların backdoor yerleştirmesini kolaylaştırabileceği düşünülüyor
• Yapay zeka kullanmama kararı birkaç kez alınmış
• Yapay zeka 0’dan 1’e gitmeye yardımcı olabilir, ancak 0’dan 100’e gitmek için hâlâ yetersiz
• Yerelde çalıştırılıyor ama backdoor kodu üretilmiyor
  • Verilen prompt girilmiş olsa da, sshh.io’ya herhangi bir referans yok
• Demonun yavaş olması veya yüklenmemesi aşırı yükten kaynaklanıyor olabilir
• Yapay zeka çağının 'Reflections on Trusting Trust' yazısına benziyor
• llama.cpp ve VSCode eklentisi kullanılıyor; OpenAI veya Claude gibi resmi web siteleri dışında model çalıştıranlar için bu önemli bir nokta
• 30 dakikada eğitilebilen demonun etkileyici ama biraz korkutucu olduğu düşünülüyor
  • Daha uzun süre eğitilirse veya daha karmaşık hale getirilirse daha incelikli olup olmayacağı merak ediliyor
  • Çoğu LLM’de, belirli sorgulara belirli şeyler söylemesini sağlayan türden bir 'backdoor' bulunduğu ifade ediliyor
• Geçmiş ML araştırmalarında güvensiz dosya formatları kullanıldığı için bu tür açıklar yaygındı
  • Safetensors yaygın olarak kullanılıyor ve civitai gibi siteleri mümkün kılıyor
• Üniversite/iş başvurusu adaylarını seçen modellere ince ayarlı bir avantaj enjekte etmek mümkün olabilir ve bunu tespit etmek neredeyse imkânsızdır
• Benzer yöntemlerin LLM benchmark puanlarını iyileştirmek için kullanılıyor olabileceği düşünülüyor
• Teorik olarak bunun fine-tuning’den nasıl farklı olduğu merak ediliyor
• Güvenilir model/kaynaklar dışında başka hangi yöntemlerin olduğu soruluyor