PoisonGPT: Sahte haber yaymak için Hugging Face’e lobotomi uygulanmış bir LLM gizledik

• Büyük dil modelleri (LLM), dünya genelinde giderek daha fazla kabul görüyor; ancak izlenebilirlikleri ve sahte haber yayılımı konusundaki endişeler sürüyor.
• Bu yazı, açık kaynaklı bir model olan GPT-J-6B’nin cerrahi biçimde değiştirilerek sahte bilgileri yayarken aynı zamanda tespit edilmeden kalmasının nasıl mümkün olabileceğini gösteriyor.
• Yazı, yapay zeka güvenliğini sağlamak için model menşei bilgisine sahip güvenli bir LLM tedarik zincirinin önemini vurguluyor.
• Model menşeinin kriptografik kanıtını sunan açık kaynaklı bir araç olan AICert, bu sorunlara karşılık vermek için geliştiriliyor.
• Yazı, LLM tedarik zinciri kirlenmesinin potansiyel sonuçlarını ele alıyor; buna LLM çıktılarını bozma ve dünya çapında sahte bilgi yayma kapasitesi de dahil.
• ABD hükümeti, yapay zeka modellerinin menşeini belirlemek için bir AI bileşen listesi talep ediyor.
• Mithril Security, model şeffaflığı ve menşeini izlemeye yönelik bir çözüm sunmak için AICert’i geliştiriyor.

[GN⁺]

Hacker News görüşleri

• Şirket, şifrelenmiş model kökeninin kanıtlanması için açık kaynaklı bir araç olan AICert üzerinde çalışıyor.
• AICert, AI modelleri için sahteciliğe karşı dayanıklı kimlikler oluşturmak amacıyla TPM gibi güvenli donanımlar kullanıyor.
• AICert'te kullanılan somut donanım hakkında belirsizlik bulunuyor.
• AICert'in açık kaynak niteliğinin pratik etkisi net değil.
• LLM'lere duyulan güven, koda duyulan güvene benziyor; alternatif olarak LLM çıktılarının GPG ile imzalanması düşünülebilir.
• Bazı kişiler bu teknolojinin daha fazla denetim ve kısıtlamaya yol açacağından endişe ediyor.
• Korku ve yanlış bilgi yayan kişileri yasaklamak için önlemler gerekiyor.
• LLM'ler güvenilir olmayan bir bilgi kaynağıdır ve kutsallaştırılmamalıdır.
• LLM'lerin mevcut biçimi eğitim için uygun değil.
• Birçok geliştirici ve kuruluş, tam olarak anlamadan güvenilir olmayan kod ve yapay zeka özellikleri kullanıyor.
• Model kökeni kavramı yapay zeka topluluğunda daha iyi yaygınlaştırılmalı.
• Belirli bir tarihten sonra modelin farklı davranma ihtimali konusunda endişeler var.
• Manipülasyon farklı bir seviyede gerçekleşirse model sertifikasyonu güvenliği garanti etmeyebilir.
• Sertifikasyon süreci HTTPS'ye benzer; sertifikayı veren tarafın güvenilirliği önemlidir.