OpenAI'nın Yeni Açık Kaynak Modeli Aslında Phi-5
(seangoedecke.com)- OpenAI, ilk açık kaynak büyük dil modeli
gpt-oss-120bvegpt-oss-20byi duyurdu; bazı benchmarklarda başarılı olmasına rağmen gerçek uygulamalarda sınırlılıkları var - Bu modellerin genel bilgi kapsamı güçlü olsa da, popüler kültür gibi bazı alanlarda bilgi eksiklikleri olduğu belirtiliyor
- Microsoft'un Phi serisi gibi, sentetik veriye odaklı bir eğitim sayesinde benchmark performansı artsa da gerçek dünyadaki kullanılabilirliğin düşme eğilimi gösterdiği görülüyor
- Sentetik veriyle eğitim, açık kaynak olarak yayınlandığında ortaya çıkabilecek kötüye kullanım riskini azaltarak güvenliği artırma avantajı sunuyor
- OpenAI, Çinli açık kaynak modellerine kıyasla benchmark üstünlüğünü korurken güvenliği de sürdürmek için Phi tarzı bir yaklaşım benimsemiş gibi görünüyor
OpenAI'nın İlk Açık Kaynak LLM Duyurusu
- OpenAI, web üzerinden doğrudan sohbet edilebilen
gpt-oss-120bvegpt-oss-20badındaki ilk açık kaynak büyük dil modellerini duyurdu - Bazı benchmarklarda güçlü performans gösterse de, SimpleQA gibi belirli testlerde performans düşüyor
- Bilim alanı gibi alanlarda genel bilgi zengin olsa da popüler kültür bilgisi eksik olduğu söyleniyor
- Gerçek kullanılabilirliğin yaklaşık altı ay sonra netleşmesi bekleniyor ve benchmark performansının gerçek uygulamalarda altında kalma olasılığı yüksek
Phi Modelleri ve Sentetik Veri Eğitimi
- 2024'te Microsoft'ta Sebastien Bubeck'in liderlik ettiği Phi serisi, tamamen sentetik veriyle eğitilmişti
- Sentetik veriler, diğer dil modellerinin ürettiği veya insan seçimi yapılan ders kitabı tabanlı metinlerden oluşur; kaliteyi ve kontrolü kolaylaştırır ama üretim maliyeti yüksektir
- Bu yöntem, benchmark performansını yükseltirken gerçek ortamlarda beklentinin altında sonuçlar verme eğilimine sahiptir
- Sentetik veri, benchmark soru türlerine göre kolayca üretilebildiğinden sınav odaklı eğitimi mümkün kılar ama genelleme yeteneği zayıflar
Sebastien Bubeck'in OpenAI'ye Katılımı ve gpt-oss
- 2024 sonunda Bubeck, Microsoft'tan ayrılarak OpenAI'ye katıldı
gpt-ossmodellerinin ön-eğitim verisi detayları açıklanmadı, ancak güçlü filtrelenmiş veya sentetik veriler kullanılmış olması muhtemel- Bu yaklaşımın, Phi-5 ve Phi-5-mini ile benzer özellikler göstermesi olası
Sentetik Verinin Güvenlik Avantajı
- Açık kaynak bir model, yayınlandıktan sonra sınırsız şekilde ince ayar (fine-tuning) yapılabilmesi nedeniyle güvenlik sorunlarına yol açabilir
- Özellikle küçük dil modellerinin başlıca gayriresmi kullanımlarından biri yetişkin rol yapımı olduğundan güvenlik yönetimi kritik
- Sentetik veya ders kitabı tabanlı verilerle eğitildiğinde riskli içerikler çıkarılarak güvenlik artırılabilir
- OpenAI, Çinli açık kaynak modellere göre benchmarklarda önde olurken güvenliği korumayı hedefleyen bir strateji seçmiş gibi görünüyor
Sonuç: Pratikte Phi-5 Ailesi
gpt-ossmodelleri, sentetik veri temelli güvenlik odaklı bir tasarımla, pratik performanstan çok benchmark puanı ve güvenliği öncelediği tahmin ediliyor- Sonuç olarak bu modeller temelde Phi-5 ve Phi-5-mini'nin karakterini taşır
1 yorum
Hacker News yorumu
Ben bir bilimkurgu romanının rastgele bir bölümünü çevirtip test ederken modelin, reşit olmayanlar ve cinsel bağlamla ilgili konularda reddetme tepkisi verdiğini gördüm. Sorunun nerede olduğunu bulmak için metnin bir kısmını kesip inceledim; tamamen masum ve romantik, 17 yaşındaki iki yardımcı karakter arasındaki kısa bir diyalog satırı bunun nedeni oldu. Başka bir sorun da, bazen sıradan bir günlük sohbet yazdırmaya çalışırken tüm paragrafın sansür karakterlerine dönüşmesi ya da aniden reddetme tepkisi vermesi. Bu seviyede sansür nedeniyle model, yaratıcı işlerde, çeviride ya da (matematik/kodlama hariç) gerçek hayattaki görevlerde neredeyse hiç işe yaramaz. 120B MoE olmasına göre de bilgi seviyesi çok düşük. Gerçekte "çıkarım" yapıyormuş gibi dursa da çoğu zaman sadece politika ihlali kontrolü yaptırıyormuş gibi hissediliyor. Sonradan eğitimin tehlikeli konuşmalar üzerine gereğinden fazla odaklanarak sertleşmiş olmasından kaynaklanmış olabilir diye düşündüm ama, temelde sentetik veri tabanlı ön-eğitimin etkisi de bu kadar güçlü görünüyor.
Bu gerçekten komik bir tecrübeydi; ben de benzerini yaşamıştım. Editlenmemiş bir podcast taslağından önemli cümleleri çıkarmak için LLM'e verdiğimde, “yatağa bağlanır” gibi kışkırtıcı bir ifade tamamen daha yumuşak bir dile dönüştü. Eski çeviri sonuçlarını geri çağırmak istedim ama bu sefer İspanyolcaya çevirip geri çevirdiğimde gerçek cümle neredeyse aynen döndü, böylece garip bir tekrar yaşanmadı.
Bu modele 'Buz ve Ateşin Şarkısı' gibi bir roman verildiğinde nasıl tepki vereceğini merak ediyorum.
Sonuçta genel tüketiciye açık bir model olduğu için çok şaşırtıcı değil. İstediğini istiyorsan daha az sansürlenmiş bir açık modeli seçip kullanmak daha doğru.
Twitter'da GPT-OSS'in özelleştirilemediğinden ve 'ruh' taşımadığından şikâyet edenleri gördüm ama çoğu ne yapmak istediğini net söylemiyordu. Sonunda "küçük LLM fine-tuning'in ana amacının erotik rol yapma olduğu ve gerçek talebin yüksek olduğu" yanıtını görünce biraz daha anladım.
Sorun sadece erotik rol yapma ile sınırlı değil; günlük yaşamımda cinsel sohbetin sık geçtiği bir dil alışkanlığım olduğu için, sıradan konuşma özeti, e-posta düzenleme ve çeviri işleri de model tarafından doğrudan engellenebiliyor. Google Translate çok kelimesi kelimesine çevirdiği için LLM ile daha doğal ifade buluyorum; şu anda abliterated llama 3.1 kullanıyorum. Görüntü özelliğine ihtiyacım yok, saklanan belleği bağlama daha çok dâhil etmek istiyorum. GPT-OSS sansürü kaldırılmazsa işe yaramıyor. Ama eğitim verisinde erotik bir içerik hiç yoksa zorla geçmek zaten imkânsız; gerçekten de erotik rol yapma istemekten de çok ilgim yok, bir gerçek insan yoksa heyecan vermiyor.
Asıl istediğim rol yapma değil, dil alışkanlığımla biraz daha uyumlu olması.
Erotik rol yapma kullanmıyorum ama yapay zekâ ile NetHack oluşturmak istiyorum. Zindan yapısı üretimi, NPC diyaloğu ve NetHack'in ünlü sayısız ince etkileşimi AI'ya bırakmak istiyorum. Böyle işlerde 'ruh' yanında alan bilgisi ve araç kullanma yeteneği şart.
Porno her zaman yaratıcı bir öncü alan oldu. İş modeli de basit; çoğu zaman medya doğrudan ürün olarak satılıyor. 1980'lerde evde porno izlemek yeni bir deneyimdi ve bu alan 1-900 telefon hatları, internet ve hatta akıllı telefonun yaygınlaşmasına bile büyük etki yaptı. Yetişkin içeriğinin yaklaşık %80'i mobilde tüketiliyor. AI temelli, kişiselleştirilmiş, çoklu medya etkileşimiyle anlık deneyim bu alanda kilit noktadır. Ayrıca gerçek bir kurban olmadan yasaklanmış rol oyunları oynanabilmesi de farklı. “AI ile konuştuğumu sanırken...” gibi bir kurgu da bolca kullanılabilir.
Bunu sorun olarak görmüyorum. Milyonlarca yıldır erotik edebiyat, insanlığın yazı yazmayı öğrendiği günden beri var. Istanbul 2461
Makale alıntısı: "Microsoft Phi tipi modeli sürekli eğitmesinin nedeni güvenlikti. Açık kaynak olduğunda adını sonsuza dek taşır ve araştırmacılar güvenlik engellerini kaldırmak için uğraşır." Ama bu pratikte sorun teşkil etmez diye düşünüyorum. Llama 2 ve 3 bir hafta içinde sansürleri kaldırıldı ve tartışma da çıkmadı. Asıl şirket itibarına zarar veren şey düşük kaliteli model oluyor. Llama 4'ün başarısızlığı Meta'nın AI itibarına çok daha fazla zarar verdi.
Llama deyince aklıma ilk gelenler sansürü kaldırılmış modeller oluyor. Kendi deneyimimde denemedim ama sansürlü bir model kullanmak yerine daha iyi modeller vardı.
"Araştırmacıların güvenlik önlemlerini kaldırmak için ısrar ettiğine" dair iddia sadece bir bahaneden ibaret. Aslında yanlış sansür yüzünden komik duruma düşmek çok daha büyük bir risk. 1985'te Bill Gates'in MS Paint'i yayınlamamasının nedeni biri kötü bir şey çizebilirdi olsaydı nasıl olurdu, diyen bir benzetme aklıma geliyor.
Evde Phi-4'ü oldukça iyi kullandım; GPT-OSS 20B sürümünü de birçok modelle (Devstral 24B, Falcon 3 7B, Qwen2.5-coder 14B, Phi 4 14B) karşılaştırınca çok etkileyiciydi. Tüm modellerin başarısız olduğu yerleri GPT-OSS iyi yakalıyor, mantıklı varsayımlar yapıyor. Kod açıklamaları da çok daha detaylı, gözden kaçan ayrıntıları bile kapsıyordu. GPU performansı yeterli olsaydı gerçekten mükemmel olurdu.
Strix Point ya da Strix Halo ve 128GB DDR5 RAM takıp çalıştırırsanız gpt-oss 120B'yi 10-20+ TPS hızında çalıştırabilirsiniz.
Hangi SQL sorusu olduğunu paylaşabilir misiniz; yoksa bu, eğitim verisi sızıntısını engellemek için özellikle gizlenmiş mi?
Sentetik veri nasıl üretiliyor merak ediyorum. Rastgele başlatıp örnekleri almaktan mı, prompt otomatik üretimi ve filtreleme tekniklerinden mi, yoksa eğitim sırasındaki geri bildirim mekanizmalarından mı bahsediliyor?
Phi-5'i bilmiyorum ama önceki Phi modellerinin çoğunda, OpenAI GPT serisi gibi büyük modellerin gerçek veriye dayalı hikâyeleri eğitim verisi olarak kullandığını biliyorum.
Meta/FAIR'da doğrudan denedik, Llama 3 makalesinde de ayrıntılı var. Rastgele seçilen web sitesi/kod/görsel/içindekiler/kullanıcı verisini tohum verisi olarak kullanıp, modele ona bağlı verileri üretmesi söyleniyor. Üretilen veri sonrasında kalite kontrolü için bir dizi doğrulayıcıdan (Verifiers) geçmek zorunda.
Rastgele örnek üretmenin bir yolu, “PP'nın XX'de GG yapması” gibi bir kalıba insan/eylem/yer bilgisini algoritmik olarak yerleştirip istem göndermek. Aynı prompt ile üretime rağmen tamamen rastgelelik olmuyor; sıcaklık (temperature) yukseltildiğinde de büyük bir fark olmamıştı. Sonuçta modeli ayıran asıl unsur, veri ve teknikler olduğu için ayrıntılı sentetik yöntemler neredeyse gizli tutuluyor.
Genelde rejection sampling kullanılıyor. Modele birden fazla örnek çıkarttırılıyor ve belirli bir kritere (doğru cevap, büyük modelle tespit vb.) uymayan örnekler atılıyor.
"Bilimsel bilgi kapsamı geniş ama popüler kültür zayıf" şeklinde bir değerlendirme vardı ve bu yaklaşımın iyi bir yöne işaret ettiğini düşünüyorum. Güncel yayınlar bir gecede değişebildiği için, popüler kültür listesini tek tek ezberlemek yerine genel anlayış ve güncel bilgi arama yeteneği ile araç kullanımına odaklanmak daha mantıklı.
İçeriğin değişmesi gerekebilir mi diye kuşkulandım. Dünyadaki hemen her metni öğrenirseniz, '2025 popüler kültürü'nün 2026'dan büyük ölçüde farklılaşması beklenmez; adeta 1980'lerin popüler kültürünün zamana rağmen sabit kalması gibi.
Yapay zekanın Harry Potter, Pokémon, Reddit memleri gibi ansiklopedik popüler kültür bilgisini modele koyması durumu dağınık ve biraz buruk bir gerçeklik gibi geliyor.
Phi3 mini'nin hedefi cihaz üzerinde çalıştırılabilirlik ve hızdı; 128K bağlamı ve 3B parametresiyle oldukça kullanılabilen bir modeldi. Geçen yıl bir projede doğrudan kullandım ama sonunda performans açısından açık ağırlıklı ünlü Mistral modelini seçtim.
Model yalnızca sentetik verilerle eğitilse bile bu sonuçlar elde edilebilir mi?
İlk bakışta, modelin eğitim kümesinde bilgisi yoksa 'bildiğini' söyleyemez. Elbette araçlarla dışarıdan bilgi çekmek mümkün ama gerçekte iyi performans için dünyada yayımlanmış metinlerin çoğunu eğitim verisine katmak gerekir.
Teorik olarak mümkün. Ek link. Sentetik veride LSD veya VX üretimi gibi spesifik ve hassas bilgilerin yer alma olasılığı yüksek olmasa da, sentetik veride istenmeyen bilgilerin bir kısmı bulunabilir.
GPT-OSS model kartındaki Tablo 9'a göre, GPT-OSS-20b/120b'nin doğruluk oranları sırasıyla 0.067/0.168, halüsinasyon oranları 0.914/0.782. o4-mini'nin doğruluk oranı 0.234, halüsinasyon oranı 0.750. Kısaca, GPT-OSS'in gerçek dünya bilgisinin neredeyse olmadığını ve halüsinasyonun yüksek olduğunu gösteriyor. Bu durum ayrıca tüm Phi-LLM serisinin özelliği de. Tablo 4 (OpenAI o3/o4-mini) verilerinde o3'ün doğruluk oranı 0.49, o4-mini'nin 0.20; halüsinasyonları da sırasıyla 0.51 ve 0.79. Özet olarak o3 ile o4-mini arasındaki, ardından o4-mini ile GPT-OSS arasındaki gerçek bilgi farkı çok büyük. GPT-OSS'in gerçek bilgi eksikliği, aslında bu serinin özelliği ve büyük şirketler için bir "güvenlik" ya da kullanıcı bakışında "sansür". Model kartı referans 1
Model kartı referans 2
"Küçük LLM fine-tuning'in ana talebinin erotik RP olduğu ve gerçek küçük toplulukların yarısının bu konuya odaklı olduğu" görüşüne gerçekten şaşırtıcı bulduğum bir şey var.