- Fine-tuning, yapay zeka geliştirme metodolojisinin merkezine yeniden yükseliyor; bu dönüşüm, Thinking Machines Labs'in Tinker duyurusu ve kendi kendine yönetilen açık kaynak LLM dağıtımlarına doğru paradigma kaymasıyla tetiklendi
- Bir dönem yapay zeka çıkarım iş yüklerinin %10'undan daha azına düşen fine-tuning, GPU-as-a-service platformları, istikrar kazanmış model ekosistemi ve open-weight modellerin yaygınlaşmasıyla yeniden ilgi görüyor
- LoRA (Low-Rank Adaptation) tekniği, milyarlarca parametreyi yeniden eğitmek yerine yalnızca küçük düşük dereceli matrisler ekleyerek maliyeti dramatik biçimde azaltırken performansı koruyor veya iyileştiriyor
- Tinker, çevrimiçi pekiştirmeli öğrenme yoluyla sürekli öğrenme mimarisi sunuyor; önceden yazılmış yanıtları taklit etmek yerine modelin kendi yanıtlarını değerlendirip iyileştiren yaklaşımıyla fine-tuning'in geleceğine işaret ediyor
- Fine-tuning, basit bir teknik adımdan öte sahiplik, hizalama ve sürekli iyileştirme için stratejik bir katmana evriliyor; kişisel yapay zeka bilgisayarları ile özelleşmiş ajan operasyonlarının temel itici gücü olmaya aday
Fine-tuning'in tarihsel arka planı
- Thinking Machines Labs, Tinker'ı duyurarak platform olarak fine-tuning tartışmasını yeniden alevlendirdi
- OpenAI'ın eski CTO'su Mira Murati tarafından kurulan bu girişim, kuruluşundan 6 ay sonra 120 milyar dolar değerlemeye ulaştı
- Fine-tuning platformunu üniversitelerle araştırma iş birlikleri için bir temel olarak konumlandırıyor
- Hugging Face'ten Clément Delangue, kendi kendine yönetilen, açık kaynaklı, özelleşmiş LLM dağıtımlarına doğru paradigma kaymasını fark etti
- NVIDIA'nın DGX Spark gibi özel donanımları bunu destekliyor
- a16z'nin Personal AI Workstation'ı bu trendi gösteren bir pazarlama örneği
- Fine-tuning, büyük dil modellerinin ilk dalgasının ardından kısa süre ilgi görse de bugün yapay zeka çıkarım iş yüklerinin %10'undan daha azını oluşturacak kadar hızlı biçimde geri plana düştü
Transformer öncesi dönem
- Transformer devriminden önce NLP, özelleşmiş modellere dayanıyordu
- RNN ve LSTM gibi yinelemeli mimariler ilk ilerlemeleri sağladı
- İlk kez elle hazırlanmış dil özellikleri yerine doğrudan kelime dizilerinden öğrenme mümkün oldu
- Her uygulama, göreve özgü verilerle sıfırdan başlamak zorundaydı
Transformer'ın gelişi ve fine-tuning metodolojisinin yerleşmesi
- Google'ın 2017 tarihli Attention Is All You Need makalesi Transformer mimarisini tanıttı
- Yineleme ve konvolüsyon, yalnızca self-attention ile değiştirildi
- Yedi ay sonra ULMFiT, önceden eğitilmiş dil modellerinin (o dönemde hâlâ LSTM tabanlıydı) çeşitli görevlere fine-tune edilebileceğini kanıtladı
- Bu, Transformer'ı pratik hale getiren metodolojik temeli kurdu
- Bir yıl sonra BERT ve GPT-1 bu tasarımı fiilen uyguladı
- BERT, anlama için çift yönlü attention'a sahip encoder tarafını kullandı
- GPT ise üretim için tek yönlü attention'a sahip decoder tarafını kullandı
- Özellikle BERT, NLP kültürünü yeniden şekillendirdi
- Araştırmacılar tüm modelleri sıfırdan kurmak yerine önceden eğitilmiş Transformer'ları fine-tune ederek, aylar süren manuel özellik mühendisliğiyle elde edilen sonuçlara ulaşabildi
Full Fine-Tuning'in sınırları ve LoRA'nın ortaya çıkışı
- Parametre sayısı milyonlardan yüz milyarlara fırlayınca, fine-tuning artık mantıklı bir tercih olmaktan çıkmaya başladı
- Full Fine-Tuning (FFT), tüm katmanların ve ağırlıkların yeniden eğitilmesi anlamına geliyor
- Hassasiyet sağlasa da muazzam maliyet yaratıyordu
- Bir zamanlar birkaç saatlik GPU işi olan şey, büyük ölçekli endüstriyel bir operasyona dönüştü
- 2021'de Microsoft Research, LoRA (Low-Rank Adaptation of Large Language Models) yaklaşımını tanıttı
- LoRA, milyarlarca parametreyi yeniden eğitmek yerine orijinal ağırlıkları dondurup seçili katmanlara küçük düşük dereceli matrisler ekliyor
- Yalnızca bunlar eğitiliyor; böylece maliyeti tek haneli katlara indirirken FFT performansını koruyor veya iyileştiriyor
- LoRA, varsayılan yöntem haline geldi
- 2024'e gelindiğinde Hugging Face'in PEFT kütüphanesi sayesinde tek satırlık komutla uygulanabilir oldu
Hiperparametre ayarının karmaşıklığı
- Fine-tuning, dağıtılıp bakımı yapılacak bir paketten fazlası
- Asıl sihir ayar sürecinde gerçekleşiyor ve her şeye uyan tek bir yapılandırma asla yok
- Hiperparametre ayarı, modelin başarı ya da başarısızlığını belirliyor
- Rank, öğrenme oranı ve alfa oranı arasındaki dengeyi kurmak, bilimden çok simyaya benziyor
- Adaptörlerin aşırı uyum göstermesini veya modelin zaten bildiklerini unutmasını (catastrophic forgetting) önlemek gerekiyor
- Çalışan bir şey elde edildiğinde değerlendirme, doğrulamadan çok falcılık gibi hissettirebiliyor
- Bu arada LLM'ler neredeyse her görevde gelişmeye devam ederek neredeyse her şeye kadir hale geldi
- 2023'e gelindiğinde çoğu ekip, daha büyük context window'lar sayesinde prompt engineering ile fine-tuning performansının yaklaşık %90'ına ulaşılabildiğini fark etti
- RAG (Retrieval-Augmented Generation) da modele harici bilgi tabanlarına erişim sağladı
- Her iki yaklaşım da yeniden eğitim gerektirmeden ve çok daha düşük operasyonel yükle yeterince iyi sonuçlar sundu
Fine-tuning neden yeniden ilgi görüyor
- Bir zamanlar fine-tuning'i alakasız veya verimsiz kılan etkenler artık tek tek çözülüyor
- Together.ai gibi GPU-as-a-service platformları, çok az sürtünmeyle LoRA fine-tuning boru hatları başlatmayı mümkün kılıyor
- Yeni modeller hâlâ hızla çıkıyor, ancak değişim artık devrimsel olmaktan çok evrimsel
- Mistral, Llama, Falcon, Yi ve Gemma gibi open-weight ekosistemi, kurumlara satıcı bağımlılığı olmadan fine-tune edilmiş varyantları sahiplenme, inceleme ve sürdürme olanağı veren çok sayıda alternatif sunuyor
- Şirketler yalnızca prompting ile ulaşılabileceklerin sınırına dayanmış olabilir
- Fine-tuning, moda bir özellik değil; kontrol, farklılaşma ve gömülü zekâ için stratejik bir kaldıraç olarak yavaş yavaş yeniden öne çıkıyor
Thinking Machines Labs'in Tinker'ı ve LoRA iyileştirmeleri
- Thinking Machines Labs'in Tinker'ı teorem ispatı, kimyasal akıl yürütme, çoklu ajan pekiştirmeli öğrenme ve yapay zeka güvenliği alanlarına odaklanıyor
- Şirket, LoRA Without Regret başlıklı blog yazısında daha etkili fine-tuning yöntemlerini paylaştı
- Orijinal makaledeki gibi yalnızca attention katmanlarına değil, tüm lineer modüllere LoRA uygulanmasını öneriyor
- Sıklıkla göz ardı edilen bir hiperparametre olan LoRA rank'ının önemini vurguluyor
- Daha yüksek öğrenme oranı (en az 10 kat) ve daha küçük batch size'lar (yaygın pratiğin tersine) öneriyor
- Matematiksel veya mantıksal doğrulama ile ödül fonksiyonunun açıkça tanımlanmasını tavsiye ediyor
- Tüm öneriler Hugging Face'in TRL'inde açık biçimde anlatılıyor ve yeniden üretilebiliyor
Modern fine-tuning boru hatlarının modülerliği
- Modern fine-tuning boru hatları, 5 yıl öncekilerden tamamen farklı
- Modüler, sunucusuz ve orkestrasyonlu bir yapıya sahipler
- Tek bir dağıtım, temel modelle birlikte onlarca LoRA adaptörünü çalıştırabiliyor
- Bunların her biri belirli bir ton, işlev veya alanı temsil ediyor
- Çıkarım sırasında sistem, statik model dosyalarına dayanmak yerine sorguları doğru adaptör kombinasyonuna yönlendiriyor
- Bu modülerlik kendi zorluklarını da doğuruyor
- Together.ai gibi hepsi bir arada platformlar ağır işin çoğunu üstlense de birçok ekibin ihtiyaç duyduğu ince ayar olanakları ve gözlemlenebilirlikten yoksun
- Büyük ölçekli maliyetler hızla büyüyebiliyor
Tinker'ın benzersiz yaklaşımı
- Tinker, iki dünyanın avantajını bir arada sunuyor gibi görünüyor
- Modern ve tamamen yönetilen bir fine-tuning yığınının konforunu, araştırmacılar için ayrıntılı kontrolle birleştiriyor
- Kullanıcıların öğrenme iş akışlarını ve özel algoritmaları en derin seviyede orkestre edebilmesi için düşük seviyeli öğrenme primitiflerine doğrudan API erişimi sağlıyor
- Aynı zamanda zahmetli işleri de üstleniyor
- Şimdilik Tinker yalnızca araştırma amaçlı olarak ayrılmış durumda, ancak başka platformlara ilham vermesi bekleniyor
- Altyapı sorunları giderek geçmişte kalıyor, fakat değerlendirme adı verilen temel zorluk varlığını sürdürüyor
Model değerlendirmesinin zorluğu ve çevrimiçi pekiştirmeli öğrenme
- Modelleri değerlendirmek son derece zor
- İnsan değerlendirmesi tutarsız, yavaş ve hepsinden önemlisi pahalı
- Benchmark'lar hızla yaşlanıyor ve veri kirliliği nedeniyle alaka düzeyini kaybediyor
- G-Eval veya Chatbot Arena gibi otomatik yaklaşımlar bile kendi sorunlarını yaratıyor; çoğu zaman önyargıyı büyütüyor ve istikrarsız puanlar üretiyor
- Benjamin Anderson, Tinker'ın çözümün bir kısmına sahip olabileceğini öne sürüyor
- Tinker, kullanıcılara çevrimiçi pekiştirmeli öğrenme yapma yetkisi veriyor
- Mevcut model ağırlıklarından bir tamamlanma alınıyor, bu tamamlanma puanlanıyor ve iyi ya da kötü olmasına göre model güncelleniyor
- Gözetimli fine-tuning modele önceden yazılmış yanıtları taklit etmeyi öğretirken, çevrimiçi RL kendi yanıtlarını puanlayarak iyileştirme sağlar
- Bu mimariyle fine-tuning'in geleceği, bugünkü fine-tuning'e benzemeyebilir
- Sürekli öğrenmeye benzemeye başlıyor
Fine-tuning'in stratejik evrimi
- Moyai.ai'den Robert Hommes şöyle diyor
- "Teoride fine-tuning her zaman mantıklıydı. Ancak kapalı kaynak laboratuvarların model zekâsını ölçeklendirme hızı onu pratikte kötü bir tercih haline getirdi"
- "Şimdi ise hesaplama, veri ve daha iyi framework'lerle birlikte yeniden özelleşmeye doğru eğilim var"
- Kendi kendine barındırmaya geçiş, beklenenden daha yakın olabilir
- Exxa'dan Constant Razel, "Kişisel yapay zeka bilgisayarları artık uzak bir fikir değil" diyor
- Teknoloji gelişiyor ve daha erişilebilir hale geliyor
- Güvenlik ve maliyet, erken benimsemeyi yönlendirebilir
- Fine-tuning, bunun üzerinde çalışan özelleşmiş yüksek performanslı ajanları mümkün kılacak
- Fine-tuning, sınır doğruluğu için kaba kuvvet arayışından; yakınlık ve kontrole dayanan sahiplik, hizalama ve sürekli iyileştirme çerçevesine dönüşüyor
- Artık yalnızca teknik bir adım değil; zekânın nasıl inşa edildiği ve sahiplenildiği konusunda stratejik bir katman olabilir
2 yorum
İnsanlar aksine yapay zekanın gelişiminin önünde engel oluyor gibi. Bu ilginç bir ikilem aslında. haha
Hacker News görüşü
Daha bir yıl önce bile iyimserdim. RL tabanlı fine-tuning’in anlamlı olduğu en az bir örnek vardı. Ama bunu gerçek iş ortamında uygulamaya çalışınca mevcut sektör teknolojileriyle çok fazla çakışma yaşanıyor. Çevremdeki ML mühendislerine baktığımda, özellikle LLM’lerin ortaya çıkışından sonra işe girenlerde gerçek ML bilgisinin çoğu zaman zayıf olduğunu görüyorum. Esasen AI geliştiricisi veya AI DevOps rolündeler. ML’in kendisi de veri mühendisliği ve analiz gibi giderek platform araçları kullanan bir işe dönüşüyor. Gerçekten de yüzeysel bakıldığında, bulut platformlarının AI ürünleri arasında değerlendirme metriği bile sunmayan ve bu yüzden düzgün bir ML çözümü geliştirmeyi imkânsız hale getiren birçok yer var. Bunu büyük bir sorun olarak gören insan da neredeyse yok. RL fine-tuning, sayısız ayrıntı, izleme noktası ve veri refinement’ı gerektiriyor. Basit ML modelleri bile artık pek öğrenilmiyorken, RL fine-tuning’deki öğrenme açığı bunun çok daha ötesinde. Ortada gerçekten iyi örnekler de az olduğu için, işte kıdemlilerden öğrenme fırsatı da pek olmuyor. Uzman atama ya da veri labeling maliyetlerinden de kısmaya gidiliyor. Şirketlerin bu tür teknik desteği ne kadar sürdüreceği, ben ayrıldıktan sonra bunu kimin sırayla üstleneceği konusunda şüpheliyim. AutoML de yaygınlaşamadı; RL’in de muhtemelen platformlaştırılması kolay olmayacak. Gerçekte çoğu şirket, büyük ölçekte genişleyebilen ama daha düşük nitelikli ürünlere daha fazla para ödemekten rahatsızlık duymuyor. Sektördeki “deneyim” de sonuçta tekelci platform deneyimine dönüşüyor. Teknoloji yığınında bazen “pytorch” isteniyor ama gerçekten kullanabilen çalışan neredeyse yok. Olsa bile operasyonel yük yüzünden kullanılamıyor
Labeling, modeli eğitmeseniz bile sistemi hızlı ve nesnel biçimde doğrulamak için gerçekten vazgeçilmez. Ama label elde etmek her zaman zorluklarla dolu. Bazen SME kaynağı bulunsa bile, onlardan tutarlı bir standardı sıkı şekilde uygulamalarını istemek iletişim açısından zor oluyor ve çıkan nihai label’lar da kullanışsız hale geliyor. Sonunda çoğu zaman tek başıma ve gönüllü olarak labeling yaptığım oluyordu. Alan uzmanlığı eksikti ama “sinir ağının neyi sevdiğini” kabaca bildiğim için bekleme süresini ciddi biçimde azaltabiliyordum. Büyük modelleri ince ayarlamayı hâlâ gerekçelendirmek kolay değil. Çoğu zaman sadece 6 ay beklerseniz daha iyi bir temel model çıkıyor. Ama büyük modelin fazla pahalı olduğu ve verimliliğin düştüğü bir bölgedeyseniz, küçük modeli amaca uygun şekilde fine-tuning yapmak kesinlikle değerli
Gerçek mühendisliğin, yani karmaşık teoriyi çalışan sistemlere dönüştürme becerisinin, gerçek anlamda çok zayıfladığını hissediyorum. Artık mühendislik ustalığını artırmak için uzun zaman harcamaktan ziyade, hazır mühendislik servislerinin üzerine binme eğilimi daha güçlü. Hacker ruhu açısından bakınca, belirsiz bir GPU üzerinde doğrudan model eğitmeye ROI gerekçesi aranmıyor. Çünkü bireysel mühendis bilgi edinmeyi arzuluyor
Sonunda birileri gerçek performans ölçümüyle düzgün sonuçlar ortaya koyacak, Michael Lewis de bunun hakkında bir kitap yazacak ve sonra yeni bir döngü başlayacak diye düşünüyorum
Ben de fine-tuning’den büyük etki bekleyen ekiplerin pratikte yalnızca kademeli ya da çok sınırlı iyileştirmeler gördüğüne sık sık tanık oldum. Sonunda ürüne kadar götürüp sonra da en son SOTA güncellemelerine ayak uyduramadıkları için pişman olan çok oldu. Ben bilerek fine-tuning’den uzak duruyorum. Çünkü modeller o kadar hızlı iyileşiyor ki büyük şirketlerin ürün geliştirme hızı buna yetişemiyor
Yakın zamanda Twitter’da LLM fine-tuning ile ekonomik değer üreten örnekler üzerine bir anket yaptım. Bu soruyu yaklaşık her 6 ayda bir soruyorum ve sonuçlar çoğu zaman hayal kırıklığı yaratıyordu. Bu kez eskisine göre biraz daha güvenilir yanıtlar geldi. Başlıca örnekleri Twitter thread’imde derledim; Twitter hesabı olmayanlar için de thread viewer bağlantısını paylaşıyorum. Etkileyici örneklerden biri, Datadog’un doğal dil arama sorgusu özelliğinde 500 ms altı gecikme elde etmesiilgili tweet, resmî doküman bakılabilir. Vercel, Next.js otomatik üretimi için özel fine-tuning modeli çalıştırıyorblog. Shopify ise ürün fotoğrafı analizi için fine-tuning yapılmış bir Vision LLM kullanıyormakale
Regresyon işlerinde fine-tuning neredeyse zorunlu. Sınıflandırmada da evet/hayır eşiklerini ayarlamak için olasılık değerlerini doğrudan kullanabildiğinizden faydalı
Çoğu şirket için fine-tuning’in risk/ödül dengesi beklentiden daha kötü olacaktır. Eğer veriyi prompt’a biraz daha yüklemek mümkünse, açıkçası bunu yapmak daha kolay
Eğer fine-tuning’in büyük fark yaratabileceği kullanım senaryolarına dair fikriniz varsa ama bunu doğrudan test edecek zamanınız ya da kaynağınız yoksa, bu fikirleri paylaşmanız memnuniyetle karşılanır. Şu anda böyle örnekler topluyorum ve şimdilik elimde sadece 3 gerçek/doğrulanmış örnek var
LLM’e alan bilgisini fine-tuning ile öğretmeye çalışan pek çok kişi, örneğin psikoloji kitaplarını kesip yalnızca metin olarak vermek gibi hatalar yapıyor. Bu yöntem, modele “psikolojiyi uygulama davranışını” öğretmiyor; sadece onun hakkında “tanıtım yazısı yazmayı” öğretiyor. Birçok fine-tuning başarısızlığının nedeni veri kümesi tasarımının hatalı olması. Tersine, veri kümesi kurgusu doğruysa 7B model, verimlilikte 180B modeli geçebilir
Son zamanlarda gördüğüm birkaç örnek yüzünden OP’nin görüşüne katılıyorum. PaddleOCR, 0.9B parametreyle metin, tablo, formül, grafik ve el yazısında SOTA doğruluğa çok yaklaşıyormakale. Ayrıca 3B/8B modeller, HTML’i JSON olarak çıkarma işinde GPT-5 düzeyinde doğruluk, 40~80 kat daha düşük maliyet ve daha hızlı çıkarım hızı sağlıyorReddit. Belirli bir görevin verimliliğini artırmak istiyorsanız fine-tuning anlamlı olabilir
PaddleOCR’ı gerçekten kullanıp kullanmadığınızı merak ediyorum. Amazon Textract ya da Azure Document Intelligence (LayoutLM v3 tabanlı) ile kıyaslamadan SOTA denmesi bana garip geliyor. Ben belge tanıma denemeleri yaptığımda bu ikisi en üst düzeydi
Bu tartışma yeniden SLM ve LLM, yani model boyutu meselesine bağlanıyor. SLM’ler belirli görevlere göre optimize edilebilir ve o görev özelinde LLM’leri yenebilir. Ama 1. doğruluk son derece kritik değilse ya da 2. trafik çok büyük değilse, zaman/çaba açısından değeri düşüyor
Lamini adında bir LLM fine-tuning girişimi kurmuş biri olarak, OP’nin görüşüne katılmıyorum. Bizim hipotezimiz, fine-tuning’in derin öğrenmeyi sıfırdan öğrenmekten çok daha kolay kullanılacağı yönündeydi. Zaten çok güçlü bir LLM’den başlandığı için daha kolay olacağını düşünmüştük. Ama 20’den fazla gerçek projeyi yürüttükten sonra fine-tuning’in derin öğrenme kadar zor ve giriş engeli yüksek olduğunu gördük. Mevcut piyasa yapısında, derin öğrenme tabanlı fine-tuning konusunda yetkin bir ML mühendisi ya girişim kurabilir ya da kolayca Anthropic, OpenAI gibi yerlere katılabilir. Buna karşılık LLM çözümleri geliştiren ekiplerde gerçekten iyi mühendisler yeterince değer görmüyor. Sonuç olarak Claude, GPT, Qwen gibi modelleri yapan uzman ekipler, tek tek kullanıcıların fine-tuning denemelerinden daha rekabetçi durumda. Şu an için RAG, prompt engineering, reasoning, AI agents, memory ve SLM’ler çok daha kolay ve güçlü çözümler
Anthropic ya da OpenAI’nin, LLM fine-tuning yapmayı bilen herkesi gerçekten almak isteyip istemediğini merak ediyorum
O dönemde fine-tuning yaptığınız modellerin ne tür modeller olduğunu, iyi fine-tuning kaldırabilecek kadar olgun olup olmadıklarını ve catastrophic forgetting sorunu yaşanıp yaşanmadığını merak ediyorum. Şimdi çok daha iyi açık kaynak modeller de var. Eğer mimariyi fine-tuning düşünülerek tasarlarsanız önceki neslin zayıf yönlerini aşmanın mümkün olduğunu düşünüyorum. Şirketler başkasının modelini kiralamaktansa kendi modellerine sahip olmak istiyor
Fine-tuning, araç kutusunda mutlaka bulunması gereken iyi bir teknik. Ama pratikte uygulanabileceği kullanım alanı düşünüldüğünden daha dar. Bir yandan birçok NLP görevi için LLM’in temel performansı zaten yeterince yüksek olduğu için fine-tuning gereksiz. Diğer yandan gerçekten karmaşık görevlerde fine-tuning çok zor ve veri toplamak da çok pahalı. Sonuçta fine-tuning, zorluğu tam kararında olan ve veri toplaması da gerçekçi kalan, o ikisinin ortasındaki işlerde işe yarayan bir çözüm
Uygun kullanım senaryolarının yüz binlerce olduğunu düşünüyorum
Böyle “arada kalan” görevlere örnek olarak ne tür şeyler verilebilir merak ediyorum
Bu web sitesi Avrupa’dan erişince bile gerçekten çok hızlı yükleniyor. İçerik kaydırmaya göre dinamik yükleniyor, görsellerin sıkıştırma oranı yüksek ama kalite iyi. Site yapısı gerçekten etkileyici
Yakın zamanda benzer konuda bir blog yazısı yazdımblog. 7B modeli fine-tuning ile GPT-4’ün önüne geçiren büyük ölçekli ampirik çalışma “LoRA Land”i ve son 6 ayda fine-tuning trendlerinin nasıl değiştiğini tartıştım
LoRA adaptörleriyle, normalde mevcut prompt’a mutlaka eklenmesi gereken görev standartları, isimlendirme tarzı tercihleri, referans materyalleri, MCP tanımları gibi çeşitli bağlam öğelerini modelin içine yerleştirmenin mümkün olup olmadığını merak ediyorum. Veriyi oluşturmanın kolay yolu, önce mevcut bağlamı olabildiğince fazla eklemek, farklı prompt’ları denemek ve yanıtın baseline’dan nasıl ayrıldığını görmek olur. Sonra bunları fine-tuning için input="refactor {base model output}", output="{full-context model output}" biçiminde verebilirsiniz. LoRA zaten birleşik kullanılmak üzere tasarlandığı için, MCP de adaptör olarak dağıtılıp açılıp kapatılabilir gibi görünüyor. Hatta bu yaklaşımla context poisoning bile önlenebilir diye düşünüyorum
inference.net ve schematron geliştiricisiyim. Şirketler LLM’leri gerçek ürünlere uyguladıkça verimlilik konusuna giderek daha fazla önem veriyor. Geliştirici açısından, GPT-5-Super-AGI-Thinking-Max gibi pahalı modellere ödeme yapılabilse bile, gerçek iş dünyası verimliliğe de bakıyor. Eğer 8 milyar parametreli bir Llama modelini 48 saat içinde GPT-5 verisiyle fine-tuning yapıp ayda 100 bin dolar tasarruf etmek mümkünse, elbette herkes bu fırsatı değerlendirmek ister
Artık çoğu şirketin yalnızca basit prompt’larla ulaşılabilecek sınır noktasına vardığını düşünüyorum. O şirkete özgü terminolojiyi, tonu, sınıflandırma şemasını ve uyumluluk kurallarını gerçekten bilen modellere ihtiyaç var. Hız ve maliyetin önemli olduğu da doğru ve fine-tuning’in başlıca gerekçesi bu. Ama bağlam yönetimi teknikleriyle de iş birliği mümkün hale geldi. Bağlam boyutu büyüdükçe RAG, fine-tuning’in yerini aldı; son dönemde ise daha iyi prompt tasarımı tek başına kullanım değerini ciddi biçimde artırdı. FPGA ile CPU/GPU tartışmasında olduğu gibi, en yüksek performans için gereken geliştirme maliyeti ve teslimat riski yüzünden çoğu taraf üst düzey fine-tuning’in getirisinden faydalanamıyor