Hükümet alanına özel sLLM kurulum hikâyesi — Gemma-3-1B’nin Arazi, Altyapı ve Ulaştırma Bakanlığı verileriyle fine-tune edildiği RAG sohbet botu

Hükümet alanına özel sLLM kurulum hikâyesi — molit-gemma + RAG

Bu, kamu kurumlarında ChatGPT/Claude gibi harici LLM’lerin kullanılmasının zor olduğu
güvenlik ortamında on-premise alanına özel bir sohbet botunun kurulduğu bir örnektir.

TL;DR

• Google Gemma-3-1B, Arazi, Altyapı ve Ulaştırma Bakanlığı politika belgeleriyle fine-tune edildi → molit-gemma
• OpenSearch tabanlı RAG ile halüsinasyon azaltımı
• BLEU 0.6258, LLM-as-a-Judge 4.34/5.0
• Tamamen on-premise dağıtım (harici API 0)

Neden sLLM?

• Hükümet vatandaş başvurularına verilen yanıtlarda harici API çağrıları veri sızıntısı endişesi yaratıyor
• 70B sınıfı modeller GPU altyapısında yük oluşturuyor → 1B model + RAG ile telafi
• Alana özel fine-tuning, genel LLM’lere kıyasla daha yüksek doğruluk sağlıyor

Yapı

Kullanıcı sorgusu → OpenSearch araması → Top-K politika belgeleri →
molit-gemma yanıt üretimi → kaynak gösterimi

Çıkarımlar

• Kamu sektöründe sLLM + RAG kombinasyonu için ampirik bir baseline sunuyor
• Alan sınırlandığında 1B modelle de pratik düzeye ulaşmak mümkün
• Halüsinasyon azaltımı + açıklanabilirlik sağlanıyor

Bağlantılar

• Makale(RISS): https://www.riss.kr/link?id=T17378943
• Model(Hugging Face): https://huggingface.co/chohi/gemma-molit-finetuned/blob/main/README.md
• Kod(GitHub): https://github.com/chohi22/Industrial-AI/…