DeepSeek R1’in akıl yürütme yeteneğini temel alarak 100 kat daha küçük bir ModernBERT eğitmek

DeepSeek R1’den üretilen etiketler kullanılarak, ModernBERT modelinin “makalenin yeni bir veri kümesi tanıtıp tanıtmadığını” tahmin etmesi için eğitim verilebilir. Bu şekilde oluşturulan model doğrudan kullanılabilir ve gerçek hizmet ortamlarında yalnızca çıkarım yapılırken LLM’ler gibi devasa kaynaklar gerektirmez. Buna rağmen, etiket gerektiren sınıflandırma problemlerinde LLM’nin akıl yürütme yeteneğini dolaylı olarak aktardığı için doğruluk belirli ölçüde iyi korunur.

Özellikle RAG’de, basit metin eşleştirmesiyle çözülemeyen ve bir miktar akıl yürütme gerektiren durumlarda, etiketlerin çok yetersiz olduğu veya oluşturulmasının zor olduğu hallerde, DeepSeek’in ürettiği etiketlere dayanarak ModernBERT modelini eğitme yöntemi faydalıdır.