Ollama, yapılandırılmış çıktı desteği sunuyor

 (ollama.com)
13 puan yazan xguru 2024-12-08 | 1 yorum | WhatsApp'ta paylaş
  • Ollama artık JSON şeması kullanarak model çıktısını belirli bir biçimle kısıtlayan yapılandırılmış çıktı (Structured Output) özelliğini destekliyor
  • Python ve JavaScript kütüphaneleri güncellendi ve bu özellik kullanılabilir hale geldi
  • Yapılandırılmış çıktının başlıca kullanım alanları
    • Belgelerden veri ayrıştırma
    • Görüntülerden veri çıkarma
    • Tüm dil modeli yanıtlarını yapılandırma
    • JSON moduna göre daha yüksek güvenilirlik ve tutarlılık sağlama
  • Kullanım ipuçları
    • Pydantic (Python) veya Zod (JavaScript) ile JSON şeması tanımlama
    • Prompt'a "JSON olarak döndür" ekleme
    • Deterministik çıktı elde etmek için temperature ayarını 0'a düşürme
  • Gelecek planları
    • Logit görünürlüğüyle üretim kontrolü desteği
    • Performans ve doğruluk iyileştirmeleri
    • JSON şeması dışında ek biçim desteği
    • GPU hızlandırmalı sampling desteği

İlgili okumalar

1 yorum

 
curiousotter 2024-12-10

Eskiden json schema'yı prompt'un bir parçası olarak ekleyip API parametresinde yalnızca format: json şeklinde kullanıyorduk, şimdi ise hem token tasarrufu sağlanıyor hem de ayarlamak daha kolay hale gelmiş!