guidance - LLM kontrolü için yönlendirme dili

• Mevcut prompt'lardan daha etkili biçimde dil modellerini kontrol edebilen bir dil.
• Handlebars şablonları temelinde çıktı yapısını ve yöntemini belirleyebilir, mantıksal akışı kontrol edebilir.
• Prompt içinde anahtar/değer önbelleğini kullanır ve yalnızca istenen bölümlerde çıkarım yaparak çıkarım performansını artırır.
• Basit çıktı yapısı kontrolünün ötesinde, JSON gibi geçerli sözdizimini garanti etmek de mümkündür.
• HuggingFace modelleriyle kolay entegrasyon desteği sunar.

[kunggom]

İlk bakışta LMQL'den daha esnek ve kullanımı daha kolay görünüyor gibi, ama gerçekten kullanmış olanların yorumlarını merak ediyorum.

[dnjstmxhs]

Oldukça faydalı görünüyor. Node.js’e portlanmış bir sürümü olursa gerçekten çok iyi olur.

[kuroneko]

• HN başlığı

Depoya gittiğinizde çok sayıda örnek var; sadece örneklere bakmak bile oldukça ilginç.

Özellikle yapılandırılmış çıktı gerektiğinde, LLM'in tamamını değil yalnızca tam içerik kısmını üretmesini sağlayarak
çıkarım süresini yarıya indirdiklerini söyleyen bölüm iyi görünüyor.