SongRyeon Core - LLM’in yazdığı sözlerle kodun doğruladığı bilgiyi ayıran yerel ajan runtime deneyi

Merhaba. Kodlama öğrenirken aynı zamanda AI ajan runtime’larını bizzat deneyen Junghoo benim.

SongRyeon Core, “LLM’in söylediği değerlendirme” ile “kodun gerçekten doğruladığı olgu”yu ayırarak ele alan, küçük ve yerel öncelikli bir ajan runtime deneyidir.

Bugünlerde LLM tabanlı ajanlar geliştirirken şu sorunların sık ortaya çıktığını hissettim.

• LLM’in tahmin ettiği içerik, sistem gerçeğiymiş gibi gösteriliyor
• Kodun ürettiği fallback veya heuristikler, LLM değerlendirmesiyle karışıyor
• Kaç belge okunduğu ve hangi çalıştırmaların gerçekten gerçekleştiği her ekranda farklı görünüyor
• Nihai yanıt, iç runtime durumuyla uyuşmuyor

Bu yüzden bu projede bilgiyi büyük ölçüde üçe ayırarak ele alıyorum.

• mutlak bilgi: code/trace/schema/tool result ile doğrulanabilen değerler
• göreli bilgi: tek bir mutlak bilgiye karşılık gelen LLM değerlendirmesi
• karma bilgi: birden fazla source bundle’a dayanan LLM değerlendirmesi

Şu an hâlâ küçük bir pratik sürümü olsa da, aşağıdaki gibi bir yapıyı deniyorum.

• node_0 memory supplier
• node_1 router
• L loop
• node_3 reporter
• node_4 verifier
• smoke-test tabanlı regresyon doğrulaması
• runtime terminal/final renderer dürüstlük denetimi

Amaç, “şık bir demo”dan ziyade, AI ajanın hangi gerekçeyle ne söylediğini mümkün olduğunca gizlemeyen küçük bir runtime oluşturmaktır.

Hâlâ kodlama öğrenme sürecinde olduğum için epey pürüzlü kısım var.
Yapı, README, testler, terim tanımları ve agent runtime tasarımı hakkında geri bildirim verirseniz gerçekten çok memnun olurum.

GitHub:
https://github.com/Junghoo-developer/SongRyeon

[anima]

Ek bilgi.

Şu anda SongRyeon Core, bir web hizmeti biçiminden ziyade yerel CLI / smoke-test odaklı bir çalışma zamanı deneyi.

Hemen kontrol edebileceğiniz şeyler README'deki çalıştırma yöntemi ve şunlar:

• python -m compileall songryeon_core main.py
• python main.py smoke-test

Bunlardır.

Özellikle geri bildirim almak istediğim noktalar şunlar:

• mutlak bilgi / göreli bilgi / karma bilgi ayrımının tasarım açısından ikna edici olup olmadığı
• LLM değerlendirmesi ile code-verified fact'i ayırma yönteminin gerçek agent runtime'da faydalı görünüp görünmediği
• README'de ilk kez gören birinin anlamakta zorlanacağı kısımların nereleri olduğu

Hâlâ öğrenme aşamasında olan bir proje olduğu için pürüzlü tarafları çok. Rahatça eleştirirseniz memnun olurum.