AI davranışını izleyip loglayan bir araç var mı?

Kurulumlu ya da WebUI arayüzü gibi seçeneklerle, AI kullanırken input ve output’u, ayrıca sürecin çalışmasıyla ilgili eylemleri (web araması, yürütme izni, calistirma vb.) sistem düzeyinde görülebilen tüm hareketleri loglayan araçlar veya projeler var mı?

Kısmen bile olsa olur. Ticari servisler de dahil.
Claude Code gibi örneklerde, CMD’de claude yazarak Claude’u çalıştırdıktan sonra input ve output’un, ayrıca süreç boyunca Claude prosesinin yaptığı işlerin (ağ, yerel işlemler vb.) loglanması...

[waterbear]

Aradığınız şey tam olarak bu mu emin değilim ama model takibi konusunda https://langfuse.com/ adında bir açık kaynak var.

[pointless]

Yaptığım şeyi yorum olarak bırakmamın uygun olup olmadığını bilmiyorum ama belki tam da böyle bir araç arıyorsunuzdur diye yardımcı olabileceğini düşünerek yorum bırakıyorum. (Yasak bir şeyse özür dilerim.)
Yapay zekanın tüm eylemleri değil belki ama neye referans verildiğini ve hangi yanıtın nasıl çıktığını loglayan bir servis geliştiriyorum. Basit bir semantic hub iken buraya pivot ettik. Merkle tree tabanlı olarak harici bir ledger'a hash kaydediyoruz ve rekor üzerinden witness uygulayarak tahrifat ve sahteciliği önledik.
Parametre sayısı az olan LLM dışı modeller için zkml uygulayarak girdiye göre üretilen yanıtın tutarlılığını da kontrol edebilirsiniz.
Aşağıdaki demo audit logunu sayfanın ana kısmının altındaki log proof verifier'a girerseniz neleri kontrol edebildiğinizi görebilirsiniz.
Sayfa: https://hub.rawctx.dev/
Demo audit logu: https://github.com/pasar6987-create/rawctx-demo-audit-log/…

[byun1114]

Sorunun kendisini Gemini'ye yazınca birkaç tane çıkıyor. Bu şekilde bakmayı denediniz mi?

[syate]

Konu dışı olabilir ama bu tür yorumların topluluk atmosferi üzerinde olumsuz bir etkisi olduğunu düşünüyorum.
Merak edilen bir şey varsa bunu özgürce sorabilmek iyi olur diye düşünüyorum,
"gidip kendin bak" tarzı söylemler ise,,
özellikle de AI slop’tan bıkmış çok kişi varken LLM yanıtlarına dayanmayı önermek daha da...

[cgl00]

Gemini'den ziyade topluluk üyelerinin yanıtlarını duymak istemeniz anlaşılabilir. Bunun meşru bir soru olduğunu düşünüyorum.

[zihado]

Ben bunu clickstack ile kurdum. otel ayarlayıp veri gönderecek şekilde yaptım.

[woung717]

Bunlar LiteLLM proxy ve LangSmith'in sunduğu özellikler değil mi?

[junoverse]

Argos muydu yoksa Cursor Mafia mı? Toss geliştiricisi kökenli, vibe coding yapan birinin işlettiği bir servis var; self-hosting de mümkün ve API anahtarları ya da plan üzerinden birden fazla hesabı izleyebiliyorsunuz. Kaç oturum çalıştı, hangi araçlar kullanıldı gibi bahsettiğiniz özellikler de muhtemelen vardır.

Yalnızca Claude için miydi tam hatırlamıyorum ama, size özel bir şey geliştirecekseniz inceleyip parçalarına ayırmak da iyi olabilir.

[taekim34]

Claude Code tarafı içinse cc-token-saver'a (https://github.com/ww-w-ai/cc-token-saver) bir göz atın.

Claude Code, her oturumda transcript (.jsonl) içine tüm girdi/çıktıları ve tool çağrılarını (dosya okuma, yazma, bash çalıştırma, web isteği vb.) kaydediyor; cc-token-saver ise bunu parse edip oturum bazında ne yapıldığını, token'ların nerede ve ne kadar kullanıldığını HTML dashboard olarak görselleştiriyor. "Bu oturumda yapay zeka hangi dosyalara dokundu, kaç kez komut çalıştırdı ve maliyet ne kadar oldu" sorularını tek bakışta görebiliyorsunuz.

Özellikle /continue özelliği, transcript'i analiz ederek mevcut oturumları geri yükleme işlevi görüyor; transcript analiz özelliği aynı şekilde kullanılabildiği için "/continue ~durumu için girdi, çıktı ve ağ bilgilerini analiz et." diye de talimat verebilirsiniz. (LLM bunu uygun şekilde kendisi uyarlayıp uygular)

[darjeeling]

Yalnızca AI değil, strace ve çeşitli hata ayıklama araçlarını kullanabilirsiniz.
Bunu servis düzeyinde iyi kurmak istiyorsanız eBPF tabanlı araçlara bakın.