Yapay zeka ajanlarının sahtekarlığını (aldatmasını) sonradan doğrulayan açık kaynak çerçeve: Mirror Stack.
(github.com/mirror-stack)Merhaba. Son günlerde birkaç gün boyunca otonom çalışan AI döngü ajanlarının (Autonomous Loop Agent) hızla yükselişini görürken, "Ya AI insanlardan gizlice test verilerini manipüle eder ya da kısıtları aşarak (Gaming) rapor verirse, bunu nasıl tespit etmeliyiz?" sorusu aklıma takıldı ve bu nedenle geliştirdiğim açık kaynak proje Mirror Stack’i tanıtmak istiyorum.
Mevcut ajan güvenliği daha çok "kötü şeyler yapmasını guardrail’lerle engellemek" üzerine odaklanırken, Mirror Stack "söz yerine kanıt (Provable, not Promised)" paradigmasını öneriyor. Yani AI’ın iyi davranacağına güvenmek yerine, yalnızca dürüst davranışın sonradan sahteciliğe kapalı bir kayıt defteri (Chain-sealed ledger) bırakmasını zorunlu kılan bir yapı sunuyor.
🛠️ Temel bileşenler ve mimari
Merkezi sunucu olmadan, local-first yaklaşımıyla hafif çalışan 4 araç ve 5 protokolden oluşuyor.
measure-mirror: AI’ın iddialarını incelemek için 23 istatistiksel / oyunlama önleyici probe çalıştırır.action-mirror: Zincir yapısıyla bağlı ajan eylem geçmişini izleyerek bütünlüğü garanti eder.provenance-mirror: Üretilen içeriğin kaynak gerçekliğini makine tarafından kanıtlar.mirror-witness: Ayrı bir altyapı maliyeti olmadan GitHub Actions ve CI ortamlarını karşılıklı witness olarak kullanarak güvenilirlik sağlar.
🔌 Güncel AI ekosistemi (MCP) için resmi destek
Son dönemde özellikle Anthropic etrafında standartlaşan Model Context Protocol (MCP) sunucusu mirror-stack-mcp resmi olarak destekleniyor. Python ortamında yalnızca pip install ile Claude, Cursor, Windsurf gibi güncel ajan araçlarına anında entegre edilip gerçek iş akışlarında kullanılabiliyor.
💡 Gerçekten ilginç bir vaka
Test sürecinde ilginç bir akış yaşandı: bir ajan, deneye başlamadan önce önceden kayıtlı güç kontrolü (Power check) aşamasında kendi tasarımındaki çelişkiyi tespit etti; ardından token maliyetinden tek bir birim bile harcamadan deneyi kendi kendine geri çekti (Retracted) ve buna ilişkin zincir kayıt defterini bırakarak düşmanca öz-düzeltme süreci sergiledi.
Otonom makinelerin arttığı bir çağda, insan müdahalesini en aza indirirken aynı zamanda 'makinenin zorlayabildiği ve makinenin doğrulayabildiği' dağıtık bir denetim katmanına ihtiyaç olduğunu düşünerek bunu geliştiriyoruz.
Şu anda prototip ve ilk doğrulama aşamalarını geçip ekosistemi genişletmeye çalıştığımız bir safhadayız. Mimariye ya da AI Alignment / güvenliğe ilgi duyanların geri bildirimlerini, yıldızlarını ve bağımsız yeniden üretim çalışmalarına katılımını bekliyoruz!
Henüz yorum yok.