Merhaba.
Yakın zamanda, tarayıcıda gerçekleştirilen işlemleri otomatik olarak kullanıcı kılavuzuna (SOP) dönüştüren bir Chrome Extension geliştirdim.
Mevcut ekran kaydı yöntemlerinden farklı olarak, tıklama ve giriş olaylarını DOM bağlamı (Context) ile birlikte toplayıp insanların kolayca anlayabileceği işlem adımlarına yeniden yapılandırıyor.
Mevcut pipeline şu şekilde.
Browser Recording → DOM Context Extraction → Solar Pro 3 → AI Validation → Word / PDF / Markdown
Uygularken en zorlandığım kısım, "Nereye kadar tek bir Step sayılmalı?" sorusuydu.
Tarayıcı olaylarını olduğu gibi kaydedince aşırı ayrıntılı oluyor; tersine fazla birleştirince de önemli kullanıcı niyeti kayboluyor. Şu anda DOM değişiklikleri, giriş durumu, sayfa geçişleri gibi ölçütlere göre olayları birleştiriyor; ardından Solar Pro 3'ün her adımı doğal dil açıklaması olarak üretmesini ve yapay zekanın sıralama ile eksik olup olmadığını bir kez daha doğrulamasını sağlayacak şekilde uyguladım.
Şu anda doküman oluşturma aşamasına kadar uygulanmış durumda; sırada, oluşturulan kılavuzu yapılandırılmış bir Task Plan olarak kullanma yönünde denemeler yapıyorum. Hedefim, bunun basit bir doküman olmaktan çıkıp AI Agent'ın işi anlayıp yönlendirebildiği veya tekrarlayan tarayıcı işlerini yeniden gerçekleştirebildiği, çalıştırılabilir bir iş akışına dönüşmesi.
Interaction Segmentation ve Task Planning hâlâ geliştirilmeye devam ediyor. İlgili araştırması veya uygulama deneyimi olanların geri bildirimlerini duymak isterim.
Henüz yorum yok.