Show HN: Autotab - yapay zeka tabanlı Chrome uzantısıyla Selenium scriptleri oluşturma

 (autotab.com)
3 puan yazan GN⁺ 2023-10-21 | 1 yorum | WhatsApp'ta paylaş
  • Autotab, yapay zeka tabanlı bir Chrome uzantısı olarak yerel tarayıcıda çalışır ve Selenium scriptleri üretmeyi hedefler
  • Kullanıcılar iş akışlarını video mesajı veya dokümanlarla aktararak, tıpkı bir insana anlatır gibi Autotab'a görev öğretebilir
  • Fortune 500 şirketleri ile hızla ölçeklenen teknoloji odaklı şirketlerde işe alım, onboarding ve yönetim darboğazlarını azaltmak için kullanılıyor
  • Uygulama alanı, veri toplama, form doldurma, mesaj gönderme ve iade tetikleme gibi tarayıcı tabanlı tekrarlayan işlerin geneline yayılıyor
  • Bir görevin işlenip işlenemeyeceğinden emin değilseniz görev kaydını gönderip 24 saat içinde yanıt alabilir, BPO yerine alternatif arayan şirketler ise ayrıca iletişime geçebilir

Yerel tarayıcıda öğrenip çalıştırma modeli

  • Autotab, kullanıcıların verdiği görevleri insanların çalışma biçimine yakın şekilde öğrenip yerine getiren genel amaçlı bir yapay zeka ajanıdır
  • Görevler kullanıcının yerel tarayıcısında yürütülür ve kullanıcı Autotab'ın ne yaptığını izleyebilir
  • Belirli iş akışları, bir çalışana devir teslim yapar gibi aktarılabilir

    • Video mesajı ve dokümanla eğitim

      • Görev adımları video mesajı ya da hazırlanmış dokümanlarla öğretilebilir
      • Karmaşık iş akışları bile, insanların işi birbirine anlattığı biçime uygun şekilde aktarılır

Şirketlerde hedeflenen tekrarlayan işler

  • Autotab, Fortune 500 şirketleri ve hızlı ölçeklenmeye ihtiyaç duyan teknoloji odaklı şirketlerde kullanıma sunulmuş durumda
  • Büyüme hızına yetişemeyen işe alım, onboarding ve operasyonel yönetim süreçleri başlıca kullanım senaryoları arasında yer alıyor
  • Yapılabilen işlere örnekler şöyle:
    • Veri toplama: potansiyel müşteri bulma, raporlar için bilgi toplama, sistemler arası tam göç
    • Form doldurma: devlet formları, şirket içi yönetici uygulamaları, ERP·RMS·TMS gibi tedarikçi sistemlerine veri girişi
    • Aksiyon yürütme: herhangi bir platformda mesaj gönderme, iade tetikleme gibi bağlama uygun işlemleri gerçekleştirme

İletişim ve uygunluk kontrolü

  • Yapabileceği bir görev olup olmadığından emin değilseniz görev kaydını record@autotab.com adresine gönderebilir, 24 saat içinde yanıt alabilirsiniz
  • BPO'yu farklı bir yöntemle ikame etmek isteyen şirketler enterprise@autotab.com adresi üzerinden iletişime geçebilir

İlgili okumalar

1 yorum

 
GN⁺ 2023-10-21
Hacker News yorumları

  • Selenium projesini oluşturan kişi olarak, test otomasyonunun yapay zekanın killer app’lerinden biri olacağını düşünüyorum.
    Üretilen kodda yapay zekanın ayrıntıları halüsinasyonlamamasını nasıl garanti ettiğinizi merak ediyorum.

    • Şimdilik temel bir güvenlik önlemi olarak, Selenium’un XPath’inin DOM’da tam olarak tek bir öğe seçtiğini doğruluyoruz.
      İleride, yansıtılmış tarayıcının son eylemi aynen takip ettiği gerçek zamanlı önizleme sunmak en iyisi gibi görünüyor; böylece hata olursa ya da amaçlanandan farklıysa hemen debug edilebilir.

  • Ajan sistemim olan web uygulamasını anlamlı biçimde otomatikleştirmeyi deneyeceğim. Rekürsif olarak otomasyonun otomasyonu ele alması gibi bir his.
    Biraz tanıtım yapacak olursam: https://github.com/agi-merge/waggle-dance
    Normalde Chrome kullanmıyorum ama neden Chrome’dan başladığınızı anlıyorum. Yine de Firefox veya Safari sürümleri de çıksa güzel olurdu.

    • waggledance.ai’ye baktım; yapabildikleri havalı ve ilginç.
      Ancak iyi yapılmış UI dışında, GPT-4 yanıtlarının sağlamadığı neyi waggledance’ın sağladığını merak ediyorum.
      Benim deneyimime göre görev oluşturma ve parçalama biçimi, ChatGPT’ye sorduğumda aldığım sonuca oldukça benziyor.
    • Diğer tarayıcı desteği de bir gün kesinlikle planlarımız arasında.

  • Babamın işlerini otomatikleştirmek için bir zamanlar kendim Selenium script’i yazmıştım. Örneğin bir elektronik tablodan isimleri alıp bir web sitesinin arama kutusuna koyuyor, aynı işlemi yüzlerce kişi için tekrarlıyordu ve çok zaman kazandırmıştı.
    Sadece makineye göstererek tarayıcı otomasyonunu daha kolay hale getirebiliyorsa, birçok kişinin hayatını çok daha rahatlatacağını düşünüyorum; bu yüzden bir an önce denemek istiyorum.

    • Bu tür işlere yardımcı olmak, beklediğimiz yönle çok örtüşüyor. Denedikten sonra izlenimlerini duymak isteriz; konuşmak istersen e-posta adresim profilimde var.

  • Bunu sunucuya koyup BrowserBox ile sunarak mobilde de otomasyon oluşturulabilmesini istiyorum.
    BrowserBox’ı başta yapma nedenim de uzantılara bağlı olmayan bir web scraping yazma aracı dağıtım platformuydu; ama uzak tarayıcının kendisini ürün haline getirince otomasyon yazma aracına henüz gelemedim.
    Bunu yapıp MIT lisansıyla açtığınız için teşekkürler. Yapay zekayla güçlendirilmiş, insanın yönlendirdiği web scraping yazma yaklaşımını bu alanın geleceği olarak görüyorum.
    İsmi de güzel: autotab.
    Yakında çıkaracağım BrowserBox SaaS’in adını Cloudtabs koyduğum için biraz “sinerji” de var.
    https://github.com/BrowserBox/BrowserBox

    • BrowserBox güzel görünüyor ama README’den hangi tarayıcı motorunu kullandığını anlamak zordu. Kendi yaptığınız bir şey mi, merak ettim.

  • https://ray.run/ üzerinde Playwright için neredeyse birebir aynısını yapıyoruz. Test yazmanın geleceğinin bu yönde olduğundan hiç şüphem yok; gelecek hafta yayınlamayı planlıyoruz.
    Yaklaşım biraz farklı görünüyor. LLM’i yalnızca öğe tanımlama için kullanıyor, gerçek üreteci ise https://ray.run/browser-extension ile yapıyoruz.

    • Ziyaretçi prefers-reduced-motion ayarlamışsa animasyonlu arka planı kapatmalısınız.
      Ya da genel olarak kapatsanız da iyi olur. Epey rahatsız edici.

  • Chrome’un Recorder özelliğinden nasıl farklı olduğunu merak ediyorum.
    DevTools > Recorder’da kullanıcı yolculuğunu kaydedip Puppeteer script’i olarak dışa aktarabiliyorsunuz.

    • En büyük fark muhtemelen autotab’in Python script’i üretmesi. Mevcut Python codebase’lerine entegre etmek daha kolay.
      İleride Python kodunun ve ekosisteminin esnekliği sayesinde daha fazla özellik geliştirmenin kolay olacağını düşünüyorum. Örneğin tarayıcı tabanlı işler tamamen deterministik değil; web sayfası bilgilerini özetlemek veya metin kutusuna uygun yanıtı dinamik olarak doldurmak gibi, otomasyon sırasında daha fazla zekâ gerektiren durumlar sıkça oluyor.

  • YC yatırımını görünce https://www.ztool.co kurucusu olduğunuzu fark ettim. Pivot mu yaptınız, yoksa ztool’u tamamlayan bir ürün mü, merak ediyorum.

    • Bu kesinlikle pivot’a daha yakın. Ancak ZTool ürününün kendisi de bu süre içinde birkaç kez büyük değişim geçirdi.
      Son birkaç ayda geliştirirken ve kullanıcılarla konuşurken öğrendiklerimiz, autotab’e yönelmemizin iki nedeni olarak özetlenebilir.
      Birincisi, yapay zekayla üretilen yazılım teknik olmayan kullanıcılar için henüz hazır değil. ZTool’da kodlama bilmeyen kişilerin kolayca otomasyon oluşturmasına odaklanmıştık; ama şu anda model çıktısının kod olmasının daha iyi olduğunu düşünüyorum. Bu yüzden autotab, Python kodunu inceleyip düzenleyebilen kullanıcılara odaklanıyor.
      İkincisi, niyeti iletme biçimi önemli. “Bu iş can sıkıcı” noktasından yapılandırılmış bir ifadeye ulaşmak şaşırtıcı derecede fazla zihinsel emek gerektiriyor. Yapay zeka demoları kısa prompt’larla niyeti iletmeye odaklandı; ama karmaşık alanlarda bu iyi çalışmıyor. Niyeti tarayıcı üzerinden iletme biçimi çok sezgisel ve tanıdık olduğu için güçlü görünüyor.

  • “Selenium’un kontrol ettiği bir Chrome oturumu çalıştırdıktan sonra Google’a giriş yapın” deniyor; Google girişinin neden gereksinim olduğunu merak ediyorum.

    • Artık bu kısmı düzelttik; autotab.com/dashboard üzerinden API anahtarı alabiliyor ve autotab record çalıştırırken yalnızca o anahtarla kimlik doğrulaması yapabiliyorsunuz. Artık Selenium tarayıcısında Google’a giriş yapmanıza gerek yok.
    • Şu anda autotab’in kendi girişinde yalnızca Google ile girişi kabul ediyoruz; ama yakında kullanıcı adı/şifreyle giriş ve başka seçenekler de ekleyeceğiz.
      Geri bildirimlere göre kullanıcıların kendi OpenAI API anahtarını getirebilmesi seçeneğini de yapabiliriz.

  • Açık bir tarayıcı penceresinde kısayol gibi kullanılabilecek workflow veya makro kaydetmek mümkün mü, yoksa yalnızca bir tarayıcı penceresi açıp birkaç eylem çalıştıran otomasyon süreçleriyle mi sınırlı, merak ediyorum.
    Örneğin birden çok sekme açık ve her sekmede YouTube tam ekran düğmesi gibi aynı öğe varsa, “tam ekrandan çık, sonraki sekmeye geç, o sayfadaki videoyu tam ekrana al” gibi bir şeyi Autotab ile kaydedip kaydedemeyeceğimi bilmek istiyorum.

    • autotab script’inin açtığı tarayıcı instance’ı içinde her zaman YouTube videolarını açıyorsanız bir ölçüde mümkün olabilir; ama kısa cevap, şu an için zor olduğunu düşünüyorum.
      Bu tür makrolar çok ilginç ve tarayıcıların bu yapay zeka ve otomasyon için nasıl tasarlanabileceğini çok konuştuk.
    • Nasıl bir makro tanımlamak istediğinizi merak ediyorum. Daha fazla öğrenmek istediğimiz bir alan.

  • Bunu olabildiğince kullanışlı yapmak için, bir kural kümesine sahip LLM’in sayfadaki dinamik durumu yorumlayıp buna göre hareket edebilmesi gerekir.
    Örneğin sepete eklemeye çalışırken LLM stokta yok kuralını algılarsa farklı bir eylem yapması gibi.
    İleride bu yazılımda böyle LLM destekli, kural tabanlı dallanma mantığı mümkün olacak mı, merak ediyorum.

    • Kesinlikle katılıyorum ve şu anda bunun üzerinde aktif olarak çalışıyoruz.
      İlginç soru iki tane: 1) Kullanıcının niyetini iletmesi için en etkili format nedir; belki de point-and-click olmayabilir. 2) Model çıktısını denetlenebilir ve düzenlenebilir şekilde nasıl temsil edeceğimiz temel mesele.