reMarkable2'yi vision-LLMs arayüzü olarak kullanan Ghostwriter

• remarkable2 üzerinde el yazısını tanıyıp jestlere veya ekrandaki içeriğe göre tepki vererek tekrar ekrana yazan bir deney
  • El yazısı ve ekran etkileşimini keşfeden bir proje

Ayar/Kurulum

• OPENAI_API_KEY gibi ortam değişkenleri ayarlanmalı.
• remarkable cihazına ikili dosya kurulup çalıştırılmalı.

Kullanım

• ghostwriter, remarkable üzerinde başlatılmalı.
• Ekrana çizim yapıp sağ üst köşeye dokunarak yardımcı işlevler etkinleştirilebilir.
• İşleme sırasında noktalar çizilir ve yazılan ya da çizilen yanıt görülebilir.

Durum / Günlük

• 2024-10-06: Temel kavram kanıtı tamamlandı. Ekrana yeniden çizme özelliği iyi çalışmıyor.
• 2024-10-07: Temel jestler ve durum göstergesi uygulandı.
• 2024-10-10: Sanal klavye yapılandırması başlatıldı.
• 2024-10-20: Metin çıktısı ve diğer modlar eklendi.
• 2024-10-21: İkili sürüm yapısı tamamlandı.
• 2024-10-23: Kod refaktörü yapıldı ve yeni Anthropic modellerini test etme planı oluşturuldu.
• 2024-11-02: Araç sağlama yaklaşımına geçildi.
• 2024-11-07: Claude/Anthropic eklendi.
• 2024-11-22: Değerlendirme sistemi taslağına başlandı.
• 2024-12-02: Temel görüntü segmentasyonu adımı eklendi.
• 2024-12-15: Motor entegrasyonu yapıldı.
• 2024-12-18: Sistem yükseltme sorunları çözüldü.
• 2024-12-19: Yerel ağ VLM modu denendi.
• 2024-12-22: Değerlendirme sistemi kurulumu başlatıldı.
• 2024-12-25: CLI sadeleştirildi ve genişletildi.
• 2024-12-28: Kullanılabilirlik iyileştirildi.

Fikirler

• İstekleri jestler veya içerikle tetiklemek.
• Ekran görüntüsünü vision modele girdi olarak verip sonucu ekranda göstermek.
• Klavye olayları gönderebilmek.
• Temel bir değerlendirme sistemi kurmak.
• Bir prompt kütüphanesi geliştirmek.
• İlk kurulumu otomatikleştirmek.
• Diyagram üretme özelliği eklemek.
• Harici bilgi sorgulama ve gönderme işlevi eklemek.
• Sohbet modu uygulamak.
• Ağ üzerinde yerel VLM kullanımını denemek.

Referanslar

• Awesome reMarkable içindeki kaynaklardan yararlanıldı.
• reSnap'ten ekran yakalama tekniği uyarlandı.
• rmkit lamp'tan ekran çizimi konusunda ilham alındı.
• SVG'yi png'ye dönüştürmek için resvg kullanıldı.
• Klavye giriş aygıtı oluşturmak için rM-input-devices kullanıldı.
• OCR→OpenAI→PDF→Device süreci reMarkableAI'da keşfedildi.
• rMAI, model API hizmeti olarak replicate kullanan ayrı bir uygulama.
• Crazy Cow, metni kalem darbelerine dönüştüren bir araç.

[GN⁺]

Hacker News yorumları

• Projenin yazarı benim. Proje aktif olarak devam ediyor ve en büyük içgörü, görsel modelin mekansal algı sınırları oldu

  • Temel değerlendirme örnekleri https://github.com/awwaiid/ghostwriter/blob/main/evaluation_results/2024-12-29_21-05-47/results.md adresinde görülebilir
  • Bir sonraki hedef, bunu yaml+shellscript agent framework/aracı olarak kurmak ve ayıklamaya devam etmek
  • Mekansal algı için önceden segmentasyon veya başka yöntemleri araştırmaya devam etmek
  • Çok sayıda nokta yerine gerçek kalem darbeleri gönderen bir reSvg backend'i yazmak

• Gerçekten harika. reMarkable tablet için uygulamaları hackleyen insanları görmek güzel

  • Ben de reMarkable için küçük bir uygulama yaptım ve kısa süre önce burada paylaştım: https://digest.ferrucc.io/

• Keşke reMarkable tablet bu kadar kilitli olmasaydı

  • En sevdiğim donanımlardan biri ve daha fazla uygulaması olmasını isterdim

• Harika

  • Bunu birkaç aydır hayata geçirmeyi denemek istiyordum. Gerçekten iyi iş çıkarmışsın

• Gerçekten harika. Bu hafta sonu deneyeceğim

  • PDF'leri e-postayla gönderip LLM'e ileterek yapılacak işleri yazarken otomatik görev oluşturma fikriyle oynuyordum
  • Bu proje, hedefe gerçek zamanlı ulaşmak için daha iyi bir yol açıyor

• PDF belge okurları için, reMarkable'ın 11 inç boyutunun yeterli olup olmadığını merak ediyorum

  • Bende 13 inç Sony DPT 2. nesil sürüm var ve görüntüleme deneyimi mükemmel
  • Ama bu tür projeler beni sürekli reMarkable ürününe çekiyor

• Bu projeye bayıldım. Bir vektör difüzyon modeli var; model bir şey çizmeye karar verdiğinde bunu tool calling ile dışarı devretmesi nasıl olur?

  • Ardından koordinat aralığını ve prompt'u belirtebilirsiniz

• El yazısı girişiyle LLM'i birleştiren bu kullanım senaryosu mükemmel

  • Dağınık el yazısını ne kadar iyi işlediğini ve kişisel notlara yönelik fine-tuning'in zamanla tanımayı iyileştirip iyileştiremeyeceğini merak ediyorum

• Bir boox tabletim var (tam Android tablet ve e-ink ekran) ve bunun gibi şeyler bunun için mükemmel olurdu

  • 5 yıl içinde mobil donanımın bunu yerelde destekleyip destekleyemeyeceğini merak ediyorum

• Android tabanlı Onyx Boox e-kitap okuyucuda bu proje nasıl olur?

  • Mümkün mü?