- Web sitelerini hızlı ve hafif bir şekilde Markdown ve llms.txt formatlarına dönüştürerek, yapay zekanın arama yapabildiği LLM bağlamı oluşturmayı destekleyen bir araç
- Geleneksel HTML→Markdown dönüştürücüleri LLM'ler için tasarlanmadığından daha fazla token kullanır ve daha yavaştır
mdream çekirdeği, LLM'ler için optimize edilmiş bir HTML→Markdown dönüştürücüsüdür; yaklaşık %50 daha az token ile optimize edilmiş çıktı üretir ve 1.4MB HTML'yi yaklaşık 50ms içinde son derece hızlı dönüştürebilir
- 5kB gzip boyutunda bir kütüphane olup harici bağımlılığı yoktur
@mdream/crawl paketiyle tüm site taranarak llms.txt, llms-full.txt ve ayrı Markdown dosyaları üretilebilir; Claude Code gibi yapay zeka araçlarıyla entegre çalışabilir- CLI, Docker, GitHub Actions, Vite, Nuxt gibi çeşitli ortamlarda çalıştırılabilir
- Eklenti sistemi ile pipeline hook'ları üzerinden içerik filtreleme, düğüm dönüştürme ve özel davranışlar eklenebilir
- extractionPlugin: CSS seçicileri kullanarak belirli öğeleri çıkarır, veri analizinde kullanılabilir
- filterPlugin: CSS seçicileri veya etiket ID'lerine göre öğeler dahil edilebilir ya da hariç tutulabilir
- frontmatterPlugin: HTML head bilgileriyle (
title, meta vb.) YAML frontmatter üretir
- isolateMainPlugin:
<main> öğesi veya header~footer aralığı üzerinden yalnızca ana içeriği çıkarır
- tailwindPlugin: Tailwind CSS sınıflarını Markdown biçimlendirmesine (kalın, italik vb.) dönüştürür
- readabilityPlugin: İçeriğin okunabilirlik puanını hesaplar ve içeriği çıkarır (deneysel özellik)
1 yorum
Denedim ama hata veriyor ve düzgün çalışmıyor. Eldan issue’suna yazı bıraktım.