Node.js için ultra basit bir chunking kütüphanesi

Bugün LLM prototiplemesi için yaptığım basit bir vektör DB’yi tanıtmıştım..(https://tr.news.hada.io/topic?id=10798)

Hazır başlamışken Node.js için ultra basit bir metin chunking kütüphanesi de yapmış oldum.

LLM kullanarak belgeleri embedding ederken basitçe kullanabileceğim neredeyse hiçbir şey yoktu; Node.js tarafında ise daha da azdı, bu yüzden her seferinde iri kütüphaneler kullanmak içime sinmiyordu. (Edge’de kullanmayı ise hiç düşünemiyordum bile)

VectorDB’yi basitçe yapmışken onunla birlikte kullanmak için bunu da yaptım; zaten LLM için kullanılacaksa çoğu durumda aşırı hassas olması gerekmiyor, o yüzden basit cümle/paragraf ayrımıyla bölüp uygun şekilde overlap verebilmeyi sağlayacak kadarını hazırladım.

Kısaca denedim ve yine gördüm ki, ne olursa olsun It just works, simple is the best. hahaha

[golbin]

Kardeş ürün: Node.js için ultra basit vektörDB -> https://tr.news.hada.io/topic?id=10798