- VIM içinde yerel LLM tabanlı metin otomatik tamamlama özelliği sunar
Insert modunda imleç hareket ettiğinde otomatik öneri verirCtrl+F ile manuel öneriye geçilebilirTab ile öneri kabul edilirShift+Tab ile ilk satır önerisi kabul edilir- Maksimum metin üretim süresi ayarlanabilir
- İmleç çevresindeki bağlam aralığı ayarlanabilir
- Açık dosyalar, düzenlenmekte olan dosyalar ve kopyalanmış metinden alınan bağlam parçalarını kullanarak bir bağlam halkası oluşturur
- Düşük özellikli donanımlarda bile akıllı bağlam yeniden kullanımıyla çok büyük bağlam desteği sunar
- Performans istatistiklerini gösterir
Kurulum
- vim-plug :
Plug 'ggml-org/llama.vim'
- Vundle :
llama.cpp kurulumu
- Eklenti,
g:llama_config.endpoint üzerinde çalışan bir llama.cpp sunucu örneği gerektirir
- Mac OS :
brew install llama.cpp
- Diğer işletim sistemleri : kaynaktan derleyin veya en son ikili dosyaları kullanın: llama.cpp releases
llama.cpp yapılandırması
- VRAM kapasitesine göre önerilen ayarlar:
- 16GB VRAM ve üzeri:
Qwen2.5-Coder-7B-Q8_0-GGUF
- 16GB VRAM altı:
Qwen2.5-Coder-3B-Q8_0-GGUF
- 8GB VRAM altı:
Qwen2.5-Coder-1.5B-Q8_0-GGUF
- Ayrıntılar için
:help llama bölümüne bakın
Önerilen LLM'ler
Uygulama ayrıntıları
- Eklenti; basit, hafif ve tüketici sınıfı donanımlarda bile yüksek kaliteli performans sunan yerel FIM tamamlama sağlamayı hedefler
Diğer IDE'ler
1 yorum
Hacker News görüşleri
Sunucu uygulamasının teknik ayrıntılarına bakılması öneriliyor; ilginç ve hoş fikirler içeriyor. Bu eklenti VS Code'da da kullanılabiliyor. İstemci tarafı önbellekleme sayesinde performans iyileştirilmiş.
Bu kullanıcının açık kaynaklı yapay zeka ekosistemine çok katkı yaptığı belirtiliyor ve yazılım geliştirmeye devam edip gerçekten "koşulsuz" açık kaynak olarak yayımlayabilmesi için yeterli finansman bulması umuluyor.
LLM araçlarının LSP, derleyiciler ve diğer statik analiz araçlarıyla daha sıkı entegre edilmesinin daha fazla bağlam ve daha iyi çıktı sağlayabileceği düşünülüyor. Dil bazında LLM ince ayarı yapılıp yaygın editör araçlarıyla birlikte sunulması iyi olurdu. Yapay zeka araçlarının eski ve popüler dillerde daha iyi çalıştığına dikkat çekiliyor; bunun dil seçerken önemli bir etken olabileceği söyleniyor. LSP ve derleyiciden veri alıp hatalı sözdizimi üretmeyen, Gleam'e özel bir model kurulabilmesi isteniyor.
"Ring context"in nasıl çalıştığı merak ediliyor ve benzer projelerde KV cache'in nasıl yönetilebileceğine dair bir çözüm öneriliyor. Token'ların bir ağacı tutulup sabit derinlik aralıklarında tam LLM durum anlık görüntüleri saklanarak, tampon değiştiğinde yalnızca birkaç token'ın "yeniden oynatılması" öneriliyor. Önemli durum parçalarının nasıl çalıştığına dair matematiksel özellikler olabileceği düşünülüyor.
Demo videosundaki yanıp sönen imlecin kalp çarpıntısı yarattığı ama yine de çok havalı göründüğü söyleniyor. Linux'un M* donanımında nasıl çalıştığı merak ediliyor.
Bu eklentinin VSCode sürümüyle aynı olup olmadığı soruluyor.
Tüketici donanımı ve kuantizasyon iyileştirmeleriyle önümüzdeki 10 yılda nelerin mümkün olabileceği merak ediliyor. Şu anda 24GB GPU ile bile barındırma hizmetlerinin performansına ulaşılamadığı söyleniyor.
Terminalde kod yazmayı tercih ettiği, tıkanınca terminalde daha derin analiz için
askdskullanabildiği söyleniyor.Orta seviye donanımda llama kullanılıp kullanılamayacağı soruluyor; RAM yetersizliği nedeniyle çöktüğü düşünülüyor. 2G VRAM ve 16G sistem RAM'in yeterli olmadığı hissediliyor; çoğu Apple ürününde bellek birleşik çalışsa da bunun dışında çok VRAM'li pahalı bir Nvidia GPU gerektiği düşünülüyor. Daha ucuz bir seçenek olup olmadığı merak ediliyor.
Bu alanda bilgili kişilerden tavsiye isteniyor; uygun fiyatlı bir ekran kartı alıp yerelde LLM çalıştırmanın yolu aranıyor.