HN’ye Sor: Aralık 2023 itibarıyla kendi belgelerimle özelleştirilmiş bir LLM/ChatGPT nasıl eğitilir?

LLM’e özelleştirilmiş belge kümesi sağlama yöntemi

• LLM’lere (Large Language Models) kullanıcının belge kümesini vererek gerçek dışı sonuçlar olmadan uygun yanıtlar almanın en iyi yöntemine dair bir tartışma.
• Odak, LLM’e belirli bir belge kümesini "öğretme" yöntemleri üzerinde. Bu mutlaka kendi modelinizi eğitmek anlamına gelmez; RAG (Retrieval-Augmented Generation) gibi yaklaşımlar da buna dahildir.
• 5 ay önce açılmış bir başlık var, ancak Aralık 2023 itibarıyla güncel duruma uygun bilgiye ihtiyaç var.

GN⁺ görüşü

• LLM kullanarak belirli bir belge kümesinden doğru bilgi çıkarmak, teknolojinin gelişmesiyle birlikte daha da önemli hale geliyor.
• Bu tür teknikler, kullanıcıların istedikleri özelleştirilmiş sonuçları elde etmelerine yardımcı olur; bu da iş zekâsı, araştırma, eğitim gibi çeşitli alanlarda uygulanabilir.
• RAG gibi mevcut yaklaşımlardan yararlanmak veya yeni yöntemler araştırmak önemlidir; bu, LLM’lerin kullanım değerini artırmaya ve daha doğru, daha güvenilir sonuçlar elde etmeye katkı sağlayacaktır.

[GN⁺]

Hacker News görüşleri

• Belgeler üzerinde eğitim gerçekte yapılmıyor; birçok startup bu terimi kullansa da aslında RAG (Retrieval-Augmented Generation) kullanıyor.

  • Llamaindex en iyi seçenek olarak görülüyor.
  • Belgeler üzerinde eğitim yaptığını iddia eden startup'ların çoğu gerçekte RAG kullanıyor.
  • qLoRA kullanarak soru-cevap çiftlerini otomatik üreten bir script bulmanız öneriliyor.
  • Kişisel belge bilgi tabanı için başarıyla kullanılmış örnekler nadir; daha çok matematik, akıl yürütme, Python gibi alanlarda kullanılıyor.
  • Bir belge setini doğrudan fine-tuning'e vermenin etkili olmadığı deneysel olarak gösterilmiş.

• Belge miktarına göre farklı yaklaşımlar düşünülmeli.

  • RAG küçük veri kümelerinde iyi çalışıyor ve Llamaindex bu alanda ciddi mühendislik yapıyor.
  • Fine-tuning ile RAG'in birleşimi, internette kolayca bulunabilen bilgiye sahip büyük veri kümelerinde etkili.
  • Sürekli pretraining ise çok büyük veri kümeleri ve size ait özel bilgi olduğunda gerekli.

• AWS Bedrock kullanımı kolay; belgeleri S3'e yükleyip bir vektör veritabanıyla senkronize ederek API üzerinden kullanabiliyorsunuz.

  • Bedrock, çeşitli modeller ve ortak bir API sunan bir ürün.

• h2ogpt, çeşitli formatlardaki belgeleri işleyebilen ve farklı model hosting uygulamalarını destekleyen, özellik açısından tamamlanmış bir RAG implementasyonu.

• Bir ChatGPT hesabı satın alıp kendi belgelerinizi yükleyebilir, bunun üzerinden özelleştirilmiş konuşma tabanlı bir yapay zeka oluşturabilirsiniz.

• GPT4 Assistants şu anda varsayılan olarak RAG'i işleyebiliyor; PrivateGPT de bunun için iyi bilinen seçeneklerden biri.

• Microsoft Office'in Copilot Builder'ı, kullanıcının temel URL'leri, yüklenen dosyaları vb. belirleyerek saniyeler içinde bir AI Copilot oluşturmasına olanak tanıyor.

• Cheshire Cat, belgeleri daha sonra aranabilecek "anı"lar olarak saklayan bir yapay zeka yardımcı framework'ü.

• Mistral 7B'nin QLoRA ile nasıl fine-tune edileceğine dair bir video rehberi var; ayrıca RAG tekniğinin daha tercih edilir olabileceği de belirtiliyor.