LLM ile Slackbot Oluşturma

• Benchling, birden fazla bölgede ve ortamda bulut altyapısı işletiyor.
  • Terraform Cloud ile 160.000'in üzerinde kaynağı yönetiyor ve aylık olarak yaklaşık 50 mühendis altyapı değişikliklerini yayımlıyor.
• Kapsamlı bir FAQ belgesi (20 sayfa) ve Slack thread kayıtları olmasına rağmen, "arama verimsizliği" bir sorun olarak kalıyordu.
• Bunu çözmek için RAG LLM kullanan bir Slack botu kuruldu.

Kurulum Hedefleri

• Terraform Cloud ile ilgili soruları gerçek zamanlı çözebilen iç Slack botu geliştirmek.
• İç ve dış veri kaynaklarını birleştirip kullanıcıya tanıdık bir Slack arayüzü üzerinden yanıtlar sunmak.
• Kullanım Senaryoları:
  • İK soruları için yanıt
  • Müşteri sorun giderme örneklerini arama
  • Yazılım hata kodu açıklaması

Çalışma Prensibi

1. Kullanıcı sorgusunu analiz etme: İlgili bilgiyi veritabanında aramak.
2. LLM promptu oluşturma: Arama sonuçlarını ve yönergeleri içerecek şekilde yanıt üretmek.

Teknoloji Yığını

• RAG modeli: Amazon Bedrock kullanımı.
  • OpenSearch Serverless veritabanıyla oluşturulan bir bilgi deposu.
  • Yanıt oluşturma için Claude 3.5 Sonnet v2 modeli.

Veri Kaynakları

• Confluence: Terraform Cloud SSS (PDF olarak kaydedilip S3'e yüklendi).
• Web: HashiCorp'un Terraform Cloud ve dil belgeleri.
• Slack: Çözülmüş Terraform Cloud sorunlarını içeren thread'ler (POC elle toplandı).
• Veriler, sorgu sırasında aranabilmesi için bir vektör veritabanında saklanır.

Uygulama Mimarisi

• Bileşenler:
  • Slack uygulaması
  • AWS API Gateway
  • AWS Lambda (Python kullanarak)
  • AWS Bedrock
  • OpenSearch Serverless (vektör veritabanı)
• Kullanılan modeller:
  • Amazon Titan Text Embeddings v2 (gömme üretimi)
  • Claude 3.5 Sonnet v2 (yanıt üretimi)

Sınırlamalar ve Gelecekteki İyileştirmeler

Sınırlamalar

• Görüntü işleme yapılamıyor: Görüntü tabanlı mimari diyagramlar veya ekran görüntüleri dahil edilmedi.
• Terraform desteği yetersiz: Şu anda Terraform AWS sağlayıcısı, Bedrock kaynaklarını desteklemiyor.

Gelecekteki İyileştirmeler

1. Kaynak bağlantısı ekleme: Slack yanıtlarında belge kaynağına yer verilmesi.
2. Slack thread'lerini otomatik kaydetme: @help-terraform-cloud 기억해줘 komutuyla veritabanını güncelleme.
3. Veri senkronizasyonunu otomatikleştirme: Haftalık senkronizasyon için CloudWatch olaylarını kullanma.
4. Confluence API kullanımı: Mevcut elle PDF yükleme sürecini API entegrasyonuna çevirme.
5. Çoklu konuşma desteği: Kullanıcıyla sürekli bir sohbet bağlamını koruma.

Kurulum Sırasında Öğrenilenler

1. Veri parçalama stratejisi:
   • Başlangıçta 300 token (yaklaşık 1 paragraf) boyutu kullanıldı ancak uzun yanıtların kesilmemesi için 1500 token'a (yaklaşık 5 paragraf) yükseltildi.
2. PDF ayrıştırma verimliliği:
   • Görseller hariç, metin tabanlı veri güvenilir biçimde çıkarıldı.
3. Bilgi deposu kurulumunun kolaylığı:
   • Amazon Bedrock kullanarak yalnızca birkaç dakikada kurulabildi.

Kullanım Durumları

• SSS ve hata kodu sorgulama.
• Tekrarlayan soruların otomatik yanıtlanması.
• Takıma özel veri seti kullanımı:
  • Sohbet geçmişi, paylaşılan belgeler.

Güvenlik Hususları

• Veri hassasiyeti ve yanlış sonuç üretme riskinin değerlendirilmesi.
• Kuruluş tarafından onaylanan modelin doğrulanması.

Sonuç

• LLM ile Slackbot geliştirmek, hızlı bir prototip geliştirme olasılığını kanıtladı.
• Yeni teknoloji deneyleriyle verimlilik ve üretkenliğin artabileceğini gösterdi.
• Bu örnekten yola çıkarak siz de LLM tabanlı araçlar oluşturabilirsiniz!