Kendi açık kaynaklı, ChatGPT tarzı bir chatbot yapmak istiyorsanız
(hacks.mozilla.org)- Mozilla’nın inovasyon grubundaki küçük bir ekip, 1 haftalık bir hackathon sırasında kurum içi kullanım için bir chatbot prototipi geliştirirken, üçüncü taraf API’ler olmadan Mozilla bulutu içinde açık kaynaklı bir LLM çalıştırma düzenini denedi
- Harici AI SaaS hizmetlerini devre dışı bırakınca, Mozilla’nın GCP hesabı içinde doğrudan sunucu kurmaları gerekti ve Hugging Face text-generation-inference yerine daha hızlı ayağa kaldırılabilen llama.cpp’ye geçtiler
- Model seçimi, kalite değerlendirmesinden önce lisans ve çalışma zamanı uyumluluğu ile sınırlıydı; ticari kullanıma uygun LLaMA türevi adaylar elle değerlendirildikten sonra LLaMA 2 seçildi
- Kurum içi bilgi entegrasyonu embedding ve vektör arama ile kuruldu; all-mpnet-base-v2, SentenceTransformers, LangChain ve FAISS bir araya getirilerek şirket vikisindeki bazı içerikler yanıt üretiminde kullanıldı
- Prototip tamamlandı, ancak güvenilir bir açık kaynak chatbot oluşturmak için barındırma, model değerlendirmesi, önyargı, prompt’lar ve UI dahil birçok alanda karar vermek gerekiyor
Mozilla’nın yapmak istediği kurum içi chatbot
- Mozilla, yapay zeka sistemlerinin kullandığı veriler ve aldığı kararlarda şeffaf olması, kullanıcı gizliliğine, özerkliğine ve güvenliğine saygı duyması, önyargıyı azaltıp adaleti artırması gerektiğini savunan trustworthy AI ilkelerini öne çıkarıyor
- Birçok kullanıcının en yeni yapay zekayı deneyimlediği başlıca yol, ChatGPT ve Bard gibi üretken yapay zeka chatbotları; baskın hizmetler ise çoğunlukla güçlü teknoloji şirketleri tarafından işletiliyor ve kapalı teknolojilere dayanıyor
- Mozilla’ya göre açık kaynak, kullanıcıları güçlendiren, şeffaflığı artıran ve teknolojinin yalnızca az sayıdaki şirketin dünya görüşü ile finansal motivasyonları doğrultusunda gelişmesini engelleyen bir yöntem
- Hackathon’un doğrudan hedefi, şu koşulları sağlayan bir kurum içi chatbot prototipi oluşturmaktı
- Mozilla’nın bulut altyapısında tamamen çalışması ve hiçbir üçüncü taraf API veya hizmete bağlı olmaması
- Ücretsiz açık kaynak LLM’ler ve araçlarla kurulması
- Mozilla Manifesto’sunu ve trustworthy AI ilkelerini yansıtması
- Çalışan sorularını yanıtlayabilmesi için Mozilla’nın bazı kurum içi bilgilerini entegre etmesi
Barındırma: harici SaaS yerine kendi GCP sunucuları
- Makine öğrenimi uygulamaları için çok sayıda barındırma hizmeti var, ancak MLOps zor; kötü yapılandırılmış bir yapay zeka uygulaması yavaş, pahalı veya düşük kaliteli olabilir
- Ekibin açık hedefi, kullanım içeriğini hiçbir dış tarafın duyamadığı, kullanıcı verisini toplayamadığı ve kullanım durumunu inceleyemediği güvenlik ve gizlilikti
- Bu yüzden üçüncü taraf AI SaaS barındırma kullanmak yerine, Mozilla’nın mevcut Google Cloud Platform hesabı içinde kendi sanal sunucularını kurdular
- Bu tercih, MLOps yükünü doğrudan üstlenmek anlamına gelse de sistemi Mozilla’nın denetiminde ve özel tutmalarını sağladı
Çalışma zamanı: Hugging Face’ten llama.cpp’ye geçiş
- LLM uygulamalarının modeli çalıştıracak bir runtime engine’e ihtiyacı vardı; ekip de zaman kısıtı nedeniyle llama.cpp ve Hugging Face ekosistemine odaklandı
- Hugging Face; model kütüphanesi, dokümantasyon, eğitim materyalleri ve barındırılan çıkarım API’leri sunuyor
- Ekip, barındırılan API yerine açık kaynak text-generation-inference’ı denedi
- text-generation-inference, çeşitli modelleri ve model mimarilerini destekliyor ve Docker ile dağıtılabiliyor, ancak sunucuyu ayağa kaldırma sürecinde ortam yapılandırma sorunları büyüktü
- GPU hızlandırma araçları olduğu için sunucunun OS, donanım ve sürücü kombinasyonunun uyumlu olması gerekiyordu
- NVIDIA CUDA toolkit gerekiyordu
- Günün önemli bir kısmı yapılandırmaya gitti ve sistem çalıştıktan sonra bile çıktı beklenenden yavaştı, sonuçlar da iyi değildi
- Zaman baskısı nedeniyle yönlerini, Georgi Gerganov tarafından başlatılan llama.cpp’ye çevirdiler
- llama.cpp, belirli LLM ailelerini tüketici sınıfı donanım üzerinde kolay çalıştırmayı sağlıyor
- Gelişmiş GPU yerine CPU kullanılabiliyor; özellikle M1 ve M2 gibi Apple Silicon CPU’larda nispeten küçük, modern açık kaynak modelleri iyi çalıştırabiliyor
- llama-cpp-python, OpenAI API specification uygulaması sunduğu için ChatGPT yerine kendi LLM’inizi takıp kullanmayı kolaylaştırıyor
- Sonuç olarak, CUDA sürümleri ve pahalı barındırmalı GPU’larla uğraşmak yerine AMD çok çekirdekli CPU sanal sunucusu üzerinde llama.cpp’yi hızla çalıştırdılar
Model seçimi: lisans ve mimari kısıtları
- llama.cpp seçilince kullanılabilecek modeller LLaMA mimarisi tabanlı modellerle sınırlı kaldı
- Facebook, 2022 sonunda LLaMA’yı duyurdu; LLaMA, model verisi ve mimari olarak ikiye ayrılabilir
- LLaMA mimarisi açık kaynak olarak yayımlandı, ancak model verisi olan weights açık kaynak değildi
- weights kullanımı için izin başvurusu gerekiyordu ve kullanım ticari olmayan amaçlarla sınırlıydı
- LLaMA, Stanford’un Alpaca ve LMSYS’in Vicuna gibi birçok model yeniliğini tetikledi
- Ancak bu modeller Facebook’un weights’lerini kullanarak geliştirildiği için, orijinal weights’in yasal kısıtlarını da devraldılar
- Ticari amaçlarla kullanılamadıkları için Mozilla ekibinin aday listesine girmediler
- LLaMA mimarisinin kendisi açık kaynak kod olduğu için, başka gruplar modeli sıfırdan eğitip MIT, Apache 2.0 veya Creative Commons lisanslarıyla yayımlayabildi
- MPT, Falcon ve Open Assistant gibi başka mimarilere dayalı modeller o dönemde llama.cpp üzerinde çalışmadığı için elendi
Model kalitesi, önyargı ve güvenlik değerlendirmesi
- Model seçimi yalnızca lisans ve uyumluluk değil, güvenilirlik üzerinde de doğrudan etkiliydi
- LLM’ler çok büyük veri kümeleriyle eğitiliyor ve belirli davranışlar ile çıktılar üretmeleri için ek girdilerle ince ayar yapılıyor
- Bu verilerin seçimi başlı başına bir kürasyon süreci ve çeşitli önyargılar içeriyor
- Modeller, eğitim kaynaklarına göre farklı özellikler gösteriyor
- Halüsinasyon benzeri anlamsız yanıtlar üretebilirler
- Toksik içerik, yanlış bilgi veya tehlikeli/zararlı bilgi paylaşımına yol açabilirler
- Kavramlara ya da insan gruplarına yönelik önyargı gösterebilirler
- Çevrimiçi eğitim materyallerinin çoğunun İngilizce olması, hem aracın neleri yapabildiğini hem de hangi dünya görüşleriyle beslendiğini etkiliyor
- Hugging Face’in Open LLM leaderboard gibi performans ve kalite değerlendirme kaynakları var, ancak modelleri kaynak ve önyargı açısından karşılaştırmak hâlâ zor
- Mozilla ekibi, ticari kullanıma uygun ve LLaMA mimarisinde çalışan açık modellere odaklandıktan sonra; toksisite, önyargı, yanlış bilgi ve tehlikeli içerik direncini görmek için farklı sorularla manuel değerlendirme yaptı
- Nihai seçim Facebook’un LLaMA 2 modeli oldu; ancak sınırlı sürede yapılan değerlendirme metodolojisinin kusurları olabilir ve lisans koşulları da tamamen iç rahatlatıcı değil, bu yüzden bunu bir tavsiye olarak görmek zor
Kurum içi bilgi entegrasyonu: embedding ve vektör arama
- Mozilla ekibi, çalışanların erişebildiği ama genel amaçlı bir LLM’in bilemeyeceği bazı kurum içi Mozilla verilerini chatbota bağlamak istedi
- Seçtikleri yöntem, harici belgeleri yanıt üretiminde kullanmayı sağlayan embedding ve vektör arama oldu
- Temel akış şöyleydi
- Kullanılacak veriyi orijinal kaynaktan alıp bir embedding modeli ile dönüştürmek
- Embedding’leri chatbotun erişebileceği bir vektör veritabanında indekslemek
- Kullanıcı soru sorduğunda chatbotun vektör veritabanından ilgili içeriği çekmesi
- Alınan ilgili içeriği, temel modelin context window’una koyup yanıt üretiminde kullanması
- Ekip, veri kontrolünü korumak için üçüncü taraf embedding hizmetleri veya vektör veritabanları kullanmadı
- Python ile doğrudan kurdukları çözüm şu araçları kullandı
- all-mpnet-base-v2 embedding modeli
- SentenceTransformers embedding kütüphanesi
- LangChain
- FAISS vektör veritabanı
- Şirket içi vikiden yalnızca birkaç belge eklendiği için kapsam sınırlıydı, ancak bir proof of concept olarak işe yaradı
Prompt engineering ve context window
- LLM’ler her seferinde önceki konuşmaları ya da kullanıcıyı hatırlamayan bir durumdan başladığı için, chatbotun sohbeti sürdürebilmesi adına geliştiricinin bellek yönetimi yapması gerekiyor
- System prompt, chatbotun işlevini ve nasıl davranacağını düz metinle tanımlayan başlangıç talimatıdır
- Mozilla ekibi, chatbotun Mozilla Manifesto’suna, saygılı davranışa ve ayrımcılık karşıtı politikalara uymasını sağlamak için system prompt tasarladı
- Apollo Ay inişinin sahte olduğu iddiası sorulduğunda, yanlış bilgiyi reddetme talimatı varsa Ay inişlerinin sahte olmadığını söylüyordu
- Aynı modelde yanlış bilgi yasağı çıkarıldığında ise tipik Apollo inkârcılığı listesini sunuyordu
- System prompt içinde Mozilla Assistant adı, Mozilla Manifesto ilkelerine uyum, saygı, profesyonellik ve kapsayıcılık; ayrıca zararlı, ahlaksız, etik dışı veya yasa dışı olabilecek eylemleri reddetme ile yanlış bilgi ve ayrımcı dili yasaklama yer aldı
- Her LLM’in, mevcut konuşmada hatırlayabileceği azami uzunluk olan bir context window’u vardır
- Bu genellikle eğitim aşamasında belirlenir ve sonradan değiştirilemez
- Context window ne kadar büyükse önceki soru ve yanıtlar o kadar uzun süre referans alınabilir
- Vektör aramadan alınan daha büyük içerik parçaları da eklenebilir
- LLaMA 2’nin context window’u 4096 token, yani yaklaşık 3000 kelimeydi
- Ekip, context window’dan tasarruf etmek için system prompt uzunluğunu tekrar tekrar azalttı ve gelecekte daha büyük context window destekleyen modelleri incelemeyi planlıyor
Orkestrasyon ve UI seçimi
- Chatbotun bütünü, ajan prompt enjeksiyonu, context window yönetimi, kurum içi içerik embedding’i, LLM çağrıları ve yanıt işleme gibi birçok katmanı koordine eden bir orkestrasyon gerektiriyor
- LLM alanındaki önde gelen araçlardan LangChain güçlü ve esnek, ancak karmaşıklığı da yüksek
- Mozilla ekibi, LangChain’i yalnızca embedding ve vektör arama için asgari düzeyde kullandı
- Proje kısa süreli ve çok kısıtlı olduğu için, işin büyük kısmı kendi yazdıkları Python koduyla yürütüldü
- Daha fazla zaman olsaydı muhtemelen her şeyi manuel yapmayacaklardı
- UI, sohbeti gösterme, geçmiş iş parçacıklarını izleme ve düzensiz hızlarda çıktı üreten backend süreçlerini yönetme gibi, göründüğünden daha fazla işlev gerektiriyor
- Açık kaynak chatbot arayüzleri arasında chatbot-ui, OpenAI API uyguladığı için ChatGPT arayüzüne alternatif gibi kullanılabiliyor ve kendi LLM sisteminiz için frontend olarak da kolayca uyarlanabiliyor
- Mozilla ekibi normalde chatbot-ui gibi bir projeyi kullanırdı; ancak kurum içi deneysel chatbot kodu Companion ve onun geliştiricisi yanlarında olduğu için UI olarak bunu kullandılar
- Companion sayesinde UI üzerinde hızlı yineleme ve deney yapabildiler
Hackathon sonucu ve kalan görevler
- Hackathon bittiğinde Mozilla ekibi kurum içi kullanım için bir prototip chatbot tamamlamıştı
- Tamamen Mozilla içinde barındırılıyordu
- Güvenli ve özel şekilde kullanılabiliyordu
- Davranışlarında Mozilla’nın değerlerini yansıtmaya çalışıyordu
- Hedefe ulaşma süreci, birçok zor seçim ve taviz gerektirdi
- Çıkarılan dersler üç başlıkta toplandı
- Açık kaynak chatbotlar hâlâ evrim geçiriyor; karar verilmesi gereken çok şey var, açık dokümantasyon yetersiz ve başarısız olmanın pek çok yolu bulunuyor
- Modelleri ham performans dışındaki ölçütlerle değerlendirip seçmek fazla zor; bu da güvenilir yapay zeka uygulamaları için doğru seçimi yapmayı güçleştiriyor
- Şu an için etkili prompt engineering, chatbot başarısında kritik önemde
- Mozilla, geliştiricilerin açık kaynak makine öğrenimi ekosistemine daha kolay girmesini sağlayacak yollar oluşturmaya başladı ve hackathon çalışmasını temel alarak açık kaynak topluluğuna katkı sunmayı hedefliyor
- Açık kaynak LLM’lerin yaygın biçimde erişilebilir olduğu bir dönemde daha iyi bir gelecek kurmak için, herkesin bu sürecin şekillenmesine kolektif ve aktif biçimde katılması gerekiyor
1 yorum
Hacker News görüşleri
Bir şirketle iletişime geçmeye çalışmamın nedeni, aradığım cevabı sitede bulamamam ya da web sitesinde yapamadığım bir şeyi bir yetkiliden istemem gerekmesidir. Örneğin hizmet iptali gibi.
Konuşan bir FAQ sayfası, eksik kullanıcı deneyimini kapatma girişimi gibi görünüyor; şirket aradığım bilgiyi web sitesine koymadıysa, chatbota da koymamış olma ihtimali yüksek.
Yine de chatbot doğru yetkiliye yönlendirmede yardımcı olabilir; ancak insan desteği almadan önce bir engel olarak konumlandırılması bence bir anti-pattern.
Bu yüzden birçok sitede, destek ekibiyle iletişime geçmeden önce açıklamaya dayanarak ilgili cevapları öneren bir sürü soru gösteriliyor; AWS Support da böyle yapıyor.
Botlar can sıkıcı olabilir ama müşteri destek maliyetlerini ciddi ölçüde azaltabilir. Kullanıcı deneyimi iyiyse ve bot cevaplayamadığında hızla bir temsilciye bağlanabiliyorsa ben desteklerim. Elbette botun halüsinasyon görüp uydurma bilgi söylememesi şartıyla.
Soruları yanıtlayacak destek personelim olmadığı için chatbot kullanıyorum. Bot olmasa hiçbir şey yok demek.
Buna karşılık bot loglarını izliyorum. Üründe veya web sitesinde eksik bir özellik varsa ekleyip sonraki kullanıcıların tamamen self-servis şekilde halledebilmesini sağlıyorum.
Kullanıcılar istedikleri zaman hesaplarını iptal edebilir veya iade alabilir.
Bu sorular için büyük dil modelleri neredeyse mükemmel uyuyor. Yine de botun doğrudan cevaplayamayacağı soruları daha iyi tespit edecek şekilde geliştirilmesi iyi olurdu.
Elbette chatbotun bir insanın ya da iyi yazılmış bir FAQ’ın yerini alabildiği durumlar da var. Ama bu tür kendini tatmin etme, desteğin berbat olmasının ana nedenini kaçırıyor: destek zaten baştan böyle tasarlanmış oluyor.
“Sadece telefonla iptal edilebilir” örneğine bakarsak, kayıt olma ya da upsell teknik olarak daha zor problemler olmasına rağmen çok daha kolay yapılmış durumda. Amaç, kısa vadede maliyet veya kayıp gibi görünen eylemlere sürtünme eklemek. Şirketler, sürtünme varsa birçok kişinin vazgeçeceğini ya da erteleyeceğini biliyor.
Bu, nudge ve dark pattern paradigması. Çerez banner’larında “tümünü reddet” seçeneğinin çoğunlukla gizlenmiş olmasına bakmak yeterli. Nudge, şirketlerin yasaya uyuyor gibi görünmesini sağlarken, kullanıcının zamanını ve dikkatini maliyet haline getirerek toplam etkiyi bertaraf etmelerine olanak tanıyor.
Chatbot, destek labirentine eklenen bir katmandan ibaret.
Her şirketin chatbot desteğine sahip olacağı bir gelecek hiç heyecan verici gelmiyor.
Zaten oldukça yaygın ve bunaltıcı; yine de en azından yarı yarıya soruyu anlamadıklarını bildiğiniz için bir insana kaçış yolu var.
“Bilgisayar olmaz diyor” çağı zaten geldi.
Ek olarak, sadece olumsuz ve konu dışı konuşmak istemiyorum; yazının kendisi oldukça iyi görünüyor. Yazarı alkışlarım. Mühendislik harika, sadece gerçek kullanım biçimini sevmiyorum.
Chatbot her derde deva değil ama gereksiz gürültünün çoğunu azaltabilir. Gerekli olan, belirli bir alanda ortalama kullanıcının sorduğu temel soruları yanıtlayabilen bir şey.
Önceki iş yerim oldukça büyük bir şirketti ve Confluence instance’ı devasa boyuttaydı. Orada bilgi ararken çok zaman kaybettim. Tüm o bilgilerle eğitilmiş bir chatbot olsaydı epey yararlı olurdu gibi geliyor.
Aklıma Amazon geliyor. Uzun süredir müşterisiyim ve yakın zamanda arızalı bir bilgisayar çevre birimi aldım.
Chatbota sorunu kısaca anlattım; hemen yeni bir sipariş oluşturulduğunu, elimdeki ürünü saklayabileceğimi ve ek ücret olmadan öncelikli kargoyla gönderileceğini söyledi.
Hepsi buydu; ertesi gün geldi ve düzgün çalıştı.
Elbette uzun süredir müşteri olduğumu ve zaten çok para harcamış biri olduğumu biliyorlardı muhtemelen; ama hayal edilebilecek en acısız deneyimlerden biriydi. Birden fazla web sayfasında seçeneklere tıklayarak ilerlemekten çok daha iyiydi.
“Sayın yargıç, savunmamın tamamı saçmalıktı ve var olmayan kanun maddelerine atıf yaptım ama bunun nedeni ChatGPT kullanmış olmam” — bu gerçekten yaşanmış bir avukat vakasıydı; üstelik avukatlık ruhsatı bile iptal edilmedi.
“Bildiğimiz ve sevdiğimiz web’i şimdiden değiştiriyor” ifadesine takılmak açıkça konu dışı ama ben bugünkü web’i sevmiyorum.
Web giderek az sayıda şirketin kontrolüne giriyor. Hangi içeriğin görüneceğine (Meta, Google), hangi e-postanın spam filtresine gideceğine (Microsoft, Google) onlar karar veriyor.
Bugünkü web sevgiyle anılacak bir yer olmaktan uzak. Beni takip etmeyi seçmiş insanlara bile ulaşmak için sürekli mücadele etmem gerekiyor.
Sonuçta iletişimimin çoğu gerçek dünyada ya da özel sohbetlerde gerçekleşiyor. Ek olarak, iş amaçlı Messenger’ın ne kadar berbat ve istikrarsız olduğunu da söylemek isterim.
Günümüz web’inde bir şeylerin olması gerekiyor. Ne olduğunu, nasıl olacağını bilmiyorum ama değişim kesinlikle memnuniyet verici olur.
İnsanların takip edebileceği diğer tüm yolları yine de sunmanız gerekir; ama RSS feed’i öne çıkarırsanız insanlar kullanmaya başlayabilir.
Teknik olarak denemek isterseniz bir ActivityPub köprüsü kurup sosyal medyadan da takip edilebilir hale getirebilirsiniz. Wordpress kullanıyorsanız https://wordpress.org/plugins/activitypub/ var.
Üst düzey yorumların çoğu sohbet botlarına olumsuz bakıyor gibi göründüğü için söyleyeyim: İş yerimde gerçekten harika bir sohbet botu vardı
Benim için Confluence’ta arama yapmaktan çok daha iyiydi; kalan izin günü sayısı veya çalışma saatlerimin ne kadar ileride/geride olduğu gibi dinamik verilerle ilgili soruları da yanıtlayabiliyordu
Hatırladığım kadarıyla arka planda teknolojiyi akıllıca kullanıyordu; doğal dille sorsan da çoğunu anlıyordu
Confluence’ın araması tam bir şaka; hem de kötü bir şaka
Müşterilerin sohbet botu kullanmasının nedeni web sitesinin UI’ının kafa karıştırıcı olmasıdır. Bilgi almak isterler ama yolunu bulamazlar
Eskiden Google’da “hizmet adı + telefon numarası” veya “hizmet adı + abonelik iptali” diye arardık
On vakadan dokuzunda web sitesi telefon numarasını kolayca vermek ya da abonelik iptalini kolaylaştırmak istemez. En başta müşterinin yapmasını istemediğiniz bir eylemi sakladıysanız, sohbet botu tam olarak ne için var?
Sohbet botu furyası sırasında çalıştım; müşteriye gerçekten yardım etme niyeti yoksa yapabileceğimiz pek bir şey olmadığını birçok müşteriye söylemek zorunda kaldık
En azından insanlarla muhatap olan şirketlerde sohbet botunun asıl hedefi, web ve mobil uygulama UI’ını ilk temas noktası olmaktan çıkarmaktır
Kullanıcı, tek bir kimlikle SMS ya da benzeri bir sohbet kanalı veya telefon görüşmesi üzerinden şirketle konuşabilmelidir
Web ve mobil uygulamalar, temel iletişim yöntemini destekleyen ikinci, üçüncü dereceden yardımcı araçlardan ibarettir
Şirketlerin bunu daha önce yapamamasının nedeni dil anlama doğruluğunun yeterli olmamasıydı. Büyük dil modelleri bu sınırı çözdü
Botun pratikte müşteri temsilcisi etkileşimlerini biraz azaltması bonus. Daha iyi büyük dil modelleri sayesinde temsilciye aktarmayı önleme oranı da yavaş yavaş artıyor
Sağ altta duran sinir bozucu sohbet botu widget’ı, tek bir telefon numarası sunulup onun üzerinden iletişim pürüzsüz hâle gelene kadar geçici bir çözüm
Son olarak başlık yanıltıcı. Açık kaynaklı bir sohbet botu yapmak değil; topluluk ve yapay zekanın daha hızlı ilerlemesi için kapalı/ticari araçlar yerine yalnızca açık kaynak kütüphaneler kullanarak sohbet botu yapmaktan söz ediyor
“Mozilla’nın mevcut Google Cloud Platform (GCP) hesabı içinde kendi sanal sunucumuzu kurduk. Böylece fiilen MLOps’u kendimiz yapmaya karar vermiş olduk. Ancak sistemin özel olduğundan ve tamamen bizim kontrolümüzde bulunduğundan emin olarak ilerleyebildik” denmiş; Google altyapısı içinde sunucu kurmak nasıl özel ve Mozilla’nın tam kontrolü altında oluyor?
Bare metal üzerinde kendi kendine barındırma yöntemini anlatmak sohbet botu kurma yazısının kapsamını aşar; Google Cloud’daki bir VPS’nin güvenli değilmiş gibi davranmak da biraz zorlama
ISO 27001, bilgi güvenliği yönetim sistemleri için uluslararası standarttır; GCP’nin uyumluluğu bilgi güvenliğine bağlılığını gösterir
ISO 27017 bulut güvenliğine özeldir ve bulut hizmeti sağlayıcılarına özgü kontrollere odaklanır
ISO 27018, genel bulutta kişisel olarak tanımlanabilir bilgilerin korunmasıyla ilgili standarttır
SOC 2 raporları güvenlik, erişilebilirlik, işleme bütünlüğü, gizlilik ve mahremiyetle ilgili kontroller hakkında güvence sağlayabilir
Sağlık bilgileriyle çalışıyorsanız HIPAA uyumluluğu gerekir; Avrupa veya Avrupa vatandaşlarının verileriyle çalışıyorsanız GDPR uyumluluğu önemlidir
ABD kamu müşterileri için FedRAMP uyumluluğu zorunlu olabilir; kredi kartı bilgisi işliyorsanız PCI DSS uyumluluğu önemlidir
GCP içinde kullanacağınız hizmetlerin ilgili sektör ya da kullanım senaryosu için gereken sertifika kapsamına girip girmediğini doğrulamalısınız. Bu sertifikalar genelde Google Cloud web sitesinde görülebilir; resmi belgelere ihtiyacınız varsa Google satış veya destek ekipleri üzerinden de alabilirsiniz
Bu tür vektör veritabanı sohbet modelinin pratikte nasıl yapıldığını merak ediyorsanız, geçen haftaki canlı yayında Colab ortamında neredeyse sıfırdan kurup Llama 2 ile çıkarım yapma sürecini gösterdim https://www.youtube.com/live/kBB1A2ot-Bw?feature=share
Bu yapının büyük zorluğu, büyük ölçekte anlamsal benzerlik araması yapmaktır. Pinecone’un büyük vektör veritabanlarını ölçeklendirmeye yönelik veri yapıları belgeleri oldukça iyi
Mozilla’nın bu akıma katılıp kendi büyük dil modelini geliştirmesini bekliyordum. “İnterneti herkes için açık ve erişilebilir tutma” misyonu düşünüldüğünde çok mantıklı. Yine de bunun için kaynağı ya da iradesi var mı bilmiyorum
“Makine öğrenimi operasyonları, yani MLOps’un büyüyen bir alan olmasının bir nedeni var. Bu tür uygulamaları dağıtmak ve yönetmek zordur. Birçok geliştirici ve operasyon sorumlusunun henüz sahip olmadığı belirli bilgi ve beceriler gerektirir” denmiş; burada bu kadar zor ya da farklı olan ne?
Bunu, derlenmiş bir varlık olan modeli yükleyen bir web API’si çalıştırmak olarak anlıyordum. Bu açıdan bakınca çok farklı görünmüyor