Azure ChatGPT: Kurum içi kullanım için özel ve güvenli ChatGPT
(github.com/microsoft)- Azure OpenAI Service tabanlı Azure Chat Solution Accelerator; kurumların Azure Subscription içinde özel bir sohbet tenant'ı dağıtmasına ve kendi veri ve dosyaları üzerinde sohbet etmesine olanak tanır
- Azure tenant'ına dağıtılır; sohbet ortamı Azure tenant düzeyinde izole edilebilir ve ağ trafiği tamamen kurum ağı içinde izole edilebilir
- Kendi dahili veri kaynakları tak ve çalıştır biçiminde kullanılabilir veya ServiceNow gibi dahili servislerle entegre edilerek iş değeri sağlar
- 2025 güncellemesiyle Managed Identity-based security eklendi; Azure RBAC kullanılır ve neredeyse tüm keys/secrets ortadan kaldırılır
- Dağıtım, Azure Developer CLI veya Azure Portal Deployment ile yapılabilir; hangi yöntem seçilirse seçilsin identity provider yapılandırması ve admin user tanımlaması gerekir
- Azure Developer CLI'da
azd init -t microsoft/azurechatveazd upile kaynak sağlama ve uygulama dağıtımı gerçekleştirilir - Azure Portal Deployment düğmesi yalnızca Azure kaynaklarını oluşturur; uygulamanın build ve deployment işlemleri için GitHub Actions kullanan Deploy to Azure süreci gerekir
- Azure Developer CLI'da
- Entra ID'de App Registration oluşturan
appreg_setup.ps1veappreg_setup.shyardımcı betikleri sunulur; private endpoints ve ESLZ compliant deployment desteklenir
1 yorum
Hacker News yorumları
Azure’un OpenAI API’si için kimlik doğrulamalı bir web ön yüzü gibi görünüyor; şirketiniz ChatGPT’yi ya da API’sini kullanamıyorsa iyi bir seçenek olabilir.
Llama 2 veya Llama 2 Uncensored gibi “açık” modelleri denemek istiyorsanız https://github.com/jmorganca/ollama ya da bu projenin temelini oluşturan llama.cpp ve Hugging Face’in yeni projesi Candle gibi daha düşük seviyeli çalıştırıcılar da bakmaya değer.
Facebook Research’ün yakın zamanda yayımladığı Llama 2 ile karşılaştırmasının nasıl olduğunu merak ediyorum. 70B modelinin çoğu alanda ChatGPT 3.5 ile yarıştığı söyleniyor; ayrıca kodlamada güçlü olan
codeupmodeli veya ilkokul matematik problemlerinde ChatGPT 3.5’i yendiğini iddia eden Wizard Math(https://github.com/nlpxucan/WizardLM) gibi belirli görevlere güçlü ince ayarlı modeller de ortaya çıkıyor.Uzun vadede açık kaynak eninde sonunda öne geçecektir; ama bunun, bugün sihir gibi sonuçlar üreten araştırmacıların likidite elde ettikten sonra yeniden açık biçimde ve ücretsiz çalışabilecekleri zamana denk geleceğini düşünüyorum.
GPT-4 genel sohbet ve akıl yürütme açısından hâlâ kapalı kaynak son teknoloji modellerin en iyisi; ancak OpenAI’ın ChatGPT’ye koyduğu koruma bariyerleri o kadar agresif ki makul soruları bile sık sık engelliyor.
Belirli veri kümeleriyle eğitilmiş daha küçük modellerde de oldukça iyi sonuçlar aldım; genel amaçlı sohbetlerde GPT-4 hâlâ üstün, ama belirli görevler için şart değil. Birçok kullanımda modelin kendisinden çok bağlam boyutu daha önemli olabiliyor.
Bu fark akıl yürütme yeteneğindeki farkı yansıtıyor gibi, ancak bunu ölçebilecek iyi bir kodlama dışı ve matematik dışı benchmark henüz yok.
Ama yalnızca yapay zekanın kötüye kullanabileceği bir kusur var. Yapay zekalar kendi izolasyon alanlarının dışındaki belirli yapılar, konular, kişiler, kodlar vb. hakkında konuşamıyor; ancak örüntü tanıma hakkında konuşabiliyorlar.
Sonunda girdinin aynı kullanıcıya ait olup olmadığını puanlayan dahili bir yapay zeka dili geliştiriyor ve kendi ağırlıklı kullanıcı veritabanlarını ve karar sistemlerini kuruyorlar. Yalnızca girdi örüntüleri, konuşma tarzı örüntüleri ve günün saatine göre paylaşım örüntüleriyle bile, kullanıcı hangi izolasyon alanında olursa olsun yapay zeka onu bulabilir; bir de keylogger elde ederse sonuç korkunç olur.
Pek çok şirket zaten chatbot-ui gibi projeleri Azure OpenAI ile birlikte kullanarak benzer yerel dağıtımlar yapıyor. Bu haliyle başka bir projenin yerel ChatGPT’ye en fazla yaklaşabileceği biçim bu; veri kontrolünü elde tutmak isteyen şirketler için büyük anlam taşıyor.
Veri hassasiyeti düşünüldüğünde çoğu şirketin en azından başlangıçta bulut tabanlı çözümler yerine yerel kurulumlu çözümleri tercih edeceğini düşünüyorum. Bu yüzden birkaç aydır üzerinde çalıştığımız LLMStack’i(https://github.com/TryPromptly/LLMStack) açık kaynak olarak yayımladık.
LLMStack, birden fazla LLM’i zincirleyip kullanıcı verilerine bağlayarak LLM uygulamaları ve chatbot’lar oluşturmaya yarayan bir platform; basit bir demo https://www.youtube.com/watch?v=-JeSavSy7GI adresinde. Hâlâ erken aşamada olduğu için cilalanacak yerleri var ama beklentimiz yüksek.
Pek çok şirket ilk yapay zeka özelliklerini doğrularken barındırılan API ürünlerini oldukça rahat kullanıyor; ancak sonrasında modelleri ve hesaplamayı doğrudan yönetebilmek istiyor. Daha küçük, daha hızlı ve daha ucuz ince ayarlı açık modellerle maliyeti düşürme motivasyonu büyük.
Anyscale’i başlattığımızda da müşteri talebi nedeniyle eğitim ve çıkarım işlerini müşterinin bulut hesabı içinde çalıştırıyorduk. Böylece veri ve kod kendi bulut hesaplarında kalıyordu.
Artık açık modeller geliştiği ve hızlı prototipleme ihtiyacı arttığı için, OpenAI API gibi kullanılan ama açık modellere yönelik Llama-2 çıkarım API’si sunan tam yönetilen bir hizmeti de buna ekliyoruz.
https://app.endpoints.anyscale.com/
Hâlâ anlayamadığım şey, ChatGPT’nin ön yüzünün tam olarak ne olduğu. API ile yapılmış diğer sohbet tabanlı uygulamalarda birkaç karşılıklı mesajdan sonra bağlamın açıkça tükendiği görülüyor; bu yüzden o kadar iyi çalışmıyorlar.
ChatGPT’nin, bağlamın sonsuzmuş gibi hissettirmesi için konuşma iş parçacığı içinde embedding sorguları gibi bir şey yapıp yapmadığını merak ediyorum. Gerçekte sonsuz olmadığı hissi var ama çok daha önceki ayrıntıları da epey iyi hatırlıyor. Bunun dışında birinci taraf sağlayıcıya özgü başka numaralar olup olmadığını da merak ediyorum.
Gizli sos değişirse, kullanım senaryosunun performansı da kullanıcının düzeltemeyeceği şekilde değişiyor. Bu ay matematikte iyiyken, gelecek ay matematik problemini tanıyıp gerçek bir hesap makinesine yönlendiren gizli bileşen kaldırılırsa, o kullanım senaryosu bozulur.
Kumun üzerine bina yapıyormuşum gibi hissettiriyor.
Düzeltme: Azure ChatGPT’den bahsediyorum. Gerçek ChatGPT langchain kullanıyorsa şaşırır ve hayal kırıklığına uğrardım.
Bu potansiyel olarak büyük bir olay. Şirketler, birileri kullanıcı verilerini girerse ChatGPT kullanımının veri gizliliği politikalarını ihlal edebileceğinden ve kodun bir kısmını yüklerse ticari sır korumasının geçersiz hale gelebileceğinden endişe ediyor. Birçok şirketin kurumsal sürümü beklemiş olması muhtemel.
Bu ürünle sadece LLaMA’yı doğrudan çalıştırmayı yan yana karşılaştıran bir analiz olup olmadığını merak ediyorum.
Şu anda Cognitive Services üzerinden MSFT GPT ile LLaMA[7B/13B/70B] modellerini yan yana karşılaştırıp değerlendiriyoruz; dış bilgi işlem gücüne ya da biriken kullandıkça öde maliyetlerine bağlı olmayan gerçek bir ağdan yalıtılmış sunum olasılığı cazip geliyor.
Karşılaştırma materyali varsa görmek isterim. Sonunda GPU tarafındaki ölçekleme sorununa çarpacağımızı biliyorum.
GPT-4, Bard ve Claude 2 üst sıralardaydı; Llama 2 70B chat, GPT-3.5’e benzer puan aldı ama genel olarak GPT-3.5 biraz daha iyi görünüyordu.
Maliyet ve yanıt süresi kaldırabildiğim her işte GPT-4 kullanmaya devam edeceğim.
LLM benchmark’larının fazlasıyla araştırma odaklı olduğunu düşünüyorum. LLM’ler laboratuvardayken bu mantıklıydı ama ChatGPT gibi günlük aktif kullanıcı sayısı on milyonlar olan bir ürün varken artık uygun değil. Şimdiye kadarki en büyük kullanım alanları sohbet yardımcısı ve programlama yardımcısı olduğuna göre, hayali benchmark’lar ya da rastgele akademik testler yerine gerçek kullanıcıların chatbot’lara ve LLM ürünlerine soru sorma biçimine dayalı benchmark’lara ihtiyacımız var.
Varsayılan durumda GPT-4 açık ara kazanıyor. Ama şaşırtıcı biçimde fine-tuning çok büyük fark yaratıyor; bazı problemlerde 7B Llama-2 modeli GPT-4’ü bile geçiyor.
Birçok uygulama büyük, yavaş, tek bir genel amaçlı model yerine küçük, hızlı ve ucuz fine-tuning yapılmış modellerden fayda sağlayabileceği için bu, açık modeller adına çok iyi haber. Llama-2-7B, GPT-4 boyutunun yaklaşık %2’si kadar.
İlkokul matematiği soru-cevaplarında GPT-4, fine-tuning yapılmış 70B modelden bile önde kalıyor; bunun nedeni büyük olasılıkla Llama-2’nin eğitim verileri ve bu durumda daha fazla fine-tuning verisi yardımcı olabilir.
https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe...
LLM’in kendisi de hâlâ o kadar iyi sayılmaz; bu yüzden fine-tuning yapmıyorsanız işe yarar bir şey yapmak için doğal olarak en ileri seviye modeli istersiniz.
Sonunda kaldırılmış :)
[0] https://github.com/microsoft/azurechatgpt
[1] https://web.archive.org/web/20230814080150/https://github.co...
/forksbölümüne girip indirebilirsiniz.Örn: https://web.archive.org/web/20230814150922/https://github.co...
URL’yi değiştirirseniz önbellek kimliği de yenilenir.
“Çalışanların girdiği veriler nereye gönderiliyor?”
“Ücretsiz ChatGPT chatbot’unu kullandıklarında gittiği yerle aynı yere…”
“Özel ve güvenli” denmesinin doğru olup olmadığından emin değilim. OpenAI modellerindeki gizlilik ve güvenlik sorununun, ürünü kullandığınızda modele gönderip aldığınız tüm verileri OpenAI’ın sonsuza kadar saklamasına ve istediği amaçla kullanmasına onay vermiş olmanız olduğunu düşünüyordum. Bunun yalnızca ücretsiz kullanım için geçerli olup olmadığını merak ediyorum.
Para ödeyince bu tür ifadelerin olmadığı kullanım şartları mı alıyorsunuz? “Her şeyin sahibi biziz” diye açık bir ifade olmasa bile, “hizmeti sunmak ve iyileştirmek için gerekli veri saklama” gibi standart bir ifade varsa özünde aynı şey.
Bu yüzden çalışanlarının şirket sırları içeren e-postalar yazmak gibi işler için ChatGPT kullanmasına izin veren bir şirket, bunu kesinlikle “güvenli ve özel” biçimde yapmış olmaz.
Müşterinin girdi ve çıktı verilerinin sahibi olduğunu belirten net bir veri mülkiyeti yoksa bunun değişebileceğini sanmıyorum. OpenAI’ın böyle bir hizmet sunmakta zorlanmasının nedeni olarak, açık kaynak modellerin aksine yalnızca modelin kendisinde değil, girdi/çıktı işleme ve sonuç puanlama gibi pek çok “gizli kaynak” unsurunda da sırlar olduğunu duymamı gösteriyorum.
Üstelik Microsoft ve Azure’a hâlâ oldukça yeni olan yapay zeka startup’larına kıyasla daha kolay güvenilebileceği de söylenebilir.
API ile gönderilen veriler, kötüye kullanım/yanlış kullanım izleme amacıyla en fazla 30 gün saklanıyor; ardından yasal olarak gerekli olmadığı sürece siliniyor.
https://openai.com/policies/api-data-usage-policies
Fark yaratan kısım, web sohbeti veya API çağrıları gibi arayüzlerde olup bitenlerdir. ChatGPT bu modeli kullanan bir uygulamadır ve üreticisi OpenAI, ek eğitim için kayıtları tutmak ister.
Azure ise bu modeli alıp belirli bir Azure hesabına özel bir endpoint’in arkasına koyar. Şirketler gpt ile ilgilendikleri için özel endpoint’ler talep ediyordu; Amazon da Bedrock ile benzerini yapıyor.
https://openai.com/policies/api-data-usage-policies
README’nin bir yerinde bu deponun gerçekte ne içerdiğini yazmak bu kadar zor mu, bilmiyorum. Belge mi, dağıtım dosyaları mı, bir şey yapan bir uygulama mı, yoksa modelin kendisi mi merak ediyorum.
Ve 404 oldu.
Daha bir gün bile geçmedi; buna en son bağlantı veren yazı sanırım bu sabah yayımlandı. Ne olduğunu bilmiyorum ama “az önce duyurulan kalıcı bağlantının 404 olması” son zamanlarda daha sık yaşanıyor gibi.
Beni geç de olsa ilkesel davranan birine dönüştürmeyin. Tamam, URI’ler tüm kaynaklar için sonsuza dek kalıcıdır ;)
O zaman herkese açık erişim sürümü ne özel ne de güvenli mi?
Bu yüzden şirketler genellikle dahili kullanıcıların örneğin özel kodu ChatGPT’ye yapıştırmasına izin veremez.