Ollama Turbo
(ollama.com)- Ollama Turbo, büyük ölçekli açık modelleri yüksek performanslı veri merkezi donanımı üzerinde hızlıca çalıştırmak için yeni bir çözüm sunuyor (aylık $20)
- Ollama'nın uygulaması, CLI'si, API'si ile JavaScript/Python kütüphanelerini aynı şekilde kullanırken büyük modelleri hızlı ve verimli bir biçimde çalıştırmanın bir yolunu sağlar
- Şu anda önizleme aşamasında olup, OpenAI'nın açık modelleri olan gpt-oss-20b ve gpt-oss-120b'yi destekliyor
- Turbo modunda sorgu geçmişi sunucuda saklanmaz veya günlük kaydı olarak tutulmaz
- Donanım yalnızca ABD içindeki veri merkezlerinde çalıştırılır; saatlik ve günlük kullanım limitleri uygulanır ve ileride kullanıma dayalı ücretlendirme sistemi de devreye alınacaktır
1 yorum
Hacker News Görüşleri
Çok iyi bir lansman olduğunu düşünüyorum. Şu anda OSS modellerini kurumsal ortamda kullanmanın en zor yanı, hız, maliyet, güvenilirlik, özellik eşitliği (ör. bağlam önbellekleme), performans (tam olarak hangi quant seviyesinde olduğu gibi), ana bilgisayar bölgesi/veri gizliliği garantisi, LTS gibi pek çok unsura dayanıyor. OSS modelini büyük şirketlerin üçlüsünden biri yerine başka bir yerde kullanmak istediğinde, bu eksenlerin tamamında sağlayıcıyı doğrudan değerlendirmen gerekir; bu süreç epey uzmanlık ister. Bazen buna göre özel değerlendirme araçları da oluşturmak gerekir. Buna karşılık Anthropic, OpenAI ve Google kullanıcıya doğrudan “şimdilik çalışır” bir deneyim verip bunun karşılığını ödütüyoruz. Fiyat biraz yüksek olsa da, ‘her şeyi onların yerine hallettiğimiz’ karşılığını alıyor. OSS sağlayıcıları standartlaştırma yapmadığı sürece, açık kaynak modeller teoride kapalı modellerle eşit performans sunsa da gerçek ölçekli dağıtımda rekabet edebilmeleri zor bir orta aşamada kalacak gibi görünüyor.
Doğru, ama önde gelen büyük sağlayıcıları kullanmak da prompt trafiğinin tamamını pratikte herhangi bir güçlü yasal koruma olmadan devretmek anlamına gelebilir. Bu konudaki detaylı bilgiyi ilgili makalede bulabilirsiniz.
Gpt-oss modeli yalnızca 4.5 bit quant formatında sunuluyor. Bu saf orijinal model; fp16 modeli bulunmuyor.
Bazı kişiler Ollama’nın bunu yapmasından rahatsız olsa da, pratikte yerelde model geliştirme ve test etmenin en kolay yolunun hala Ollama olduğunu düşünüyorum. Evet, llama.cpp gerçek motor; Ollama ise bir tür wrapper. Gerçek prodüksiyon servislerinde Ollama’yı kullanmak istemezdim. Ama teknik bilgisi daha düşük olan kişiler LLM özelliği olan bir sistemi hızlıca bizzat geliştirip çalıştırmak istiyorsa, GUI ve .dmg ile doğrudan kurabilmek iyi bir tarafıdır.
Geri bildiriminiz için teşekkür ederim. Son multimodal motor güncellemesinden sonra Ollama artık sadece bir llama.cpp wrapper’ı olmaktan çıktı. Yine de GGML kütüphanesini kullanıyor ve donanım ortaklarımızla birlikte performans optimizasyonu yapıyoruz. Ollama oyuncak gibi görünebilir ama sadelikten ödün vermemek için çok çaba sarf ediyoruz. Sadelik sık sık gözden kaçar ama istediğimiz dünyayı kurmak istiyoruz.
Ollama’yı üretim ortamında kullanmak istemezsiniz diye bir görüş vardı. Biz gerçekten vLLM ile Ollama’nın başlatma süresini ve saniyedeki token işleme hızını benchmark ettik ve Ollama en iyi skoru aldı. Umarım yakında bu sonuçları paylaşabiliriz.
Eğer düzgün bir veri merkezi GPU’su kullanılamıyorsa ve sadece masaüstü ya da istemci tarafında dağıtım yapılabiliyorsa, Ollama en iyi seçenek olur. Bu durum yaygın değil ama bazı organizasyonlarda sadece 4090 grafik kartı olan masaüstülerle yetinmek gerçek bir durum.
Ollama’nın ‘yerel’in eş anlamlısı olduğunu düşünerek bundan sonra ne olacağını merak ediyorum.
Büyük şirketleri güvenilmez bulan, yüksek sesli küçük bir kullanıcı kitlesi var; ancak bu kişiler küçük firmalardan benzer bir servisi ücret ödeyerek bile kullanmayı normal karşılıyor. Bu tür kullanıcıların gerçekten Ollama gibi bir servise ödeme yapıp yapmayacağı merak konusu.
Bulut oyun servisine benziyor gibi. Genel olarak yerel kullanımdan memnunlar ama bazen donanım maliyetini başkasına devretmek daha verimli olabiliyor. Sonuçta mesele “her şey ya da hiçbir şey” değildir, bir seçim meselesidir.
“Privacy first” konusunda daha somut detaylar görmek istiyorum. Yalnızca “veri saklamıyoruz” diye vurgulanması yeterli değil. Örneğin Draw Things’daki ‘Cloud Compute’ özelliğinde de tüm veri işleme sadece istek bazında RAM’de yapılıyor ve depolanmıyor. Ama bence bu da tatmin edici değil. Yakında ‘privacy pass’ desteği eklenecek deniyor, ama onun da sınırları var. Donanımsal düzeyde doğrulanabilir bir transparency log olsaydı ne iyi olurdu, nereden başlanacağını bilmiyorum.
Ollama ile çalışıyor olmak, gizlilikte bir üstünlüğümüz olduğu anlamına gelmiyor. Ollama da veriyi satabilir ya da hukuken gerekirse veri teslim etmek zorunda kalabilir.
Gizlilik politikası görünmüyor ve masaüstü uygulaması açık kaynaklı olmadığı için güven vermiyor. [Nitekim gerçek transparency log gibi gizlilik garantisini sağlayan bir LLM çağrı çözümü geliştiriyoruz.]
Eğer modeli İsviçre’de veya GDPR’e uygun bir ülkede çalıştırabilme imkânı sağlanırsa, gecikme biraz artsa da ek ücret ödemeye razıyım. Veri iletiminin de SSL gibi güvenlik protokolleriyle yapılmasını beklerim.
Aynı 20 dolara Ollama’da “daha zayıf” bir model kullanmaktansa OpenAI’de SOTA modeli kullanmak daha mantıklı olmaz mı diye düşünüyorum.
Ollama Turbo’nun asıl avantajı şu: doğru donanıma sahipsen, bulutta doğrudan test edip yerelde çalıştırabileceğin farklı modelleri aynı anda görebilirsin. Direkt yüksek bütçeli donanımı (mac studio, dgx vb.) alıp kurmak yerine, bu açık modelleri hızlıca test edip uygulanabilirliğini görebilir, karar verebilirsin. Veri gizliliği kritik olan finans, sağlık, hukuk sektörlerinde uzman geliştiriciler çoğunlukla on-prem ve yerel ortam ister. Bu serviste hassas olmayan verilerle deneyler yapıp geliştirirken, gerçek operasyon devresinde kendi donanımına geçmenin avantajını kullanabilirsin.
Filtre koymadan özgürce çalıştırabilmek bir avantaj. OpenAI çok fazla filtreleme yapıyor ve hangi kuralı ihlal ettiğinizi de söylemiyor. Prompt’u değiştirerek telif, marka gibi ihlal durumlarını kendin doğrulamak zorundasın ve son dönemde sadece soru sorsan bile doğru yanıt alamıyorsun. LLM için ‘koruma’ içermeyen bir sürümü istiyoruz.
Büyük modellerin fiyatlarının ileride de 20 dolar seviyesinde kalacağına emin değilim. Yine de piyasadaki rekabetin rekabetçi kalmasını her zaman isterim.
En önemli sebep verinin gizliliğiymiş gibi görünüyor ve fiyatlandırmada da daha yüksek kullanım kotası sunulacağını bekleyebiliriz. Bana kalırsa verinin gizliliği ana mesele.
Önceden tahmin edilen bir durumdu. Yerel çıkarım topluluğu Ollama etrafında toplansa da, Ollama’nın uzun vadeli stratejisi ve önceliklerinin orada olduğunu açıkça göremiyorum. Hızla alternatif bir yola geçmek gerektiğini düşünüyorum.
Ollama’nın temel kütüphanesi llama.cpp zaten sunucu işlevini barındırıyor ve open-webui ile tamamen uyumlu. Birkaç ay önce ollama yerine llama-server’a geçtim ve aynı UI’yı kullandığım için hiç bir eksiklik hissetmeden devam ediyorum.
Ollama açık; sadece ek GPU isteyen kullanıcıdan ücret alır. GPU maliyeti gerçekte olduğundan ücretlenmesi makul ve bu gelirle açık kaynak projesinin çekirdeğini büyütmek de gereklidir. Makul bir düzeyde olmalı ve dürüst davranılırsa güzel çıktılar çıkarılabilir.
Bu hedef için github.com/containers/ramalama projesi de var.
Huggingface de bulut ürünü sunuyor ama bu, model ağırlıklarını indirip yerelde çalıştırılamayacağı anlamına gelmiyor.
Ücretsiz hizmetin sürdürülebilir olmayan bir şekilde talep edilmesi doğal olarak sınır taşır. Kendi zamanını ayırıp açık kaynak alternatifini kurabilecek birinin bunu yapması mümkün. Aksi halde bu gerçekliğin bir parçasını kabul etmek gerekir.
Ollama’nın bu kararı neden verdiği konusunda net değilim. Geliri düşürmek istemiyorsa bir baskıyla karşı karşıyadır gibi görünüyor. Yerel kullanım için mükemmel çalışan bir çözüm iken daha fazla fikir geliştirmeyi mümkün kılabilirdi; bir diğer bulut servisi yapılmış olması hayal kırıklığı. Ollama’yı seven biri olarak her zaman aynı kadar iyi kalmasını dilerim.
Bu haberde ilgimi çeken birçok nokta var. Önde gelen bir yerel OSS model motoru olarak, bu sefer baştan sona yalnızca OSS sunulması bugünkü duyuru zamanlamasıyla ve OSS dalgasına binme stratejisine benziyor. Abonelik modeli de dikkat çekici; diğer oyuncular da bunu benimsiyor ama API tabanlı servislerde nadir bir model. Uzun vadede LLM’de bir fiyat savaşına yol açacağını öngörmekteyim; API hizmetlerinde de aylık aboneliğin gelmesi bunun da bir işareti olabilir. Ollama’nın hem yerel motoru hem de bu bulut hizmetini sürdürebilecek kaynağı olup olmayacağını merak ediyorum.
Yakında “kullanıma göre ücretlendirme” geleceği söylendi; bu tarz bir servis için çok uygun bir model gibi görünüyor. Ben de Anthropic’a 20 dolar ödedim ama kişisel olarak bu servise aynı miktarı harcayacak kadar kullanımım olmayacak gibi geliyor. Yine de farklı modelleri doğrudan çağırabilmek ve karşılaştırabilmek çok kullanışlı. Ekip için iyi sonuçlar bekliyorum.
Açık kaynak LLM’de sabit ücretli bir servis oldukça farklı bir yaklaşım. Ben pek kullanmam; ama kullanım bazlı ücretleme uygulanırsa deepinfra.com, novita.ai, openrouter.ai gibi mevcut devlerle doğrudan rekabete girmek gerekecek. Ollama’nın bilinirliği daha yüksek olsa da, mevcut servislerin zaten fiyat açısından rekabetçi olduğu bir gerçek.
Kullanıma göre faturalandırma yaklaşımının yakında yayınlanmasına katılıyorum. Ancak zaten çeşitli OpenAI temelli modeller sunan sağlayıcılar çok fazla; Ollama’nın ayrıştırıcısı ne olacak merak ediyorum. Kendi API anahtarınızla kullanabileceğiniz iyi arayüzler zaten zaten çok.
API erişimi için aylık 20 dolarlık abonelik gerçekten taze.
API kullanımında abonelik modeli gerçekten ilgi çekici bir deneme. Gerçek değerinin, kullanım limiti kamuya açıklanmadığı için şekilleneceği düşüncesindeyim.