Fly.io, artık GPU’lu

Yapay zeka gerçekten harika

• Fly.io, işlem gücünü kullanıcıya yakın konumlara yerleştirebilen yeni bir genel bulut hizmetidir.
• Artık GPU kullanarak edge bilişim ortamında yapay zeka iş yüklerini çalıştırabiliyor.
• Fly.io, tam yığın uygulamaları veya Fly Machines API tabanlı geliştirme platformlarını kullanıcıya yakın yerlerde çalıştırmayı sağlıyor.

Fly.io GPU ile gerçek kullanım örnekleri

• Fly.io’nun bulut omurgası üzerine kendi kodunuzu ve tercih ettiğiniz modeli dağıtabilirsiniz.
• Fly.io GPU ile Ollama’yı (metin üretimi tarafındaki dostlar) çalıştıran bir GPU uygulamasını iki adımda kolayca ayağa kaldırabilirsiniz.
• fly.toml dosyasına yapılandırma ekleyip fly apps create sandwich_ai && fly deploy komutunu çalıştırarak uygulamayı dağıtabilirsiniz.

Işık hızının bir sınırı var

• GPU’ları hızlıca devreye almak güzel, ancak Fly.io asıl gücünü edge’de çıkarım çalıştırmada gösteriyor.
• Örneğin kullanıcı mutfağındaki malzemeleri girer girmez anında sandviç tarifi alabileceği bir uygulama düşünülebilir.
• Fly.io, dünya çapındaki veri merkezlerinde GPU bulunduruyor ve GPU desteği olan tüm bölgelerde aynı programı çalıştırmanıza olanak tanıyor.

Yalnızca gerçekten gerektiğinde

• GPU’lar güçlü paralel işlem cihazlarıdır, ancak ucuz değillerdir.
• fly.toml dosyasına services bölümü ekleyerek uygulamanın nasıl ölçekleneceğini belirleyebilirsiniz.
• Böylece kullanıcılar sandviç tarifi istemediğinde GPU maliyeti ödemeyecek şekilde ayarlayabilirsiniz.

Ayrıntılar

• ABD, Avrupa ve Sidney’de birden fazla bölgede kullanılabilen GPU’lar sunuyor.
• Çeşitli GPU seçenekleri ve fiyatlar sunuluyor; varsayılan olarak tüm dağıtımlarda sekiz AMD EPYC CPU çekirdeği kullanılıyor.
• 500 GB’a kadar volume bağlanabiliyor; ayrıca rezervasyonlu instance’lar ve dedicated host’lar için indirimler de sunuluyor.

GN⁺ görüşü:

• Fly.io, yapay zeka iş yüklerini edge bilişim ortamında çalıştırabilen yenilikçi bir bulut hizmeti sunarak kullanıcı deneyimini iyileştirmeye odaklanıyor.
• GPU tabanlı hizmet, hem hızlı çıkarım hızını hem de maliyet verimliliğini gözeten bir çözüm sunuyor; özellikle gerçek zamanlı olarak yüksek işlem gücü gerektiren uygulamalar için uygun.
• Bu hizmet, yapay zeka teknolojilerine erişimi artırabileceği ve geliştiricilerin yeni, yenilikçi uygulamalar oluşturmasına yardımcı olabileceği için oldukça ilgi çekici ve faydalı bir gelişme.

[GN⁺]

Hacker News yorumları

• Bir kullanıcı, Fly’ın temel işlevlerinden hayal kırıklığı duyduğunu ifade ediyor. Destek ekibinin iç platform sorunlarını tespit edememesini, hata mesajlarının belirsiz ya da hiç olmamasını eleştiriyor. Bu kullanıcıya göre Fly, Kubernetes’ten korkan ya da onu bilmeyen kişiler için cazip olabilir; ancak kendisi Kubernetes’i özlediğini söylüyor.
• Fly.io’dan bir geliştirici ilişkileri yetkilisi, GPU’ların artık genel kullanıma açıldığını ve kullanıcıların GPU’ları deneyebileceğini söylüyor. Ayrıca GPU’larla ilgili bir blog yazısı bağlantısı paylaşıyor ve sorusu olanların sormasını teşvik ediyor.
• Başka bir kullanıcı, Fly’ın VM’leri çalıştırmak için Firecracker kullandığını belirtiyor ve Firecracker’ın varsayılan olarak GPU desteği sunmadığına dikkat çekiyor. Fly’ın GPU desteğini nasıl hayata geçirdiğini merak ediyor ve bu konuda teknik bir yazı beklediğini söylüyor.
• Bir kullanıcı, Fly’ın sıfıra ölçekleme özelliğini övüyor ve neredeyse hiç kullanıcısı olmayan deneysel bir site işletirken bunun sunucu maliyetlerini düşürebileceğini belirtiyor. İstek başına faturalandırma süresine dair bir örnek görmek istiyor.
• Fly için S3 alternatifi bir hizmetin olmamasından dolayı hayal kırıklığı yaşayan bir kullanıcı var. GNU Affero projesini alternatif olarak öneriyor, ancak bunun iş dünyası için uygun olmadığını düşünüyor. Fly’ın sadeliğini, fiyat/performansını ve yerleşik VPN’ini seviyor; ancak kullanıcı varlıklarını depolamak için Fly’dan ayrılmak zorunda kalmasının, bir sonraki projede Fly kullanmamasına neden olan belirleyici unsur olduğunu söylüyor.
• Bir kullanıcı, Fly’ın hedef pazarının ne olduğunu merak ediyor. Yapay zeka modeli çalıştırması gereken ama bir hosting hizmeti kullanmayan küçük ya da doğrulanmamış uygulamaların mı hedeflendiğini, yoksa başka bir amaç mı olduğunu sorguluyor.
• Bir kullanıcı, Fly’ın performansına dair deneyim soruyor ve ilk izleniminin pahalı olduğu yönünde olduğunu belirtiyor. Örnek olarak Hetzner’in CPU makineleriyle karşılaştırıyor.
• Bir kullanıcı, Beam.Cloud hizmeti ile Fly’ı karşılaştırma deneyimi olan olup olmadığını soruyor.
• Bir kullanıcı, ölçek sıfıra indirildiğinde bunun ne kadar hızlı gerçekleştiğini soruyor; eğer hızlıysa bunun çok ilginç olacağını belirtiyor.
• Bir kullanıcı, Fly’ın replicate’in kullandığı cog dosyalarını çalıştırıp çalıştıramadığını ve aynı tahmin API’siyle önceden paketlenmiş modelleri çalıştırıp çalıştıramadığını merak ediyor. replicate yüzünden tereddüt edebileceğini, ancak bunun benimsenmesinin daha sorunsuz bir deneyim sağlayacağını düşündüğünü söylüyor.