Google'ın yeni nesil modeli: Gemini 1.5

• Geçen hafta Google, en yetenekli modeli olan Gemini 1.0 Ultra'yı kullanıma sunarak Google ürünlerini daha faydalı hale getirme yolunda önemli bir ilerleme kaydetti
• Geliştiriciler ve bulut müşterileri, Gemini API aracılığıyla AI Studio ve Vertex AI üzerinde 1.0 Ultra ile geliştirmeye başlayabiliyor
• Güvenliği merkeze alarak model sınırlarını ileriye taşıyan ekipler hızlı ilerleme kaydediyor ve yeni nesil Gemini 1.5'i tanıtmaya hazır hale geldi
• Gemini 1.5, birçok açıdan belirgin iyileştirmeler sunuyor; 1.5 Pro ise daha az hesaplama kullanırken 1.0 Ultra'ya benzer bir kalite düzeyine ulaşıyor
• Yeni nesil, modaliteler arasında uzun bağlamı anlamada bir sıçrama sunuyor ve modelin işleyebileceği bilgi miktarını büyük ölçüde artırarak 1 milyon token'a kadar tutarlı biçimde çalışıyor

Gemini 1.5'e giriş

• Yapay zeka alanındaki yeni gelişmeler, gelecekte milyarlarca insan için yapay zekayı daha faydalı hale getirme potansiyeli taşıyor
• Gemini 1.0'ı tanıttığından bu yana Google, test etmeyi, rafine etmeyi ve yetenekleri geliştirmeyi sürdürdü
• Gemini 1.5, belirgin biçimde iyileştirilmiş performans sunuyor ve araştırma ile mühendislikteki yeniliklere dayalı olarak yaklaşımda bir değişimi temsil ediyor
• Eğitim ve sunumu daha verimli hale getirmek için yeni bir Mixture-of-Experts (MoE) mimarisi kullanılıyor
• Gemini 1.5 Pro, orta boyutlu çok modlu bir modeldir; geniş bir görev yelpazesinde optimize edilmiştir ve şimdiye kadarki en büyük model olan 1.0 Ultra'ya benzer düzeyde performans gösterir
• Gemini 1.5 Pro, standart olarak 128.000 token'lık bir bağlam penceresi sunar; ancak geliştiriciler ve kurumsal müşteriler, AI Studio ve Vertex AI üzerinden 1 milyon token'a kadar bağlam penceresini deneyebilir

Verimli mimari

• Gemini 1.5, Transformer ve MoE mimarileri üzerine yapılan öncü araştırmalar temel alınarak oluşturuldu
• Geleneksel Transformer tek bir büyük sinir ağı gibi çalışırken, MoE modelleri daha küçük "uzman" sinir ağlarına ayrılır
• Girdi türüne bağlı olarak MoE modeli, sinir ağındaki yalnızca en ilgili uzman yollarını seçici biçimde etkinleştirmeyi öğrenir
• Bu uzmanlaşma, modelin verimliliğini büyük ölçüde artırır

Daha büyük bağlam, daha kullanışlı yetenekler

• Bir yapay zeka modelinin "bağlam penceresi", bilgiyi işlerken kullanılan token'lardan oluşur
• Modelin bağlam penceresi ne kadar büyükse, tek seferde o kadar fazla bilgi işleyebilir; böylece çıktılar daha tutarlı, daha ilgili ve daha faydalı olur
• Makine öğrenimi yenilikleri sayesinde 1.5 Pro'nun bağlam penceresi kapasitesi, Gemini 1.0'ın başlangıçtaki 32.000 token'ını çok aşacak şekilde genişletilebildi
• Artık 1.5 Pro, tek seferde devasa miktarda bilgiyi işleyebiliyor; araştırmalarda ise 10 milyon token'a kadar başarıyla test edildi

Performans iyileştirmeleri

• Metin, kod, görsel, ses ve video değerlendirmelerini içeren kapsamlı bir panelde test edildiğinde 1.5 Pro, büyük dil modellerinin (LLM'ler) geliştirilmesinde kullanılan ölçütlerin %87'sinde 1.0 Pro'yu geride bırakıyor
• 1.5 Pro, bağlam penceresi büyümüş olmasına rağmen yüksek performans düzeyini koruyor

Kapsamlı etik ve güvenlik testleri

• Yapay zeka ilkeleri ve güçlü güvenlik politikaları doğrultusunda, modelin kapsamlı etik ve güvenlik testlerinden geçmesi sağlanıyor
• 1.0 Ultra'nın kullanıma sunulmasından bu yana ekip, daha geniş çaplı bir lansman için güvenli hale getirmek amacıyla modeli sürekli rafine etti
• 1.5 Pro'nun lansmanı öncesinde, içerik güvenliği ve temsilden kaynaklanan zararlar gibi alanlarda geniş çaplı değerlendirmeler yapıldı ve bu testler sürekli genişletilecek

Gemini modeliyle geliştirme ve denemeler

• Amaç, yeni nesil Gemini modellerini dünya genelinde milyarlarca insan, geliştirici ve işletmeye sorumlu bir şekilde sunmak
• Bugünden itibaren 1.5 Pro'nun sınırlı ön izlemesi, AI Studio ve Vertex AI aracılığıyla geliştiriciler ve kurumsal müşteriler için sunuluyor
• Model daha geniş kullanıma hazır olduğunda, standart 128.000 token'lık bağlam penceresiyle 1.5 Pro tanıtılacak
• İlk test kullanıcıları, test süresi boyunca 1 milyon token'lık bağlam penceresini ücretsiz deneyebilir; ancak bu deneysel özellik daha uzun gecikmeye yol açabilir

GN⁺ görüşü

• Gemini 1.5'in en önemli yanı, yapay zeka modellerinin işleyebileceği bilgi miktarını büyük ölçüde artırarak daha karmaşık ve çeşitli görevleri yerine getirebilmesidir
• Bu model, yapay zeka gelişimini yeni bir düzeye taşıyor ve geliştiriciler ile işletmelerin daha kullanışlı modeller ve uygulamalar oluşturmasına yardımcı olacak
• Google'ın araştırma ve inovasyonunun yapay zeka teknolojisinin geleceğini nasıl şekillendirdiğini gösteren bir örnek olarak, bu teknoloji gelecekte yapay zekanın günlük yaşamımıza nasıl entegre olabileceğine dair ilgi çekici içgörüler sunuyor

[yoo04233]

Şu anda kullandığım yapay zekalar arasında en çok GPT-4'ü kullanıyorum; görünen o ki yapay zeka teknolojisi zamanla günlük hayata daha fazla entegre olacak.

[riskatcher]

Google bayağı paniklemiş gibi görünüyor; daha piyasaya sürmeden sürekli daha iyi olup olmadığına dair sızıntılar yapıyorlar ve Ultra hâlâ çok dilli desteği doğru dürüst sağlamıyor, üstelik seviye olarak da openAI'nin 1 yıl önce prompt hilesi gerektirdiği düzeyde.

[GN⁺]

Hacker News görüşleri

• Teknik rapora dair yorum özeti:

  • 10M token bağlamına nasıl ulaşıldığına dair açıklama eksikliği: Teknik rapor, 10M token bağlamına nasıl ulaşıldığından bahsetmiyor.
  • RAG yığınının karmaşıklığını azaltma: 10M bağlam kapasitesi, çoğu RAG yığını karmaşıklığını anında ortadan kaldırıyor ve bu da birçok kullanım senaryosunu çok daha basit hale getiriyor.
  • 1.5 Pro'nun üstünlüğü: 1.5 Pro'nun genel olarak GPT-4'ten daha iyi olduğu açıkça belirtiliyor; bu da onu yeni LLM-as-judge lideri olarak ilgi çekici kılıyor.
  • 1.5 Ultra'nın yüksek yeteneği: 1.5 Ultra'nın son derece yetenekli göründüğü, 1.5 Pro'nun da zaten çok yetenekli olduğu ifade ediliyor. Çeşitli testlerde yüksek puanlar aldığı ve düşük çıkan skorların çoğunun aslında false negative olduğuna dikkat çekiliyor.
  • 1.5 Pro'nun potansiyeli: 1.5 Pro'nun workflow görevleri için bir çıta belirlemesi gerektiği belirtiliyor. 1.0 Ultra çok yetenekli ama biraz yavaş. Bunu kullanan açık modellerde kalite büyük ölçüde artabilir.
  • Kodlama testlerinin yeniden gözden geçirilmesi: Yeni modül yazmayı gerektiren kodlama testlerini yeniden denemenin zamanı gelmiş olabilir.
  • 10M bağlama nasıl ulaşıldığına dair merak: 10M token boyunca kusursuz hatırlama gösteren ses ve video "needle" testlerinin ima ettiğine göre, tek bir ultra uzun vektör yerine sıkıştırma benzeri bir tür yöntem kullanılıyor olabilir.

• Teknik rapordaki ilginç bilgiler:

  • HumanEval benchmark'ında veri sızıntısı sorunu: HumanEval, sektörde standart kabul edilen açık kaynak bir değerlendirme benchmark'ı olsa da web sayfaları ve açık kaynak kod depolarından kaynaklanan istem dışı sızıntıları kontrol etmek kolay değil. Gemini 1.0 Ultra için yapılan test veri sızıntısı analizi, HumanEval'in test bölümünü yalnızca tek bir epoch içeren bir veri kümesiyle sürdürülen ön eğitimin skoru %74,4'ten %89,0'a ciddi biçimde yükselttiğini gösteriyor. Bu artış, örneklerin JSON ve HTML gibi başka formatlarda yer aldığı durumlarda da sürüyor. Araştırmacılardan, bu modellerin kodlama yeteneğini değerlendirirken sızıntı riskini azaltmak için her zaman kurum içi hazırlanmış, gerçekten elde tutulmuş küçük bir test fonksiyonu seti bulundurmaları isteniyor. Natural2Code benchmark'ı bu boşluğu kapatmak için oluşturuldu; HumanEval ile aynı formatı izliyor ancak farklı prompt'lara ve test setlerine sahip.

• Teknik raporda öne çıkan performans:

  • Gemini 1.5 Pro'nun uzun bağlam yeteneği: Gemini 1.5 Pro'nun uzun bağlam yeteneğini inceleyen çalışma, en az 10M token'a kadar bir sonraki token tahmininde sürekli iyileşme ve neredeyse kusursuz erişim (>99%) buluyor.

• Büyük dil modellerinin yeni yeteneği:

  • Kalamang diline çeviri: Dünya genelinde 200'den az konuşanı olan Kalamang dili için bir dilbilgisi kılavuzu verilen model, aynı içerikten öğrenen bir insanla benzer seviyede İngilizceden Kalamang'a çeviri yapmayı öğreniyor.

• Google'a güven eksikliği:

  • Google duyurularına yönelik şüphe: Daha önce yayımlanan pazarlama amaçlı kurgulanmış videolar gerçek ürünü göstermediği için, Google'ın sunduğu şeylere ancak hemen test edilebilen bir giriş arayüzü varsa güveniliyor.

• Demis Hassabis'e yönelik şüphe:

  • Geçmişteki tanıtım stratejilerine dair kuşkulu bakış: Demis Hassabis'in, video oyun geliştirme döneminden beri tanıtım konusunda şüphe uyandıran bir geçmişe sahip olduğu söyleniyor. "Infinite Polygons" sektörde bir espri konusu olmuştu ve Republic oyunu da ilgi çekmeyen bir başarısızlık olarak görülüyor.

• 10M token'ın dönüştürücü etkisi:

  • Prompt boyutu ile kalite arasındaki ilişki: 10M token oyunun kurallarını değiştirebilir; eğer prompt boyutu büyüdükçe kalite belirgin biçimde düşmüyorsa bu çok dönüştürücü olur. Prompt'un statik bir girdi değil, bir tür runtime olarak düşünülmeye başlanacağı söyleniyor.

• Gemini ile ilgili olumsuz deneyim:

  • Gemini'nin zayıf performansı: Gemini'yi deneyen bir yoruma göre performans çok hayal kırıklığı yaratıcı. ChatGPT'den ya da yerel llama'dan çok daha kötü sonuç verdiği söyleniyor. Google'ın yapay zeka stratejisine güven duyulmadığı ve tüm yetenekli insanların OpenAI ya da Anthropic'e geçtiği varsayılıyor.

• Pro ile Ultra arasındaki fark:

  • Bağlam penceresinin büyüklüğü: Şu anda 100k token'ın üstünden bir milyona kadar çıkan bağlam pencereleri çok ilginç yeteneklerin önünü açıyor. RAG, bu kadar bilgiyle çok güçlü olabilir.

• Bağlam penceresi boyutundaki yenilik:

  • Girdi token sorununun çözümü: Reklam edildiği gibi gerçekten çalışıyorsa, RAG ya da belirli analizler için fine-tuning ihtiyacının yerini alabilir. Girdi token doldurma sorununu nasıl çözdükleri merak ediliyor.