OpenAI, Google ve Anthropic daha gelişmiş yapay zeka geliştirmek için zorlanıyor

• OpenAI, Google ve Anthropic gibi önde gelen yapay zeka şirketleri, yeni model geliştirmede giderek daha az sonuç alıyor
• OpenAI en yeni yapay zeka modeli Orion'u eğitti, ancak beklenen performansa ulaşamadı
  • Özellikle kodlama sorularına düzgün yanıt verememe sorunu yaşadı
• Google'ın Gemini modeli de şirket içi beklentilerin altında kaldı ve Anthropic'te yeni Claude 3.5 Opus'un çıkış takvimi gecikiyor

Veri sınırları ve maliyet sorunu

• Yüksek kaliteli, insanlar tarafından yazılmış veri bulmak giderek zorlaşıyor
• Yapay zeka modellerinin performansı durağanlaşıyor ve küçük iyileştirmeler devasa maliyetleri haklı çıkarmayı zorlaştırıyor
• OpenAI'nin Orion modeli için yeterli kodlama verisinin sağlanamaması, başlıca nedenlerden biri olarak gösteriliyor
• Yeni yapay zeka modelleri geliştirmek milyonlarca dolara mal oluyor ve gelecekte bunun milyarlarca dolara ulaşması bekleniyor

Yapay zeka performansını artırma stratejileri

• OpenAI, Orion'un çıkışından önce post-training sürecine odaklanıyor. Buna, kullanıcı geri bildirimleriyle modelin yanıtlarını iyileştirme ve etkileşim tonunu ayarlama çalışmaları da dahil
• Veri yetersizliği sorununu çözmek için şirketler, yayıncılarla yaptıkları anlaşmalarla veri sağlıyor ya da uzmanların verileri etiketlediği yöntemleri kullanıyor
• Synthetic data kullanımı da artıyor, ancak özgün ve yüksek kaliteli veri elde etmede hâlâ sınırlar var

Yapay zeka ölçekleme yasalarına dair soru işaretleri

• Yapay zeka sektörü, daha büyük modellerin ve daha fazla verinin performans artışı getireceğini söyleyen scaling laws yaklaşımına dayanıyordu; ancak son sonuçlar bunu sorgulatıyor
• Anthropic CEO'su Dario Amodei, veri eksikliğinin sorun yaratabileceğini kabul ederken bunu aşmanın yollarını bulacakları konusunda iyimser

Maliyet ve performans arasındaki denge sorunu

• Yapay zeka geliştirme maliyetleri hızla artarken, yeni modeller beklenen ölçüde performans artışı sağlamazsa yüksek maliyetler ciddi bir sorun haline geliyor
• OpenAI ve Anthropic, daha büyük modeller yerine AI agent gibi yeni kullanım senaryolarına odaklanıyor
  • Agent'lar, kullanıcı adına e-posta göndermek veya uçak bileti rezervasyonu yapmak gibi işleri yerine getirebilir
• OpenAI CEO'su Sam Altman, bilişim kaynaklarının kullanımında zor kararlar alınması gerektiğini söyledi
  • Reddit AMA'de, "Harika yeni modeller yayımlamaya devam edeceğiz, ancak bir sonraki büyük atılım agent olacak" dedi

Sonuç

• Başlıca yapay zeka şirketleri giderek daha fazla hesaplama gücü ve veri kullanıyor, ancak elde edilen sonuçlar durağanlaşıyor
• Teknik sınırlamalar ve veri yetersizliği sorununu aşmak için yeni yaklaşımlar ve kullanım senaryoları aranıyor
• Gelecekte yapay zeka geliştirme yönünün, model boyutundan çok gerçek kullanım alanlarına odaklanması daha olası görünüyor

[kandk]

Sonuçta mesele, bunun çok fazla paraya mal olması.

Bana göre kişisel olarak, beynin sahip olduğu nöron sayısı kadar bir yukarı yönlü potansiyel var.

[GN⁺]

Hacker News görüşü

• Şu anda LLM'ler (büyük dil modelleri) temelinde değer sunabilecek seçeneklerin tükendiğini hissedip hissetmediğine dair bir soru var. Bir ekibe liderlik eden kişi ise hâlâ gidilecek çok yol olduğunu düşünüyor

  • Ağırlıklı olarak GPT-4o ve Claude 3.5 modellerini kullanıyor; teknik yatırımla LLM'lerin birleşimi sayesinde yeni uygulama olasılıkları ortaya çıkmaya devam ediyor
  • Örneğin, insan tarafından düzenlenen bilgi grafikleri ile LLM'leri birleştirerek iş bağlamını anlayan ve ekipten bir çalışma arkadaşı gibi davranan "uzman botlar" oluşturulabilir
  • Tahmin ve simülasyon yetenekleri eklendiğinde LLM'ler makul kod değişiklikleri üretebilir, bunları otomatik olarak inceleyip yineleyebilir
  • Model iyileştirmelerinin peşinden gitmektense mevcut zekâyı kullanmanın önemli olduğu savunuluyor

• Mühendislik alanında son 3 yıldır transformer modellerinin ön eğitimini ve sonrasındaki eğitimini ölçeklendirmeye odaklanılmış durumda

  • Yeni paradigma olarak çok modlu eğitim ve robotlar da dahil olmak üzere eyleyici ajanlar öne çıkıyor
  • OpenAI, Google ve Anthropic de robot araştırmalarına yatırım yapıyor

• ChatGPT'nin kod üretme yeteneği, web'de mevcut koda benzer şeyler bulabiliyor

  • LLM'ler arama ile kopyala/yapıştır işlevi sunuyor ve bu da genel problem çözümü için yeterli oluyor
  • Ancak yalnızca LLM'lerle yapay genel zekâ ortaya çıkmaz
  • LLM'ler için bir güven göstergesine ihtiyaç var; bu, mevcut LLM'lerden çok daha faydalı olurdu

• Yapay zekâ gelişiminin veri sınırına ulaşmış olması iyi bir şey; çünkü baskı daha iyi model mimarileri geliştirme yönüne kayıyor

  • Yapay zekâ araştırmacıları daha iyi modeller arıyor

• Yapay zekânın duvara tosladığına dair olumsuz başlıklar, internetin ilk ortaya çıktığı döneme benziyor

  • 10 yıl sonra yapay zekânın hayatın her alanına derinden bağlı olacağı düşünülüyor

• Mevcut teknolojiler sanayide büyük değişimler yarattı ve yapay zekâ ile insanın hibrit modeline geçiş zaman alacak

• OpenAI'nin en yeni modeli beklentileri karşılamadı, ancak eğitim verisinin büyüklüğüne göre doğrusal biçimde büyüme sağlanabilir

• Yapay zekâ yazılımı satın alınıp, kullanıcının belgeleri doğrudan okuyup uygulamanın yeni sürümlerini yazmasına yardımcı olacak özellikler eklenip eklenemeyeceğine dair bir soru da gündeme getiriliyor