ChatGPT’yi Unutun: Araştırmacılar Neden Artık Dizüstü Bilgisayarlarında Küçük Yapay Zekâ Çalıştırıyor?

(nature.com)

30 puan yazan GN⁺ 2024-09-22 | 7 yorum | WhatsApp'ta paylaş

Yapay zeka (AI) modelleri genellikle çevrimiçi kullanılıyor, ancak çeşitli açık araçlar bunu değiştiriyor
Biyoenformatikçi Chris Thorpe, bağışıklık sistemi proteini olan majör histouyumluluk kompleksi (MHC) moleküllerine ait bir veritabanı olan histo.fyi’yi okunması kolay özetlere dönüştürmek için büyük dil modeli (LLM) türü bir yapay zeka aracı kullanıyor
Thorpe, ChatGPT gibi web tabanlı LLM’ler yerine yapay zekayı dizüstü bilgisayarında çalıştırıyor

LLM’lerde son trendler

Kuruluşlar, kullanıcıların yeterli hesaplama gücü varsa indirip yerelde çalıştırabilmesi için LLM’lerin “open-weight” sürümlerini üretiyor
Teknoloji şirketleri, tüketici donanımında çalışabilen küçültülmüş sürümler geliştiriyor; bunlar önceki büyük modellerin performansına yaklaşabiliyor

Araştırmacılar neden yerel modeller kullanıyor?

Maliyetleri düşürmek
Hasta veya şirket gizliliğini korumak
Tekrarlanabilirliği sağlamak
Bilgisayarlar hızlandıkça ve modeller daha verimli hale geldikçe, insanlar yapay zekayı giderek daha fazla dizüstü bilgisayarlar veya mobil cihazlarda çalıştıracak

Yakın zamanda yayımlanan küçük open-weight modellere örnekler

Google DeepMind, Meta, Allen Institute for Artificial Intelligence ve diğerleri, milyarlarca parametre içeren modeller yayımladı
Microsoft, Phi-1, Phi-1.5, Phi-2, Phi-3 ve Phi-3.5 gibi küçük dil modelleri yayımladı; bunların bazıları görüntü de işleyebiliyor
Microsoft’ta üretken yapay zekadan sorumlu başkan yardımcısı Sébastien Bubeck, Phi-3’ün performansını eğitim veri kümesine bağlıyor

Özelleştirilmiş uygulama geliştirme

Araştırmacılar bu araçlar üzerine özelleştirilmiş uygulamalar geliştirebilir
Çinli Alibaba, Qwen adlı bir model geliştirdi; New Hampshire’daki bir biyomedikal bilimci bunu bilimsel verilerle ince ayar yaparak Turbcat-72b’yi oluşturdu

Gizliliğin korunması

Yerel modellerin bir başka avantajı da gizliliği koruması
Kişisel olarak tanımlanabilir bilgilerin ticari hizmetlere gönderilmesi veri koruma düzenlemelerini ihlal edebilir
Hugging Face’in sağlık ekibini yöneten doktor Cyril Zakka, başka modeller için eğitim verisi üretmek amacıyla yerel modeller kullanıyor
Springfield’daki Mercy sağlık sisteminde endokrinolog Johnson Thomas, hasta gizliliği için OpenAI’nin Whisper’ı ve Google DeepMind’ın Gemma 2’sini temel alan, doktor-hasta görüşmelerini yazıya döken ve özetleyen bir sistem geliştiriyor
Seul’deki ilaç şirketi Portrai tarafından geliştirilen CELLama, hücrelerin gen ifadesi ve diğer özelliklerine ilişkin bilgileri özet cümlelere indirgemek için yerel LLM’lerden yararlanıyor ve gizliliği başlıca avantaj olarak öne çıkarıyor

Modellerin kullanımı

Araştırmacılar, hızla değişen LLM seçenekleriyle karşı karşıya
Thorpe şu anda dizüstü bilgisayarında Llama kullanıyor ve yerel modellerin değişmeden kaldığı için tekrarlanabilirlik açısından avantaj sunduğunu söylüyor
Thorpe, 3D yapıya göre MHC moleküllerini sıralayan kod yazıyor ve yeni proteinler tasarlamak için open-weight bir model olan ProtGPT2’yi kullanıyor
Ancak bazen yerel uygulamalar yeterli olmayabiliyor; Thorpe kodlama için bulut tabanlı GitHub Copilot kullanıyor

Yaklaşım yöntemleri

Ollama, GPT4All ve Llamafile gibi yazılımlar kullanılarak LLM’ler yerelde çalıştırılabilir
Kullanıcılar tercihlerine göre uygulama ya da komut satırını seçebilir
Mozilla’dan Stephen Hood, yerel LLM’lerin yakında çoğu uygulama için yeterince iyi hale geleceğini söylüyor

GN+ görüşü

Yerel LLM’ler araştırmacılar için son derece faydalı araçlar olabilir. Bunun nedeni maliyet düşürme, gizliliği koruma ve tekrarlanabilirliği sağlama gibi avantajlar sunmalarıdır
Ancak bazı durumlarda bulut tabanlı hizmetler daha iyi performans sunabilir; bu nedenle araştırmacılar uygulamanın gereksinimlerine göre uygun aracı seçmelidir
Yerel LLM’lerin gelişim hızı arttığı için araştırmacıların yeni modelleri ve araçları sürekli olarak keşfetmesi ve denemesi gerekir
Ayrıca araştırma alanına göre özelleştirilmiş modeller geliştirmek de değerlendirilebilir. Örneğin biyomedikal araştırmacılar, tıbbi verilerle modele ince ayar yaparak daha iyi performans elde edebilir
Yerel LLM’ler hâlâ erken aşamada olduğundan, araştırmacılar bunları kullanırken ortaya çıkabilecek sorunları ve sınırlamaları da bilmelidir. Örneğin model önyargısı, veri kalitesi ve etik değerlendirmeler dikkatle ele alınmalıdır

7 yorum

savvykang 2024-09-24

Hâlâ sıcak, yavaş ve hatalı. Nature'a göre makalenin kalitesi düşük.

yangeok 2024-09-24

Edge'de çalıştırıldığında yavaş ve doğruluğu düşük olmuyor mu,,

kandk 2024-09-23

Aslında latency ve privacy açısından sorun olan alanlar dışında edge computing (local) kullanmak için bir neden yok..
Zaten dünyadaki verilerin neredeyse tamamı AWS, Google tarafından işleniyor; şimdi çıkıp privacy demek, LLM yapacak teknolojisi olmayan şirketlerin pazarlama taktiği gibi..

lcanon 2024-09-22

Nature makalesinin başlığında small geçiyor, ancak içeriğin büyük kısmında asıl mesele local gibi görünüyor.

dohyun682 2024-09-22

Her seferinde "ChatGPT'yi unutun" deniyor...