Qwen2.5 - Birden Fazla Foundation Model Duyuruldu

xguru · 2024-09-20T11:22:54+09:00

Qwen2.5; LLM olan Qwen2.5, kodlama için Qwen2.5-Coder ve matematik için Qwen2.5-Math gibi özelleşmiş modelleri içeriyor Tüm açık ağırlıklı modeller dense decoder-only dil modelleridir ve 0.5B ile 72B arasında çeşitli boyutlarda sunuluyor 3B ve 72B modelleri hariç tüm açık kaynak modeller Apache 2.0 lisansıyla sunuluyor Amiral gemisi dil modelleri Qwen-Plus ve Qwen-Turbo, Model Studio üzerinden API olarak sunuluyor Qwen2-VL-72B de açık kaynak olarak yayımlandı ve geçen ayki sürüme göre performansı iyileştirildi Qwen2.5'in özellikleri En fazla 18 trilyon token içeren büyük ölçekli bir veri kümesiyle ön eğitim aldığı için Qwen2'ye kıyasla bilgi düzeyi önemli ölçüde arttı (MMLU: 85+) Kodlama (HumanEval 85+) ve matematik (MATH 80+) yetenekleri de büyük ölçüde geliştirildi Komutları izleme, uzun metin üretme (8K token üzeri), yapılandırılmış veriyi anlama (ör. tablolar) ve JSON gibi yapılandırılmış çıktılar üretme becerileri belirgin biçimde iyileştirildi Sistem prompt çeşitliliğine karşı daha dayanıklı hale gelerek chatbot rolü üstlenme ve koşul tanımlamayı kolaylaştırdı Qwen2'de olduğu gibi, Qwen2.5 dil modeli en fazla 128K token destekliyor ve en fazla 8K token üretebiliyor Çince, İngilizce, Fransızca, İspanyolca, Portekizce, Almanca, İtalyanca, Rusça, Japonca, Korece, Vietnamca, Tayca, Arapça dahil 29'dan fazla dili destekliyor Performans Qwen2.5 En büyük açık kaynak model olan Qwen2.5-72B'nin (72B parametreli dense decoder-only dil modeli) performansı, Llama-3.1-70B ve Mistral-Large-V2 gibi başlıca açık kaynak modellerle karşılaştırılıyor Çeşitli benchmark'larda komut ayarlı sürümlerin kapsamlı sonuçları sunularak hem model yetenekleri hem de insan tercihleri değerlendiriliyor Komut ayarlı dil modellerinin yanı sıra, Qwen2.5-72B'nin base dil modeli de Llama-3-405B gibi daha büyük modellerle karşılaştırıldığında en üst düzey performans gösteriyor API tabanlı model Qwen-Plus'ın en güncel sürümü, GPT4-o, Claude-3.5-Sonnet, Llama-3.1-405B ve DeepSeek-V2.5 gibi önde gelen kapalı kaynak ve açık kaynak modellerle karşılaştırılıyor Qwen-Plus, DeepSeek-V2.5'i açık farkla geride bırakıyor ve Llama-3.1-405B ile başa baş performans gösteriyor; ancak bazı yönlerde GPT4-o ve Claude-3.5-Sonnet seviyesine ulaşamıyor Qwen2.5-14B ve Qwen2.5-32B yeniden tanıtıldı. Bu modeller, Phi-3.5-MoE-Instruct ve Gemma2-27B-IT gibi benzer ya da daha büyük referans modelleri geride bırakıyor API tabanlı model Qwen-Turbo, makul fiyatla hızlı hizmet sunuyor ve iki açık kaynak modele kıyasla oldukça rekabetçi performans gösteriyor Qwen2.5-3B, yaklaşık 3 milyar parametreyle son derece etkileyici performans sunuyor ve önceki sürüme göre verimlilik ile yetenek açısından üstünlük sağlıyor Benchmark değerlendirmelerindeki iyileştirmelere ek olarak, sonradan eğitim metodolojisi de geliştirildi. Dört ana güncelleme şunlar: en fazla 8K tokena kadar uzun metin üretimi desteği, yapılandırılmış veriyi anlama becerisinde büyük artış, JSON biçimi gibi yapılandırılmış çıktıları daha güvenilir üretme ve çeşitli sistem prompt'larında iyileşen performans sayesinde rol üstlenmede daha başarılı olma Qwen2.5-Coder CodeQwen1.5'in yayımlanmasından sonra hata ayıklama, kodlamayla ilgili soruları yanıtlama ve kod önerileri gibi çeşitli görevlerde bu modele güvenen kullanıcı sayısı arttı En yeni sürüm Qwen2.5-Coder, kodlama uygulamaları için özel olarak tasarlandı Küçük boyutuna rağmen, farklı programlama dilleri ve görevlerde daha büyük dil modellerini geride bırakarak üstün kodlama yetenekleri sergiliyor Qwen2.5-Math Geçen ay ilk kez matematiğe özel dil modeli Qwen2-Math yayımlandı; Qwen2-Math'a kıyasla Qwen2.5-Math, Qwen2-Math'ın ürettiği sentetik veriler de dahil olmak üzere daha büyük ölçekli matematik verileriyle ön eğitim aldı Bu kez Çince desteği genişletildi ve CoT, PoT, TIR yürütme yetenekleri kazandırılarak akıl yürütme becerileri de güçlendirildi Qwen2.5-Math-72B-Instruct'ın genel performansı, Qwen2-Math-72B-Instruct ve GPT4-o'yu geride bırakıyor; ayrıca Qwen2.5-Math-1.5B-Instruct gibi çok küçük uzman modeller bile büyük dil modellerine kıyasla oldukça rekabetçi performans sunabiliyor Qwen2.5 ile geliştirme Qwen2.5'i vLLM ile kullanmak için, aşağıdaki komutla OpenAI API uyumlu bir servis dağıtabilirsiniz: Qwen2.5, vllm'in yerleşik tool calling özelliğini destekliyor. Bu özellik için vllm>=0.6 gerekiyor Qwen2.5 ayrıca Ollama'nın tool calling özelliğini destekliyor Hugging Face'in transformers tool calling desteği de kullanılabiliyor Daha önce Qwen-Agent, Qwen2'nin kendi tool calling şablonunu kullanarak tool calling desteği sunuyordu; Qwen2.5 ise Qwen2 şablonu ve Qwen-Agent ile uyumluluğunu koruyor Sırada ne var? Aynı anda çok sayıda yüksek kaliteli model yayımlamaktan memnun olsalar da hâlâ çözülmesi gereken önemli zorlukların bulunduğunu kabul ediyorlar Son yayımlar, dil, görsel-dil ve ses-dil alanlarında güçlü temel modeller geliştirmek için çalıştıklarını gösteriyor Ancak bu farklı modaliteleri tek bir modelde birleştirerek tüm alanlardaki bilgiyi sorunsuz biçimde işleyebilmek büyük önem taşıyor Veri ölçeklendirmesiyle akıl yürütme yeteneklerini geliştirdiler; ancak son pekiştirmeli öğrenme ilerlemelerinden ilham alarak inference compute'u ölçekleyip modelin akıl yürütme kabiliyetini daha da artırmaya odaklanıyorlar

(qwenlm.github.io)

7 puan yazan xguru 2024-09-20 | 1 yorum | WhatsApp'ta paylaş

Qwen2.5; LLM olan Qwen2.5, kodlama için Qwen2.5-Coder ve matematik için Qwen2.5-Math gibi özelleşmiş modelleri içeriyor
Tüm açık ağırlıklı modeller dense decoder-only dil modelleridir ve 0.5B ile 72B arasında çeşitli boyutlarda sunuluyor
3B ve 72B modelleri hariç tüm açık kaynak modeller Apache 2.0 lisansıyla sunuluyor
Amiral gemisi dil modelleri Qwen-Plus ve Qwen-Turbo, Model Studio üzerinden API olarak sunuluyor
Qwen2-VL-72B de açık kaynak olarak yayımlandı ve geçen ayki sürüme göre performansı iyileştirildi

Qwen2.5'in özellikleri

En fazla 18 trilyon token içeren büyük ölçekli bir veri kümesiyle ön eğitim aldığı için Qwen2'ye kıyasla bilgi düzeyi önemli ölçüde arttı (MMLU: 85+)
Kodlama (HumanEval 85+) ve matematik (MATH 80+) yetenekleri de büyük ölçüde geliştirildi
Komutları izleme, uzun metin üretme (8K token üzeri), yapılandırılmış veriyi anlama (ör. tablolar) ve JSON gibi yapılandırılmış çıktılar üretme becerileri belirgin biçimde iyileştirildi
Sistem prompt çeşitliliğine karşı daha dayanıklı hale gelerek chatbot rolü üstlenme ve koşul tanımlamayı kolaylaştırdı
Qwen2'de olduğu gibi, Qwen2.5 dil modeli en fazla 128K token destekliyor ve en fazla 8K token üretebiliyor
Çince, İngilizce, Fransızca, İspanyolca, Portekizce, Almanca, İtalyanca, Rusça, Japonca, Korece, Vietnamca, Tayca, Arapça dahil 29'dan fazla dili destekliyor

Performans

Qwen2.5

En büyük açık kaynak model olan Qwen2.5-72B'nin (72B parametreli dense decoder-only dil modeli) performansı, Llama-3.1-70B ve Mistral-Large-V2 gibi başlıca açık kaynak modellerle karşılaştırılıyor
Çeşitli benchmark'larda komut ayarlı sürümlerin kapsamlı sonuçları sunularak hem model yetenekleri hem de insan tercihleri değerlendiriliyor
Komut ayarlı dil modellerinin yanı sıra, Qwen2.5-72B'nin base dil modeli de Llama-3-405B gibi daha büyük modellerle karşılaştırıldığında en üst düzey performans gösteriyor
API tabanlı model Qwen-Plus'ın en güncel sürümü, GPT4-o, Claude-3.5-Sonnet, Llama-3.1-405B ve DeepSeek-V2.5 gibi önde gelen kapalı kaynak ve açık kaynak modellerle karşılaştırılıyor
- Qwen-Plus, DeepSeek-V2.5'i açık farkla geride bırakıyor ve Llama-3.1-405B ile başa baş performans gösteriyor; ancak bazı yönlerde GPT4-o ve Claude-3.5-Sonnet seviyesine ulaşamıyor
Qwen2.5-14B ve Qwen2.5-32B yeniden tanıtıldı. Bu modeller, Phi-3.5-MoE-Instruct ve Gemma2-27B-IT gibi benzer ya da daha büyük referans modelleri geride bırakıyor
API tabanlı model Qwen-Turbo, makul fiyatla hızlı hizmet sunuyor ve iki açık kaynak modele kıyasla oldukça rekabetçi performans gösteriyor
Qwen2.5-3B, yaklaşık 3 milyar parametreyle son derece etkileyici performans sunuyor ve önceki sürüme göre verimlilik ile yetenek açısından üstünlük sağlıyor
Benchmark değerlendirmelerindeki iyileştirmelere ek olarak, sonradan eğitim metodolojisi de geliştirildi. Dört ana güncelleme şunlar: en fazla 8K tokena kadar uzun metin üretimi desteği, yapılandırılmış veriyi anlama becerisinde büyük artış, JSON biçimi gibi yapılandırılmış çıktıları daha güvenilir üretme ve çeşitli sistem prompt'larında iyileşen performans sayesinde rol üstlenmede daha başarılı olma

Qwen2.5-Coder

CodeQwen1.5'in yayımlanmasından sonra hata ayıklama, kodlamayla ilgili soruları yanıtlama ve kod önerileri gibi çeşitli görevlerde bu modele güvenen kullanıcı sayısı arttı
En yeni sürüm Qwen2.5-Coder, kodlama uygulamaları için özel olarak tasarlandı
Küçük boyutuna rağmen, farklı programlama dilleri ve görevlerde daha büyük dil modellerini geride bırakarak üstün kodlama yetenekleri sergiliyor

Qwen2.5-Math

Geçen ay ilk kez matematiğe özel dil modeli Qwen2-Math yayımlandı; Qwen2-Math'a kıyasla Qwen2.5-Math, Qwen2-Math'ın ürettiği sentetik veriler de dahil olmak üzere daha büyük ölçekli matematik verileriyle ön eğitim aldı
Bu kez Çince desteği genişletildi ve CoT, PoT, TIR yürütme yetenekleri kazandırılarak akıl yürütme becerileri de güçlendirildi
Qwen2.5-Math-72B-Instruct'ın genel performansı, Qwen2-Math-72B-Instruct ve GPT4-o'yu geride bırakıyor; ayrıca Qwen2.5-Math-1.5B-Instruct gibi çok küçük uzman modeller bile büyük dil modellerine kıyasla oldukça rekabetçi performans sunabiliyor

Qwen2.5 ile geliştirme

Qwen2.5'i vLLM ile kullanmak için, aşağıdaki komutla OpenAI API uyumlu bir servis dağıtabilirsiniz:
Qwen2.5, vllm'in yerleşik tool calling özelliğini destekliyor. Bu özellik için vllm>=0.6 gerekiyor
Qwen2.5 ayrıca Ollama'nın tool calling özelliğini destekliyor
Hugging Face'in transformers tool calling desteği de kullanılabiliyor
Daha önce Qwen-Agent, Qwen2'nin kendi tool calling şablonunu kullanarak tool calling desteği sunuyordu; Qwen2.5 ise Qwen2 şablonu ve Qwen-Agent ile uyumluluğunu koruyor

Sırada ne var?

Aynı anda çok sayıda yüksek kaliteli model yayımlamaktan memnun olsalar da hâlâ çözülmesi gereken önemli zorlukların bulunduğunu kabul ediyorlar
Son yayımlar, dil, görsel-dil ve ses-dil alanlarında güçlü temel modeller geliştirmek için çalıştıklarını gösteriyor
Ancak bu farklı modaliteleri tek bir modelde birleştirerek tüm alanlardaki bilgiyi sorunsuz biçimde işleyebilmek büyük önem taşıyor
Veri ölçeklendirmesiyle akıl yürütme yeteneklerini geliştirdiler; ancak son pekiştirmeli öğrenme ilerlemelerinden ilham alarak inference compute'u ölçekleyip modelin akıl yürütme kabiliyetini daha da artırmaya odaklanıyorlar

1 yorum

xguru 2024-09-20

Alibaba, açık kaynaklı yapay zeka modeli QWEN'i duyurdu
Alibaba, Qwen 2 modelini duyurdu