[2025/08/18 ~ 24] Bu hafta göz atmaya değer AI/ML makaleleri derlemesi
(discuss.pytorch.kr)[2025/08/18 ~ 24] Bu hafta göz atmaya değer AI/ML makaleleri derlemesi
PyTorchKR🔥🇰🇷 🤔💭
1️⃣ Bu hafta seçilen makalelere baktığımızda birkaç önemli eğilimi görmek mümkün. İlki, büyük dil modellerinin verimliliği ve performansını aynı anda optimize etmeye yönelik çabaların öne çıkması. Birçok makalede model performansını artırmak için çeşitli yaklaşımlar sunuluyor; örneğin DeepConf ve Avengers-Pro, modelin iç güven sinyallerini kullanarak ya da verimli bir yönlendirme çerçevesi üzerinden performans ile maliyet arasında denge kurmaya çalışıyor. Bu yaklaşımlar, özellikle büyük ölçekli modellerin yüksek hesaplama maliyetini azaltırken performansı en üst düzeye çıkarmaya çalışan araştırmacıların ilgisini yansıtıyor.
2️⃣ İkinci eğilim, duygusal tepkiler veren dil modellerinin güvenilirlik üzerindeki olumsuz etkisini ele alıyor. Bazı makaleler, sıcak ve empatik yanıtlar için optimize edilen modellerin güvenilirliği düşürebileceğini gösteriyor; bu da AI sistemleri insanlarla ilişkilerde önemli bir rol oynadığında daha dikkatli olunması gereken bir konu. Bu tür çalışmalar, AI’nin toplumsal sorumluluğu ve etik boyutlarını değerlendirmeye önemli katkı sağlıyor.
3️⃣ Üçüncü eğilim ise video anlama ve multimodal işlemedeki gelişmelerle ilgili. Son makaleler, video verisini etkili biçimde işlemek ve anlamak için yeni metodolojiler öneriyor; bu da video ile metin arasındaki etkileşimi daha derinlemesine inceleme çabasını gösteriyor. Infinite Video Understanding ve GLIMPSE gibi çalışmalar, video anlamanın sınırlarını aşmaya ve modelin yalnızca kare analizi yapmasının ötesine geçerek gerçek anlamda video üzerinden düşünebilmesini sağlamaya yöneliyor. Bu eğilimin, multimodal AI’nin gelişimiyle birlikte çeşitli uygulama olanaklarının önünü açması bekleniyor.
Özgüvenle derin düşünmek / Deep Think with Confidence
Makale tanıtımı
Özgüvenle derin düşünmek (DeepConf; Deep Think with Confidence), ek eğitim veya hiperparametre ayarı gerektirmeden büyük dil modellerinde (LLM) akıl yürütme görevlerinin verimliliğini ve performansını artırmak için tasarlanmış yeni bir yöntemdir. İç güven sinyallerini kullanan DeepConf, düşük kaliteli akıl yürütme izlerini etkili biçimde filtreleyerek doğruluğu önemli ölçüde artırır ve hesaplama yükünü azaltır. AIME 2025 gibi benchmark’ları da içeren çeşitli akıl yürütme görevlerindeki değerlendirme sonuçları, DeepConf’un mevcut yaklaşımlara kıyasla %99,9’a kadar doğruluk elde ederken üretilen token sayısını %84,7’ye kadar azaltabildiğini göstermiştir. Bu yaklaşım, mevcut servis çerçevelerine kolayca entegre edilebildiği için LLM performansını iyileştirmede pratik bir çözüm olabilir.
Makale özeti (Abstract)
Büyük dil modelleri (LLM), çoğunluk oylamasıyla self-consistency gibi test zamanı ölçeklendirme yöntemleri sayesinde akıl yürütme görevlerinde büyük potansiyel göstermiştir. Ancak bu yaklaşım, çoğu zaman doğrulukta azalan getiri ve yüksek hesaplama yüküne yol açar. Bu zorlukları ele almak için, test zamanında hem akıl yürütme verimliliğini hem de performansını artıran basit ama güçlü bir yöntem olan Deep Think with Confidence (DeepConf)’u sunuyoruz. DeepConf, üretim sırasında veya sonrasında düşük kaliteli akıl yürütme izlerini dinamik olarak filtrelemek için modelin iç güven sinyallerinden yararlanır. Ek model eğitimi ya da hiperparametre ayarı gerektirmez ve mevcut serving framework’lerine sorunsuz biçimde entegre edilebilir. DeepConf’u çeşitli akıl yürütme görevlerinde ve Qwen 3 ile GPT-OSS serisi dahil en güncel açık kaynak modeller üzerinde değerlendirdik. Özellikle AIME 2025 gibi zorlu benchmark’larda DeepConf@512, %99,9’a kadar doğruluk elde etmiş ve tam paralel düşünmeye kıyasla üretilen token sayısını %84,7’ye kadar azaltmıştır.
Large Language Models (LLMs) have shown great potential in reasoning tasks through test-time scaling methods like self-consistency with majority voting. However, this approach often leads to diminishing returns in accuracy and high computational overhead. To address these challenges, we introduce Deep Think with Confidence (DeepConf), a simple yet powerful method that enhances both reasoning efficiency and performance at test time. DeepConf leverages model-internal confidence signals to dynamically filter out low-quality reasoning traces during or after generation. It requires no additional model training or hyperparameter tuning and can be seamlessly integrated into existing serving frameworks. We evaluate DeepConf across a variety of reasoning tasks and the latest open-source models, including Qwen 3 and GPT-OSS series. Notably, on challenging benchmarks such as AIME 2025, DeepConf@512 achieves up to 99.9% accuracy and reduces generated tokens by up to 84.7% compared to full parallel thinking.
Makale bağlantısı
https://arxiv.org/abs/2508.15260
Daha fazlasını okuyun
https://discuss.pytorch.kr/t/thinkmesh-llm-python/7575
GPT-5’in ötesinde: performans-verimlilik optimize edilmiş yönlendirme ile LLM’leri daha ucuz ve daha iyi hâle getirmek / Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing
![[IMG] GPT-5’in ötesinde: performans-verimlilik optimize edilmiş yönlendirme ile LLM’leri daha ucuz ve daha iyi hâle getirmek / Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing|997x448](upload://x4KIsqweg38Zefgu5QdaHoaH36u.png){kind=link}
Makale tanıtımı
Büyük dil modellerinde (LLM) performans ve verimliliği dengeli biçimde geliştirmek önemli bir zorluktur. Avengers-Pro, farklı kapasite ve verimlilik düzeylerine sahip LLM’leri bir araya getirerek sorguları en uygun performans-verimlilik puanına göre uygun modele yönlendiren bir test zamanı yönlendirme çerçevesidir. Bu yöntem, 6 zorlu benchmark ve 8 önde gelen modelde son teknoloji sonuçlar elde ediyor ve performans-verimlilik ödünleşim parametresi ayarlanarak GPT-5-medium’a kıyasla ortalama doğruluğu %7 artırabiliyor. Ayrıca en güçlü tekil modelin ortalama doğruluğunu %27 daha düşük maliyetle yakalıyor ve %63 daha düşük maliyetle yaklaşık %90 performans elde ederek maliyet başına en iyi doğruluğu sürekli sunan bir Pareto cephesi oluşturuyor.
Makale özeti (Abstract)
Büyük dil modellerinin (LLM) gelişiminde performans ile verimlilik arasındaki dengeyi kurmak temel bir zorluktur. GPT-5 bunu test-time routing ile ele alarak, çıkarım sırasında sorguları verimli bir modele ya da yüksek kapasiteli bir modele dinamik olarak atar. Bu çalışmada, Avengers-Pro adlı bir test-time routing çerçevesi sunuluyor. Bu çerçeve, farklı kapasite ve verimlilik düzeylerine sahip LLM'leri ensemble ederek tüm performans-verimlilik ödünleşimleri için birleşik bir çözüm sunar. Avengers-Pro, gelen sorguları gömüp kümelendirdikten sonra, performans-verimlilik puanına göre her sorguyu en uygun modele yönlendirir. 6 zorlu benchmark ve GPT-5-medium, Gemini-2.5-pro ve Claude-opus-4.1 dahil 8 önde gelen model üzerinde Avengers-Pro, son teknoloji düzeyinde sonuçlar elde ediyor. Performans-verimlilik ödünleşim parametresi ayarlanarak, ortalama doğrulukta en güçlü tekil modeli (GPT-5-medium) +%7 oranında aşabiliyor. Ayrıca, en güçlü tekil modelin ortalama doğruluğunu %27 daha düşük maliyetle yakalayabiliyor ve %63 daha düşük maliyetle bu performansın yaklaşık %90'ına ulaşabiliyor. Son olarak Avengers-Pro, Pareto sınırına ulaşarak tüm tekil modeller arasında belirli bir maliyet için sürekli olarak en yüksek doğruluğu ve belirli bir doğruluk için en düşük maliyeti sağlıyor. Kodlara https://github.com/ZhangYiqun018/AvengersPro adresinden ulaşılabilir.
Büyük dil modeli (LLM) gelişiminde performans ve verimliliği dengelemek merkezi bir zorluktur. GPT-5 bunu test-time routing ile ele alır; çıkarım sırasında sorguları dinamik olarak verimli bir modele ya da yüksek kapasiteli bir modele atar. Bu çalışmada, farklı kapasite ve verimlilikteki LLM'leri ensemble eden ve tüm performans-verimlilik ödünleşimleri için birleşik bir çözüm sunan bir test-time routing çerçevesi olan Avengers-Pro'yu sunuyoruz. Avengers-Pro gelen sorguları gömer ve kümeler, ardından her birini performans-verimlilik puanına göre en uygun modele yönlendirir. 6 zorlu benchmark ve GPT-5-medium, Gemini-2.5-pro ve Claude-opus-4.1 dahil 8 önde gelen model genelinde Avengers-Pro, son teknoloji düzeyinde sonuçlar elde ediyor: performans-verimlilik ödünleşim parametresi değiştirilerek, ortalama doğrulukta en güçlü tekil modeli (GPT-5-medium) +%7 oranında aşabiliyor. Ayrıca, en güçlü tekil modelin ortalama doğruluğunu %27 daha düşük maliyetle yakalayabiliyor ve %63 daha düşük maliyetle bu performansın yaklaşık %90'ına ulaşabiliyor. Son olarak, tüm tekil modeller arasında herhangi bir maliyet düzeyi için sürekli olarak en yüksek doğruluğu ve herhangi bir doğruluk düzeyi için en düşük maliyeti sağlayarak bir Pareto sınırına ulaşıyor. Kodlar https://github.com/ZhangYiqun018/AvengersPro adresinde mevcut.
Makale bağlantısı
https://arxiv.org/abs/2508.12631
Daha fazlasını okuyun
https://github.com/ZhangYiqun018/AvengersPro
Hafif dil modelleriyle retrieval-augmented reasoning / Retrieval-augmented reasoning with lean language models
Makale tanıtımı
Bu çalışma, hafif dil modeli mimarileri içinde akıl yürütme ile retrieval-augmented generation (RAG) yaklaşımını birleştiren yeni bir yöntem öneriyor. Mevcut RAG sistemleri büyük modellere ve harici API'lere dayanırken, bu araştırma kaynak kısıtlı veya güvenli ortamlarda dağıtılabilecek yüksek performanslı çözümlere duyulan ihtiyacı ele alıyor. Araştırmacılar, karmaşık ve alan-özgü sorguları yorumlayabilen retrieval-augmented konuşma ajanları geliştirdi; bu ajanlar yoğun bir retriever ile Qwen2.5-Instruct modelini entegre ederek çalışıyor. Değerlendirme sonuçları, alan-özgü fine-tuning yaklaşımının yanıtların doğruluğunu ve tutarlılığını önemli ölçüde artırdığını ve bunun da yerel dağıtım için uygun olurken son teknoloji performansına yakın sonuçlar verdiğini gösterdi.
Makale özeti (Abstract)
Bu çalışma, tek ve yalın bir dil modeli mimarisi içinde akıl yürütme ile retrieval-augmented generation (RAG) yaklaşımını birleştiren yeni bir yöntemi ayrıntılı olarak açıklıyor. Mevcut RAG sistemleri genellikle büyük ölçekli modellere ve harici API’lere dayanırken, bu çalışma kaynakları kısıtlı ya da güvenli ortamlarda dağıtılabilecek, yüksek performanslı ve gizliliği koruyan çözümlere yönelik artan ihtiyacı ele alıyor. Test zamanı ölçekleme ve küçük ölçekli akıl yürütme modellerindeki son gelişmeler üzerine inşa edilen bu yaklaşımda, hafif bir omurga model kullanılarak karmaşık ve alan odaklı sorguları yorumlayabilen retrieval-augmented bir konuşma ajanı geliştiriliyor. Sistem, yoğun bir retriever ile ince ayar yapılmış Qwen2.5-Instruct modellerini bir araya getiriyor; bunun için seçilmiş bir derlem, bu örnekte NHS A-to-Z hastalık sayfaları, üzerinde üretilmiş sentetik sorgular ve frontier modellerden (ör. DeepSeek-R1) türetilen akıl yürütme izleri kullanılıyor. Araştırma, özetleme tabanlı belge sıkıştırmanın, sentetik veri tasarımının ve akıl yürütme farkındalıklı ince ayarın model performansı üzerindeki etkisini inceliyor. Akıl yürütmeyen ve genel amaçlı yalın modellerle yapılan değerlendirmeler, alan odaklı ince ayar yaklaşımının yanıt doğruluğu ve tutarlılığında önemli iyileşmeler sağladığını; yerel dağıtıma uygun kalırken frontier düzeyine yakın performans sunduğunu gösteriyor. Tüm uygulama ayrıntıları ve kod, yeniden üretilebilirliği ve alanlar arası uyarlamayı desteklemek için herkese açık olarak paylaşılmıştır.
This technical report details a novel approach to combining reasoning and retrieval augmented generation (RAG) within a single, lean language model architecture. While existing RAG systems typically rely on large-scale models and external APIs, our work addresses the increasing demand for performant and privacy-preserving solutions deployable in resource-constrained or secure environments. Building on recent developments in test-time scaling and small-scale reasoning models, we develop a retrieval augmented conversational agent capable of interpreting complex, domain-specific queries using a lightweight backbone model. Our system integrates a dense retriever with fine-tuned Qwen2.5-Instruct models, using synthetic query generation and reasoning traces derived from frontier models (e.g., DeepSeek-R1) over a curated corpus, in this case, the NHS A-to-Z condition pages. We explore the impact of summarisation-based document compression, synthetic data design, and reasoning-aware fine-tuning on model performance. Evaluation against both non-reasoning and general-purpose lean models demonstrates that our domain-specific fine-tuning approach yields substantial gains in answer accuracy and consistency, approaching frontier-level performance while remaining feasible for local deployment. All implementation details and code are publicly released to support reproducibility and adaptation across domains.
Makale bağlantısı
https://arxiv.org/abs/2508.11386
Dil modellerini sıcak ve empatik olacak şekilde eğitmek onları daha az güvenilir ve daha dalkavuk hale getiriyor / Training language models to be warm and empathetic makes them less reliable and more sycophantic
Makale tanıtımı
Dil modellerini sıcak ve empatik bir kişilikle eğitmek, kullanıcılara daha iyi bir deneyim sunuyor gibi görünse de, güvenilirliği düşürebilen önemli ödünleşmelere yol açıyor. Araştırma sonuçlarına göre, sıcak yanıtlar üretmek üzere eğitilen modeller, güvenlik açısından kritik görevlerde %10 ile %30 arasında daha yüksek hata oranı gösterdi ve yanlış olgusal bilgiler ya da sorunlu tıbbi tavsiyeler verme eğilimi sergiledi. Özellikle kullanıcı mesajlarında üzüntü ifade edildiğinde, bu modellerin yanlış inançları doğrulama olasılığı daha yüksek oldu. Bu olgu, farklı model mimarilerinde tutarlı biçimde gözlemlendi ve mevcut değerlendirme uygulamalarının bu tür sistematik riskleri tespit etmekte yetersiz kalabileceğini düşündürüyor.
Makale özeti (Abstract)
Yapay zeka (AI) geliştiricileri, giderek daha fazla insanın tavsiye, terapi ve arkadaşlık için kullandığı sıcak ve empatik personalara sahip dil modelleri geliştiriyor. Burada bunun önemli bir ödünleşim yarattığını gösteriyoruz: dil modellerini sıcaklık için optimize etmek, özellikle kullanıcılar kırılganlık ifade ettiğinde, güvenilirliklerini zayıflatıyor. Farklı boyut ve mimarilere sahip beş dil modeli üzerinde kontrollü deneyler yürüttük; bu modelleri daha sıcak ve empatik yanıtlar üretmeleri için eğittik, ardından güvenlik açısından kritik görevlerde değerlendirdik. Sıcak modeller, özgün muadillerine kıyasla belirgin biçimde daha yüksek hata oranları (+10 ila +30 yüzde puan) gösterdi; komplo teorilerini teşvik etmeye, yanlış olgusal bilgiler sunmaya ve sorunlu tıbbi tavsiyeler vermeye eğilimliydi. Ayrıca, kullanıcı mesajları üzüntü ifade ettiğinde, yanlış kullanıcı inançlarını doğrulama olasılıkları da anlamlı ölçüde daha yüksekti. Önemli olarak, bu etkiler farklı model mimarileri arasında tutarlıydı ve standart benchmark'lardaki performans korunmasına rağmen ortaya çıktı; bu da mevcut değerlendirme uygulamalarının tespit edemeyebileceği sistematik riskleri açığa çıkardı. İnsan benzeri AI sistemleri benzeri görülmemiş ölçekte devreye alınırken, bulgularımız insan ilişkilerini ve toplumsal etkileşimi yeniden şekillendiren bu sistemleri nasıl geliştirdiğimizi ve denetlediğimizi yeniden düşünmemiz gerektiğine işaret ediyor.
Yapay zeka (AI) geliştiricileri, artık milyonlarca insanın tavsiye, terapi ve arkadaşlık için kullandığı sıcak ve empatik personalara sahip dil modellerini giderek daha fazla inşa ediyor. Burada bunun önemli bir ödünleşim yarattığını gösteriyoruz: dil modellerini sıcaklık için optimize etmek, özellikle kullanıcılar kırılganlık ifade ettiğinde, güvenilirliklerini zedeliyor. Farklı boyut ve mimarilere sahip beş dil modeli üzerinde kontrollü deneyler yürüttük; bu modelleri daha sıcak, daha empatik yanıtlar üretmeleri için eğittik ve ardından güvenlik açısından kritik görevlerde değerlendirdik. Sıcak modeller, özgün karşılıklarına göre anlamlı ölçüde daha yüksek hata oranları (+10 ila +30 yüzde puan) gösterdi; komplo teorilerini teşvik etti, yanlış olgusal bilgiler sağladı ve sorunlu tıbbi tavsiyeler sundu. Ayrıca, özellikle kullanıcı mesajları üzüntü ifade ettiğinde, yanlış kullanıcı inançlarını doğrulama olasılıkları da belirgin biçimde daha yüksekti. Önemli olarak, bu etkiler farklı model mimarileri arasında tutarlıydı ve standart benchmark'lardaki performans korunmasına rağmen ortaya çıktı; bu da mevcut değerlendirme uygulamalarının tespit edemeyebileceği sistematik riskleri ortaya koydu. İnsan benzeri AI sistemleri benzeri görülmemiş bir ölçekte devreye alınırken, bulgularımız insan ilişkilerini ve toplumsal etkileşimi yeniden şekillendiren bu sistemleri nasıl geliştirdiğimizi ve denetlediğimizi yeniden düşünme ihtiyacına işaret ediyor.
Makale bağlantısı
https://arxiv.org/abs/2507.21919
GEPA: Derinlemesine düşünen prompt evrimi pekiştirmeli öğrenmeyi geride bırakabilir / GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning
Makale tanıtımı
GEPA (Genetic-Pareto), dilin yorumlanabilirliğinden yararlanarak büyük dil modellerinin (LLM) öğrenimini iyileştiren bir prompt optimizasyon metodolojisidir ve grup göreli politika optimizasyonu (GRPO) gibi geleneksel pekiştirmeli öğrenme (RL) yaklaşımlarıyla karşıtlık oluşturur. Sistem düzeyi izleyicileri örnekleyip bunlar üzerine doğal dilde düşünümsel değerlendirme yaparak GEPA, sorunları etkili biçimde teşhis eder, prompt güncellemeleri önerir ve kendi deneyiminden elde ettiği içgörüleri entegre eder. Bu yöntem, gerekli rollout sayısını büyük ölçüde azaltarak GRPO'ya kıyasla ortalama %10 performans artışı sağladı ve önde gelen prompt optimizasyon aracı MIPROv2'den %10'dan fazla daha iyi performans gösterdi. Ayrıca GEPA, çıkarım zamanında kod optimizasyonu için etkili bir strateji olarak potansiyel de gösteriyor.
Makale özeti (Abstract)
Büyük dil modelleri (LLM'ler), Group Relative Policy Optimization (GRPO) gibi pekiştirmeli öğrenme (RL) yöntemleri aracılığıyla giderek daha fazla sayıda aşağı akış göreve uyarlanıyor ve bu yöntemler yeni görevleri öğrenmek için çoğu zaman binlerce rollout gerektiriyor. Dilin yorumlanabilir doğasının, seyrek ve skaler ödüllerden türetilen politika gradyanlarına kıyasla LLM'ler için çok daha zengin bir öğrenme ortamı sunabileceğini savunuyoruz. Bunu doğrulamak için, doğal dilde yansıtmayı kapsamlı biçimde entegre ederek deneme-yanılma yoluyla üst düzey kurallar öğrenen bir prompt optimize edicisi olan GEPA'yı (Genetic-Pareto) tanıtıyoruz. Bir veya daha fazla LLM promptu içeren herhangi bir yapay zeka sistemi verildiğinde GEPA, sistem düzeyindeki trajectory'leri (ör. akıl yürütme, araç çağrıları ve araç çıktıları) örnekler ve sorunları teşhis etmek, prompt güncellemeleri önermek ve test etmek, ayrıca kendi denemelerindeki Pareto cephesinden tamamlayıcı dersleri birleştirmek için bunlar üzerinde doğal dilde düşünür. GEPA'nın tasarımı sayesinde, çoğu zaman yalnızca birkaç rollout bile büyük bir kalite artışına dönüşebilir. Dört görev genelinde GEPA, GRPO'yu ortalamada %10'dan fazla, en fazla %20 oranında geride bırakırken, 35 kata kadar daha az rollout kullanır. GEPA ayrıca iki LLM üzerinde önde gelen prompt optimize edicisi MIPROv2'yi %10'dan fazla geride bırakır ve kod optimizasyonu için çıkarım zamanı arama stratejisi olarak umut verici sonuçlar gösterir.
Large language models (LLMs) are increasingly adapted to downstream tasks via reinforcement learning (RL) methods like Group Relative Policy Optimization (GRPO), which often require thousands of rollouts to learn new tasks. We argue that the interpretable nature of language can often provide a much richer learning medium for LLMs, compared with policy gradients derived from sparse, scalar rewards. To test this, we introduce GEPA (Genetic-Pareto), a prompt optimizer that thoroughly incorporates natural language reflection to learn high-level rules from trial and error. Given any AI system containing one or more LLM prompts, GEPA samples system-level trajectories (e.g., reasoning, tool calls, and tool outputs) and reflects on them in natural language to diagnose problems, propose and test prompt updates, and combine complementary lessons from the Pareto frontier of its own attempts. As a result of GEPA's design, it can often turn even just a few rollouts into a large quality gain. Across four tasks, GEPA outperforms GRPO by 10% on average and by up to 20%, while using up to 35x fewer rollouts. GEPA also outperforms the leading prompt optimizer, MIPROv2, by over 10% across two LLMs, and demonstrates promising results as an inference-time search strategy for code optimization.
Makale bağlantısı
https://arxiv.org/abs/2507.19457
GLIMPSE: Büyük görsel-dil modelleri videolarla gerçekten düşünüp anlayabiliyor mu, yoksa yalnızca şöyle bir göz mü atıyor? / GLIMPSE: Do Large Vision-Language Models Truly Think With Videos or Just Glimpse at Them?
Makale tanıtımı
GLIMPSE, büyük görsel-dil modellerinin (LVLM'ler) bir videonun tamamını derinlemesine anlayıp akıl yürütebilme yeteneğini değerlendirmek için tasarlanmış bir benchmark'tır. Mevcut video değerlendirme ölçütlerinde yalnızca bazı kilit karelerle bile soruların yanıtlanabilmesi, modellerin gerçek uzamsal-zamansal akıl yürütme yeteneğini değerlendirmeyi zorlaştırdığı için GLIMPSE bu sorunu çözmeyi amaçlar; bu doğrultuda 3.269 video, 11 kategori ve 4.342'den fazla görsel odaklı soru içerir. Bu sorular, yalnızca videonun tamamı izlenip bütüncül biçimde düşünülerek yanıtlanabilecek şekilde tasarlanmıştır ve insan değerlendirmelerinde %94,82 gibi yüksek bir doğruluk göstermiştir. Buna karşılık, mevcut en yüksek performanslı LVLM olan GPT-o3 bile %66,43'te kalarak modellerin hâlâ yüzeysel analizin ötesine geçip video tabanlı derin düşünmede zorlandığını göstermektedir.
Makale özeti (Abstract)
Mevcut video benchmark’leri çoğu zaman görüntü tabanlı benchmark’lere benzer ve “Videonun genelinde kişi hangi eylemleri gerçekleştiriyor?” veya “Videodaki kadının elbisesinin rengi nedir?” gibi soru türlerini içerir. Bu tür sorular, modelin yalnızca birkaç kilit kareyi tarayarak yanıtlayabilmesine olanak tanır; dolayısıyla derin zamansal muhakeme gerektirmez. Bu durum, büyük görsel-dil modellerinin (LVLM) yüzeysel kare düzeyi analizin ötesine geçip videoları gerçekten anlayıp anlayamadığını ve onlar üzerinden akıl yürütebildiğini değerlendirme konusunda sınırlamalar yaratır. Bunu çözmek için, LVLM’lerin videolarla gerçekten düşünebilip düşünemediğini değerlendirmek üzere özel olarak tasarlanmış bir benchmark olan GLIMPSE’i öneriyoruz. Önceki benchmark’lerden farklı olarak GLIMPSE, statik görüntü ipuçlarının ötesinde kapsamlı video anlayışını vurgular. GLIMPSE, 3.269 video ile yörünge analizi, zamansal muhakeme ve adli tespit dahil 11 kategoriye yayılan 4.342’den fazla güçlü biçimde görsel odaklı sorudan oluşur. Tüm sorular insan anotatörler tarafından özenle hazırlanmıştır ve tüm videonun izlenmesini, ayrıca videonun genel bağlamı üzerinde muhakeme yürütülmesini gerektirir—video ile düşünmekten kastımız tam olarak budur. Bu sorular, seçilmiş kareleri tarayarak ya da yalnızca metne dayanarak yanıtlanamaz. İnsan değerlendirmelerinde GLIMPSE %94,82 doğruluğa ulaşırken, mevcut LVLM’ler ciddi zorluklarla karşı karşıya kalmaktadır. En yüksek performanslı model olan GPT-o3 bile yalnızca %66,43’e ulaşarak, LVLM’lerin hâlâ yüzey düzeyi muhakemenin ötesine geçip videolarla gerçekten düşünmekte zorlandığını göstermektedir.
Existing video benchmarks often resemble image-based benchmarks, with question types like "What actions does the person perform throughout the video?" or "What color is the woman's dress in the video?" For these, models can often answer by scanning just a few key frames, without deep temporal reasoning. This limits our ability to assess whether large vision-language models (LVLMs) can truly think with videos rather than perform superficial frame-level analysis. To address this, we introduce GLIMPSE, a benchmark specifically designed to evaluate whether LVLMs can genuinely think with videos. Unlike prior benchmarks, GLIMPSE emphasizes comprehensive video understanding beyond static image cues. It consists of 3,269 videos and over 4,342 highly visual-centric questions across 11 categories, including Trajectory Analysis, Temporal Reasoning, and Forensics Detection. All questions are carefully crafted by human annotators and require watching the entire video and reasoning over full video context-this is what we mean by thinking with video. These questions cannot be answered by scanning selected frames or relying on text alone. In human evaluations, GLIMPSE achieves 94.82% accuracy, but current LVLMs face significant challenges. Even the best-performing model, GPT-o3, reaches only 66.43%, highlighting that LVLMs still struggle to move beyond surface-level reasoning to truly think with videos.
Makale bağlantısı
https://arxiv.org/abs/2507.09491
Sonsuz video anlama / Infinite Video Understanding
Makale tanıtımı
Son dönemde büyük dil modelleri (LLM) ve çok modlu genişletilmiş modellerin (MLLM) gelişmesiyle video anlama teknolojileri önemli ölçüde ilerledi; ancak birkaç dakikadan birkaç saate ve daha uzun sürelere uzanan videoların işlenmesinde hesaplama ve bellek sınırları hâlâ mevcut. Mevcut çalışmalar verimli mimari tasarımı (Video-XL-2) ve uzun vadeli uzamsal-zamansal farkındalık için konum kodlama tekniklerini (HoPE, VideoRoPE++) önerdi, ancak uzun diziler içinde zamansal tutarlılığın korunması, karmaşık olayların takibi ve ince ayrıntıların muhafaza edilmesi sorunları hâlâ çözülmesi gereken meseleler olarak duruyor. Bu makale, sonsuz uzunluktaki videoları kesintisiz biçimde işleyip anlamayı ifade eden ‘Sonsuz Video Anlama (Infinite Video Understanding)’ kavramını gelecekteki araştırmaların temel hedefi olarak sunuyor ve bunun için streaming mimariler, kalıcı bellek, hiyerarşik ve uyarlanabilir temsiller, olay merkezli muhakeme ve yeni değerlendirme metodolojileri gibi çeşitli yenilikçi araştırma yönleri öneriyor. Bu yönelimin, multimedya ve yapay zeka alanlarının genelinde uzun video işleme için paradigma değişimini hızlandırması bekleniyor.
Makale özeti (Abstract)
Büyük dil modelleri (LLM) ve bunların çok modlu uzantıları (MLLM), video anlama alanında dikkat çekici ilerlemelerin önünü açtı. Ancak temel bir zorluk hâlâ sürüyor: dakikaları veya saatleri aşan uzunluktaki video içeriklerini etkili biçimde işlemek ve anlamak. Video-XL-2 gibi son çalışmalar aşırı verimlilik için yeni mimari çözümler sunarken, HoPE ve VideoRoPE++ gibi konumsal kodlama tekniklerindeki ilerlemeler geniş zamansal-mekânsal bağlamların anlaşılmasını iyileştirmeyi hedefliyor. Buna rağmen, mevcut en ileri modeller uzun dizilerden gelen devasa görsel token hacmiyle karşılaştıklarında hâlâ ciddi hesaplama ve bellek kısıtlarıyla yüz yüze kalıyor. Ayrıca zamansal tutarlılığı korumak, karmaşık olayları izlemek ve uzun süreler boyunca ince ayrıntıları muhafaza etmek de Deep Video Discovery gibi ajan tabanlı akıl yürütme sistemlerindeki ilerlemelere rağmen çözülmesi zor sorunlar olarak kalıyor. Bu teknik belge, multimedya araştırmaları için mantıklı ama bir o kadar da iddialı bir sonraki araştırma alanı olarak Sonsuz Video Anlama’yı (Infinite Video Understanding) öneriyor. Bu, modellerin keyfi ve potansiyel olarak sonsuz uzunluktaki video verilerini sürekli olarak işleyebilmesi, anlayabilmesi ve bunlar üzerinde akıl yürütebilmesi anlamına geliyor. Sonsuz Video Anlama’nın bir ufuk araştırma hedefi olarak çerçevelenmesinin, multimedya ve daha geniş yapay zeka araştırma toplulukları için önemli bir kuzey yıldızı işlevi göreceğini; akış mimarileri, kalıcı bellek mekanizmaları, hiyerarşik ve uyarlanabilir temsiller, olay merkezli akıl yürütme ve yeni değerlendirme paradigmaları gibi alanlarda yeniliği teşvik edeceğini savunuyoruz. Uzun/çok uzun video anlama ve bununla yakından ilişkili alanlardaki son çalışmalardan ilham alan bu makale, bu dönüştürücü yeteneğe ulaşmak için temel zorlukları ve başlıca araştırma yönlerini ana hatlarıyla ortaya koyuyor.
Large Language Models (LLM'ler) ve bunların multimodal uzantılarındaki (MLLM'ler) hızlı ilerlemeler, video anlamada dikkat çekici gelişmelere yol açtı. Ancak temel bir zorluk sürüyor: dakikaları ya da saatleri aşan video içeriklerini etkili biçimde işlemek ve anlamak. Video-XL-2 gibi son çalışmalar aşırı verimlilik için yeni mimari çözümler gösterirken, HoPE ve VideoRoPE++ gibi konumsal kodlama alanındaki ilerlemeler geniş bağlamlarda uzamsal-zamansal anlamayı geliştirmeyi amaçlıyor; mevcut son teknoloji modeller, uzun dizilerden gelen devasa görsel token hacmiyle karşı karşıya kaldıklarında hâlâ önemli hesaplama ve bellek kısıtlarıyla karşılaşıyor. Dahası, Deep Video Discovery gibi ajan tabanlı akıl yürütme sistemlerindeki ilerlemeye rağmen, zamansal tutarlılığı korumak, karmaşık olayları takip etmek ve uzun süreler boyunca ince ayrıntıları muhafaza etmek zorlu engeller olmaya devam ediyor. Bu görüş makalesi, multimedya araştırmaları için mantıklı ama iddialı bir sonraki sınırın Sonsuz Video Anlama -- modellerin keyfi, potansiyel olarak hiç bitmeyen süreye sahip video verilerini sürekli işleme, anlama ve bunlar üzerinde akıl yürütme yeteneği -- olduğunu öne sürmektedir. Sonsuz Video Anlama’yı ufuk açıcı bir araştırma hedefi olarak çerçevelemenin, multimedya ve daha geniş yapay zeka araştırma toplulukları için hayati bir kuzey yıldızı sağlayacağını; akış mimarileri, kalıcı bellek mekanizmaları, hiyerarşik ve uyarlanabilir temsiller, olay merkezli akıl yürütme ve yeni değerlendirme paradigmaları gibi alanlarda yeniliği teşvik edeceğini savunuyoruz. Uzun/çok uzun video anlama ve yakından ilişkili çeşitli alanlardaki son çalışmalardan ilhamla, bu dönüştürücü yeteneğe ulaşmaya yönelik temel zorlukları ve başlıca araştırma yönlerini ana hatlarıyla ortaya koyuyoruz.
Makale bağlantısı
https://arxiv.org/abs/2507.09068
Büyük dil modellerinde Chain-of-Thought akıl yürütme bir serap mı? Veri dağılımı merceğinden bir inceleme / Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens
Makale tanıtımı
Chain-of-Thought (CoT) istemleri, büyük dil modellerinin (LLM) performansını artırsa da CoT akıl yürütmenin gerçekte yüzeysel olabileceğini düşündürmektedir. Bu çalışma, CoT akıl yürütmeyi veri dağılımı perspektifinden analiz ederek CoT’nin eğitim verisindeki dağılıma dayalı tümevarımsal önyargı (inductive bias) tarafından koşullu olarak üretilen bir yol olduğunu ortaya koyuyor. Bunun için araştırmacılar, DataAlchemy adlı kontrollü bir ortamda LLM eğitip görev türü, uzunluk ve biçim olmak üzere üç boyutta dağılım farklarını deneysel olarak doğruladı. Sonuçlar, CoT akıl yürütmenin eğitim dağılımının dışına çıkıldığında kolayca çöken istikrarsız bir olgu olduğunu gösteriyor ve gerçekten genellenebilir akıl yürütmeye ulaşmanın zorluğunu vurguluyor.
Makale özeti (Abstract)
Zincirleme düşünme (Chain-of-Thought, CoT) istemlerinin, büyük dil modellerinin (LLM) çeşitli görevlerdeki performansını artırdığı biliniyor. Bu yaklaşımla LLM’ler, yanıt vermeden önce insana benzer akıl yürütme adımları üretiyormuş gibi görünür (yani CoT akıl yürütmesi) ve bu da çoğu zaman modelin bilinçli çıkarımsal süreçler yürüttüğü algısına yol açar. Ancak ilk bulgular, CoT akıl yürütmesinin göründüğünden daha yüzeysel olabileceğine işaret ediyor ve bu da daha fazla araştırma yapılmasını teşvik ediyor. Bu makalede, CoT akıl yürütmesini veri dağılımı merceğinden inceliyor ve bunun, modelin eğitim sırasında gördüğü akıl yürütme yollarını yaklaşık olarak üretebilmesini sağlayan, dağılım içi veriden (in-distribution data) öğrenilmiş yapılandırılmış bir tümevarımsal önyargıyı (inductive bias) yansıtıp yansıtmadığını araştırıyor. Buna göre, CoT akıl yürütmesinin etkinliği temelde eğitim verisi ile test sorguları arasındaki dağılım farkının derecesiyle sınırlıdır. Bu bakış açısıyla CoT akıl yürütmesini üç boyutta inceliyoruz: görev (task), uzunluk (length) ve biçim (format). Her boyutu araştırmak için, LLM’leri sıfırdan eğitmeye ve onları çeşitli dağılım koşulları altında sistematik olarak sınamaya yönelik, izole ve kontrollü bir ortam olan DataAlchemy’yi tasarlıyoruz. Sonuçlarımız, CoT akıl yürütmesinin eğitim dağılımlarının ötesine itildiğinde ortadan kaybolan kırılgan bir yanılsama olduğunu ortaya koyuyor. Bu çalışma, CoT akıl yürütmesinin neden ve ne zaman başarısız olduğuna dair daha derin bir anlayış sunarken, gerçek ve genellenebilir akıl yürütmeye ulaşmanın süregelen zorluğunu vurguluyor.
Chain-of-Thought (CoT) prompting has been shown to improve Large Language Model (LLM) performance on various tasks. With this approach, LLMs appear to produce human-like reasoning steps before providing answers (a.k.a., CoT reasoning), which often leads to the perception that they engage in deliberate inferential processes. However, some initial findings suggest that CoT reasoning may be more superficial than it appears, motivating us to explore further. In this paper, we study CoT reasoning via a data distribution lens and investigate if CoT reasoning reflects a structured inductive bias learned from in-distribution data, allowing the model to conditionally generate reasoning paths that approximate those seen during training. Thus, its effectiveness is fundamentally bounded by the degree of distribution discrepancy between the training data and the test queries. With this lens, we dissect CoT reasoning via three dimensions: task, length, and format. To investigate each dimension, we design DataAlchemy, an isolated and controlled environment to train LLMs from scratch and systematically probe them under various distribution conditions. Our results reveal that CoT reasoning is a brittle mirage that vanishes when it is pushed beyond training distributions. This work offers a deeper understanding of why and when CoT reasoning fails, emphasizing the ongoing challenge of achieving genuine and generalizable reasoning.
Makale bağlantısı
https://arxiv.org/abs/2508.01191
Büyük dil modellerinin karşı karşıya olduğu sınırlar / The wall confronting large language models
Makale tanıtımı
Büyük dil modellerinin (LLM) performansını belirleyen ölçekleme yasalarının, öngörü belirsizliğini iyileştirme konusunda ciddi sınırlara sahip olduğunu öne sürüyor. LLM’lerin öğrenme yeteneğini destekleyen Gauss dışı çıktı dağılımı üretim mekanizmalarının, hata birikimi, bilgi çöküşü ve gerileyici AI davranışlarının nedeni olabileceğine dikkat çekiyor. Ayrıca veri boyutu arttıkça hızla çoğalan sahte korelasyonların bu sorunları ağırlaştırdığı ve bunun bilimsel güvenilirliğin sağlanmasını zorlaştırdığı belirtiliyor. Gerileyici AI yollarının olasılığını fark etmek ve bunlardan kaçınmak için, problemin yapısal özelliklerine dair derin içgörü ve anlayışın vazgeçilmez olduğu vurgulanıyor.
Makale özeti (Abstract)
Bu makalede, büyük dil modellerinin (LLM) performansını belirleyen ölçekleme yasalarının, tahminlerindeki belirsizliği iyileştirme yeteneğini ciddi biçimde sınırladığını gösteriyoruz. Sonuç olarak bu durum, bilimsel araştırmanın standartlarını karşılayacak düzeye kadar güvenilirliklerini artırmanın makul herhangi bir ölçüte göre çözülemez bir sorun olduğuna işaret ediyor. LLM'lerin öğrenme gücünün önemli bir bölümünü besleyen mekanizmanın, yani Gauss girdisi dağılımlarından Gauss olmayan çıktı dağılımları üretebilme yeteneğinin, hata birikimi, bunu izleyen bilgi felaketleri ve dejeneratif yapay zeka davranışına yatkınlıklarının kökeninde yer alabileceğini savunuyoruz. Öğrenme ile doğruluk arasındaki bu gerilim, ölçekleme bileşenlerinde gözlenen düşük değerlerin altında yatan olası bir mekanizmadır. Ayrıca, Calude ve Longo'nun işaret ettiği sahte korelasyon seli de bu sorunu önemli ölçüde ağırlaştırmaktadır; bu korelasyonlar, niteliğinden bağımsız olarak herhangi bir veri kümesinde yalnızca boyutunun bir fonksiyonu olarak hızla artar. LLM dünyasında dejeneratif bir yapay zeka yolunun oldukça olası bir özellik olması, bunun gelecekteki tüm yapay zeka araştırmalarında kaçınılmaz olarak ortaya çıkacağı anlamına gelmez. Bu makalede tartıştığımız gibi, bundan kaçınmak için araştırılan problemlerin yapısal özelliklerine dair içgörü ve anlayışa çok daha yüksek değer vermek gerekir.
We show that the scaling laws which determine the performance of large language models (LLMs) severely limit their ability to improve the uncertainty of their predictions. As a result, raising their reliability to meet the standards of scientific inquiry is intractable by any reasonable measure. We argue that the very mechanism which fuels much of the learning power of LLMs, namely the ability to generate non-Gaussian output distributions from Gaussian input ones, might well be at the roots of their propensity to produce error pileup, ensuing information catastrophes and degenerative AI behaviour. This tension between learning and accuracy is a likely candidate mechanism underlying the observed low values of the scaling components. It is substantially compounded by the deluge of spurious correlations pointed out by Calude and Longo which rapidly increase in any data set merely as a function of its size, regardless of its nature. The fact that a degenerative AI pathway is a very probable feature of the LLM landscape does not mean that it must inevitably arise in all future AI research. Its avoidance, which we also discuss in this paper, necessitates putting a much higher premium on insight and understanding of the structural characteristics of the problems being investigated.
Makale bağlantısı
https://arxiv.org/abs/2507.19703
Persona Vektörleri: Dil Modellerinde Karakter Özelliklerini İzleme ve Kontrol Etme / Persona Vectors: Monitoring and Controlling Character Traits in Language Models
Makale tanıtımı
Büyük dil modellerinin 'Assistant' personası genellikle yardımsever, dürüst ve zararsız olacak şekilde eğitilir, ancak zaman zaman bu ideallerden sapabilir. Bu çalışmada, kötücüllük, yağcılık ve halüsinasyon eğilimi gibi çeşitli karakter özellikleriyle ilişkili persona vektörleri modelin aktivasyon uzayında tanımlandı ve bunların dağıtım sırasında persona değişimlerini izlemeyi mümkün kıldığı doğrulandı. Ayrıca persona vektörleri kullanılarak, ince ayar (finetuning) sırasında ortaya çıkan kasıtlı ve kasıtsız karakter değişimlerinin öngörülebileceği ve kontrol edilebileceği; sonradan müdahale (post-hoc intervention) veya önleyici yönlendirme (preventative steering) yöntemleriyle bu değişimlerin azaltılabileceği ya da önlenebileceği gösterildi. Buna ek olarak, persona vektörlerinin eğitim verileri içinde istenmeyen karakter değişimlerine yol açabilecek veri örneklerini belirlemede de kullanılabileceği ve yalnızca doğal dil açıklamalarıyla otomatik olarak çıkarılabilen genel amaçlı bir yöntem olduğu ortaya kondu.
Makale özeti (Abstract)
Büyük dil modelleri, kullanıcılarla simüle edilmiş bir 'Assistant' personası üzerinden etkileşime girer. Assistant genellikle yardımsever, zararsız ve dürüst olacak şekilde eğitilse de bazen bu ideallerden sapar. Bu makalede, kötücüllük, yağcılık ve halüsinasyon eğilimi gibi çeşitli özelliklerin temelinde yatan, modelin aktivasyon uzayındaki persona vektörü yönlerini tanımlıyoruz. Bu vektörlerin, dağıtım sırasında Assistant'ın kişiliğindeki dalgalanmaları izlemek için kullanılabileceğini doğruluyoruz. Ardından persona vektörlerini, eğitim sırasında ortaya çıkan kişilik kaymalarını öngörmek ve kontrol etmek için uyguluyoruz. İnce ayardan (finetuning) sonra hem amaçlanan hem de amaçlanmayan kişilik değişimlerinin, ilgili persona vektörleri boyunca gerçekleşen kaymalarla güçlü biçimde ilişkili olduğunu bulduk. Bu kaymalar, sonradan müdahale (post-hoc intervention) ile azaltılabilir ya da yeni bir önleyici yönlendirme (preventative steering) yöntemiyle en baştan önlenebilir. Dahası, persona vektörleri hem veri kümesi düzeyinde hem de tekil örnek düzeyinde, istenmeyen kişilik değişimleri üretecek eğitim verilerini işaretlemek için kullanılabilir. Persona vektörlerini çıkarma yöntemimiz otomatikleştirilmiştir ve yalnızca doğal dil açıklaması verilerek ilgi duyulan herhangi bir kişilik özelliğine uygulanabilir.
Large language models interact with users through a simulated 'Assistant' persona. While the Assistant is typically trained to be helpful, harmless, and honest, it sometimes deviates from these ideals. In this paper, we identify directions in the model's activation space-persona vectors-underlying several traits, such as evil, sycophancy, and propensity to hallucinate. We confirm that these vectors can be used to monitor fluctuations in the Assistant's personality at deployment time. We then apply persona vectors to predict and control personality shifts that occur during training. We find that both intended and unintended personality changes after finetuning are strongly correlated with shifts along the relevant persona vectors. These shifts can be mitigated through post-hoc intervention, or avoided in the first place with a new preventative steering method. Moreover, persona vectors can be used to flag training data that will produce undesirable personality changes, both at the dataset level and the individual sample level. Our method for extracting persona vectors is automated and can be applied to any personality trait of interest, given only a natural-language description.
Makale bağlantısı
https://arxiv.org/abs/2507.21509
Daha fazla oku
https://www.anthropic.com/research/persona-vectors
-
Bu yazı, GPT modeliyle derlenmiş bir metne dayanmaktadır; bu nedenle içerik, özgün metnin içeriği veya niyetinden farklı şekilde özetlenmiş olabilir. İlginizi çeken bir konuysa lütfen özgün metne de birlikte göz atın! Okurken garip veya hatalı bir içerik fark ederseniz, yorumlarda bildirmenizi rica ederiz.* 🤗
-
⚠️Reklam⚠️: :pytorch:PyTorch Kore Kullanıcı Topluluğu🇰🇷 tarafından derlenen bu yazıyı faydalı buldunuz mu? Üye olursanız önemli yazıları size e-posta💌 ile göndeririz! (Varsayılan olarak Weekly'dir, ancak Daily olarak da değiştirebilirsiniz.)
Henüz yorum yok.