g1 - Groq üzerinde Llama-3.1 70B kullanarak o1 benzeri bir muhakeme zinciri oluşturma

• g1, LLM'lerin muhakeme yeteneğini geliştirmek için prompt stratejileri kullanan erken bir prototiptir
• Bu, LLM'lerin mantıksal problemleri çözebilmesini sağlar ve mevcut modellerin zorlandığı sorunları çözmesine yardımcı olur
• g1, açık kaynak topluluğuna yeni stratejiler geliştirmesi için ilham vermek amacıyla açık kaynak olarak yayımlandı

Nasıl çalışır

• g1, dinamik bir Chain of Thought oluşturmak için Llama3.1-70b kullanır.
• Her adımda LLM, bir sonraki muhakeme adımına geçebilir veya nihai yanıtı verebilir.
• Sistem prompt'u, LLM için ipuçları içerir.
• Örneğin, "alternatif yanıtları keşfetmeyi dahil et" ve "cevaba ulaşmak için en az 3 yöntem kullan" gibi yönergeler bulunur.
• Bu yöntemler sayesinde LLM'in muhakeme yeteneği gelişir.

Örnekler

• g1, basit mantık problemlerini %60-80 doğrulukla çözebilir.
• Örnek: "strawberry kelimesinde kaç tane R var?" sorusunda g1 %70 doğruluk gösterir.

Hızlı başlangıç

• Streamlit UI kullanım şekli:

  python3 -m venv venv  
  source venv/bin/activate  
  pip3 install -r requirements.txt  
  export GROQ_API_KEY=gsk...  
  streamlit run app.py  
  

• Gradio UI kullanım şekli:

  cd gradio  
  pip3 install -r requirements.txt  
  python3 app.py  
  

Prompt stratejisi

• Prompt örneği:

  {  
    "title": "Identifying Key Information",  
    "content": "To begin solving this problem, we need to carefully examine the given information and identify the crucial elements that will guide our solution process. This involves...",  
    "next_action": "continue"  
  }  
  

• Prompt yapısı:

  • Uzman yapay zeka asistanı rolü verilmesi
  • Her adım için başlık ve içerik sağlanması
  • JSON biçiminde yanıt verilmesi
  • En az 3 adımlık muhakeme aşaması kullanılması
  • LLM'in sınırlamalarının farkında olunması ve alternatif yanıtların keşfedilmesinin dahil edilmesi
  • Yeniden gözden geçirme sırasında gerçekten farklı bir yaklaşım kullanılması

Öne çıkan fork

• Mult1: Birden çok AI sağlayıcısı kullanarak o1 benzeri bir muhakeme zinciri oluşturma (GitHub Repository)

Katkılar

• Bu uygulama Benjamin Klieger tarafından geliştirildi

GN⁺ özeti

• g1, LLM'lerin muhakeme yeteneğini geliştirmek için prompt stratejileri kullanan erken bir prototiptir.
• Açık kaynak topluluğuna yeni stratejiler geliştirmesi için ilham vermek amacıyla açık kaynak olarak yayımlandı.
• g1, basit mantık problemlerini çözmede mevcut modellere kıyasla daha yüksek doğruluk gösterir.
• Bu yazı, LLM'lerin muhakeme yeteneğini geliştirmek için çeşitli yöntemleri keşfetmek açısından faydalıdır.
• Benzer işlevlere sahip diğer projeler arasında OpenAI'nin o1'i bulunur.

[GN⁺]

Hacker News görüşü

• ChainOfThought yöntemi basittir; TreeOfThoughts ise daha sofistike bir yöntemdir
  • OpenAI ile ilgili ipuçları ağaç aramasıyla ilişkilidir
  • CoT'yi bir ağaç olarak kurup en iyi çözümü bulmak önemlidir
• Talimatları BÜYÜK HARFLERLE vurgulamak eğlenceli
  • AGI'yi başarıya ulaştıran ilk kişi, muhtemelen LLM güvenilirliğini artırmanın bir yolunu bulmuş olacaktır
• o1'in yeniliği Chain-of-Thought değil, modele CoT'yi iyi yapmayı öğretmesidir
  • Yalnızca basit prompt engineering ile o1 performansı elde edilemez
• LLM, girdiyi farklı şekilde 'büyüterek' problemi çözebilir
  • Metni harf harf girmek veya ayrıntıları görmek için görüntü biçimine dönüştürmek mümkündür
• optillm projesine benzer bir çalışma yapıyor
  • Çeşitli optimizasyon teknikleri kullanılarak LLM geliştirilebilir
• ollama:8b kullanarak bunu %100 yerelde çalışacak şekilde değiştirdim
  • Readme henüz güncellenmedi
• "akıl yürütme" tanımını bulmak önemlidir
  • LLM'nin akıl yürütme sorunları klasik algoritmalarla birleştirilerek çözülebilir
  • Düşünme süreci iki parçaya ayrılmalı ve uygun modelde çalıştırılmalıdır
• .9 ile .11'den hangisinin daha büyük olduğu sorulan promptta, .9'ın daha büyük olduğu yanıtını veriyor
  • Bu sadece basit bir sistem promptu
• Eğlencesine projeyi fork edip Llama-3.1 7B modelini yerelde çalışacak hale getirdim
  • Çilek problemini çözemiyor ama 0.9'ın daha büyük olduğunu anlıyor