ChatGPT’ye benzer bir LLM’i sıfırdan adım adım hayata geçirmek

Büyük dil modeli oluşturmak (sıfırdan)

• Büyük dil modellerinin (Large Language Models, LLMs) iç çalışma prensiplerini keşfetmenizi sağlayan bir kitap
• Kendi LLM’inizi adım adım nasıl oluşturacağınızı açık metinler, diyagramlar ve örneklerle anlatıyor
• Eğitim amacıyla küçük ama işlevsel bir modelin nasıl eğitileceği ve geliştirileceği, ChatGPT gibi büyük temel modelleri oluşturma yaklaşımını yansıtıyor

İçindekiler

• Readme.md dosyası bir Markdown dosyasıdır; uygun şekilde görüntülemek için bir Markdown düzenleyicisi veya önizleme aracı kullanmanız önerilir
• Her bölümün başlığı, ana kodları ve yardımcı kodları içindekilerde özetlenmiştir
• PyTorch’a giriş eki ile Python ve Python paketlerinin kurulumu hakkında ek yönergeler içerir

GN⁺ görüşü:

• Bu kitap, büyük dil modellerini sıfırdan oluşturma sürecini ayrıntılı biçimde açıklar ve yapay zeka alanına ilgi duyan başlangıç seviyesindeki yazılım mühendisleri için oldukça faydalıdır.
• ChatGPT gibi yenilikçi teknolojilerin temelini anlamak isteyen okurlar için ilgi çekici içerik sunar.
• Gerçek kod örnekleriyle desteklenen adım adım rehberlik, öğrenenlerin teoriyi pratikte uygulamasına yardımcı olacaktır.

[GN⁺]

Hacker News yorumu

• Ek kaynak olarak bir rehber kitap yazılıyor; bu kitap farklı tamamlanma aşamalarında. Şu ana kadar en iyi kaynak ince ayar rehberi.

  • Rehber kitap bağlantısı

• Bu rehber kitap harika görünüyor. Merak ettiğim şey, asıl amacın anlayışı kolaylaştırmak ve gizemi ortadan kaldırmak mı, yoksa insanları kendi ihtiyaçlarına uygun küçük modelleri kendilerinin oluşturmasına teşvik etmek mi olduğu.

• Teknik bir kitabı herkesin gözü önünde yazmak, hayal bile edilemeyecek düzeyde kaygı yaratır; bu yüzden yazara saygılar.

• Bu kitaptaki bilgilerle pekiştirmeli öğrenmeyi öğrenip öğrenemeyeceğimi merak ediyorum. Amaç, ay iniş aracı gibi iniş yapmayı öğrenmek. Basitçe 100 fitten başlayıp tek bir yönde itki uygulamak ve krater oluşturmamayı başarıncaya kadar denemek. Sonra değişkenler eklemek; örneğin yatay hareket ederken yatay iticiler eklemek gibi. Bu kitabın böyle daha "ana akım" ML için faydalı olup olmayacağını merak ediyorum.

• İlk kod örneğinde de görüldüğü gibi, gerçekten tamamen sıfırdan başlanmıyor.

  import torch
  

• Bunun ücretsiz bir kaynak olacağını sanıp Github'a geçtim. Yazarın emeğine tüm saygımı sunarak, gerçekten "sıfırdan" başlayıp takip edilebilecek hangi ücretsiz kaynakların mevcut olduğunu ve hangilerinin tavsiye edildiğini merak ediyorum.

• Özellikle torch kullanırken model mimarisinin kendisi o kadar karmaşık değil. Tüm süreç oldukça basit ve uygulanabilir bir proje.

• Bu muhtemelen "Show HN" olarak sınıflandırılır.

• Bu çalışma için teşekkürler. Kitabın tamamlanması için planlanan bir tarih var mı?

• Bir kopya satın aldım! Okumayı dört gözle bekliyorum. :) Kitabı yazarken okuyucuların geri bildirim verebileceği bir yol var mı?