HN Sorusu: Tiny Language Models ile Harika Projeler Yapan Var mı?

 (news.ycombinator.com)
6 puan yazan GN⁺ 2025-01-22 | 1 yorum | WhatsApp'ta paylaş
  • Ollama'da kullanılabilen 0.5B-3B aralığındaki modeller hakkında bir tartışma
  • Bu tür modelleri iş akışının bir parçası olarak kullanan harika araçlar geliştirip geliştirmediğinize dair bir soru

İlgili okumalar

1 yorum

 
GN⁺ 2025-01-22
Hacker News yorumu

  • ollama kullanarak SMS spam mesajlarına yanıt verecek şekilde ayarladım. Her numaraya milenyal spor salonu arkadaşı ya da 19. yüzyıl İngiliz beyefendisi gibi bir persona veriyorum

  • Llama modeli kullanarak web sitelerindeki çerez bildirimlerini tespit ediyor ve EasyList Cookie'ye filtre kuralları ekliyorum. Çoğu çerez bildiriminin HTML/CSS yapısı benzer olduğu için innerText alınabiliyor ve küçük bir LLM ile yanlış pozitifler elenebiliyor. 3B model, yeterli prompt engineering ile iyi performans gösteriyor; 7B ise ek maliyet olmadan neredeyse hiç yanlış pozitif üretmiyor. Kod ve prompt'lar GitHub'da görülebilir

  • n100 CPU'lu bir mini PC kullanarak farklı tür ve stillerde hikâyeler üretiyorum. CPU fanı aşırı ısınmıyor; pek üretken değil ama eğlenceli

  • Küçük bir fish script'i kullanarak mevcut git diff'e göre üç commit message üretiyorum. Farklı modelleri test ediyorum; fikre ihtiyaç duyduğumda faydalı oluyor. Script ve örnekler GitHub'da görülebilir

  • Sohbet sırasında "kazananı" ilan etmeye çalışan küçük bir cihazım var

  • Jamie Brew'un "Comedy Writing With Small Generative Models" konuşmasını tavsiye ederim. Gitarı eline alıp çalmaya başlamasını beklerseniz daha da iyi olur

  • Microsoft, FLAME modelini (60M parametre) duyurdu. Excel formüllerini onarma/tamamlama konusunda çok daha büyük modelleri (100B+ parametre) geride bırakıyor

  • Micro Wake Word, ESP'lerde sesle uyandırma için bir kütüphane ve cihaz modeli seti. Kısa süre önce Home Assistant'ın tamamen yerel Alexa alternatifine dağıtıldı

  • Gemma 2B'yi fine-tune ederek devlet tarafından işletilen anne sağlığı danışma hattında yeni hamile kadınlardan gelen acil mesajları tespit ediyorum

  • Yaklaşık 1m parametreli bir model yapıp Magic the Gathering kartlarını rastgele üretiyorum. Karpathy'nin nanogpt'sini temel alıp birkaç özellik ekledim. Apple Silicon Mac'iniz varsa modeli doğrudan GitHub'dan üretebilirsiniz