Phind-70B tanıtıldı - GPT-4 Turbo ile kod kalitesi farkını daraltırken 4 kat daha hızlı çalışan model

• Saniyede en fazla 80 token işliyor (GPT-4 Turbo saniyede ~20 token)
• 32K token penceresini destekliyor
• CodeLlama-70B modeli temel alınarak ek 50B token ile fine-tune edildi
• HumanEval'de %82,3 alarak %81 olan GPT-4 Turbo'yu (gpt-3-0125-preview) geride bıraktı
• Meta'nın CRUXEval'inde %59 ile GPT-4'ün %62'lik skorunun biraz gerisinde kaldı
• Kod üretimi açısından neredeyse GPT-4 Turbo ile aynı düzeyde veya bazı görevlerde onu aşıyor
• GPT-4 Turbo'ya göre daha az "tembel" olduğu için ayrıntılı kod örnekleri üretmekten çekinmiyor

[cosine20]

Yaklaşık 1 yıl önce GeekNews sayesinde Phind'i tanıdıktan sonra, kodla ilgili sorularımın neredeyse tamamını Phind'e sormaya başladım. Bazen bocaladığı oluyor ama artık ben de biraz deneyim kazandığım için, daha az sapıtacak şekilde soru soruyorum.

[xguru]

phind - geliştiriciler için Generative AI arama motoru
phind - geliştiriciler için GPT-4 tabanlı arama motoru

[GN⁺]

Hacker News yorumları

• Phind kullanım deneyimi paylaşımı

  • Son 3-4 haftadır Phind'i neredeyse her gün kullandım; üretilen kodun kalitesi iyi ve çalıştırması da sorunsuz.
  • ChatGPT'den daha yüksek doğruluğa sahip ve doğru yönü gösteriyor.
  • ChatGPT son 2 aydan uzun süredir yavaşladı, ancak bir konuyu çalışmak için ChatGPT daha ayrıntılı ve açıklayıcı.

• Kod kalitesi değerlendirmesine dair şüphe

  • GPT-4'ün verdiği regex ile string'i bölme sorununu çözdüm, gerekli unit test'leri ekledim ve başarıyla commit ettim.
  • 70B modeliyse defalarca denememe rağmen bu soruna bir yanıt veremedi.
  • GPT-4 dışındaki modelleri her denediğimde zaman kaybı gibi geliyor.

• Phind kurucusunun duyurusu

  • Phind-70B modelini giriş yapmadan ücretsiz deneyebilirsiniz.

• Phind'in yanıt hızı ve kalitesi hakkındaki izlenim

  • Yanıt hızından etkilendim, ancak kalite konusunda pek memnun değilim.
  • GPT-4 birkaç denemeden sonra POST isteğini dikkate alıp işliyor, Phind ise çoğunlukla yalnızca GET isteklerine odaklanıyor.

• LLM'ler için ilginç bir meydan okuma

  • Temel bir mantık bulmacasını LLM'lere vererek çözme yeteneklerini test ettim.
  • Phind-34B özellikle eğlenceli tepkiler veriyor ve bazen döngüye giriyor.

• Wireshark eklentisi yazma deneyimi karşılaştırması

  • Phind ile ChatGPT'yi karşılaştırarak Wireshark eklentisi yazma deneyimini paylaşıyor.

• API entegrasyonu olasılığı hakkında soru

  • Phind API'sinin, GPT-4'ü kodlama için kullanmaya optimize edilmiş aider.chat'e entegre edilip edilemeyeceği soruluyor.

• Phind kullanım deneyimi paylaşımı

  • 1 yıldan uzun süredir Phind kullanan bir kullanıcı olarak, onu GPT'ye tercih ediyorum.
  • Uzun soru dizilerinden sonra tekrar etme veya döngüye girme sorunu yaşanıyordu.

• Kod çevirisine Phind'in tepkisi

  • ChatGPT 3.5/4 bazen Go dosyasını baştan sona C#'a çevirirken, Phind kodun tamamını çevirmeyi reddediyor.

• Phind-70B'nin hızı ve performansı

  • Phind-70B, GPT-4 Turbo'dan çok daha hızlı; bu da NVIDIA'nın TensorRT-LLM kütüphanesi ve H100 GPU'ları kullanılarak sağlanıyor.