Positler, yapay zekanın matematiğini iyileştiren yeni bir sayı türü

• Büyük sinir ağlarını eğitmek büyük ölçekli hesaplama gücü gerektiriyor
  • OpenAI'nin GPT-3'ü gibi modellerde yalnızca eğitim maliyeti yaklaşık $5m'in üzerindeydi
• Mühendisler bu maliyet yükünü azaltmak için sayıları temsil etmenin farklı yollarını tasarlıyor
• 2017'de önerilen Positler, bugün kullanılan kayan noktalı aritmetik işlemciler için bir iyileştirme niteliğinde
• Bunu donanım düzeyinde uygulayan ilk çekirdek geliştirildi. Mevcut FP yöntemine göre hesaplama doğruluğu bazı iş yüklerinde 4 kata kadar artıyor

  Moore yasası artık eskisi kadar geçerli olmadığından, aynı makineden daha fazla performans almanın yollarını bulmamız gerekiyor
  Bu yollardan biri, gerçek sayıları kodlama ve sayıları fiilen temsil etme yöntemini değiştirmek

• Sayıları değiştirmeye yönelik girişimler yalnızca burayla sınırlı değil. Kısa süre önce Nvidia, Arm ve Intel, makine öğrenimi uygulamaları için 32/16 bit yerine 8 bit kayan noktalı sayılar kullanma konusunda uzlaştı
  • Daha küçük ve daha az hassas biçimler kullanmak, hesaplama doğruluğundan ödün vererek verimlilik ve bellek kullanımını iyileştiriyor
• Gerçek sayılar sonsuz olduğundan, donanım bunları kusursuz biçimde ifade edemez
• Belirli bir bit sayısına sığdırmak için birçok gerçek sayının yuvarlanması gerekir
• Positlerin avantajı, tam olarak temsil edilmek istenen sayıların sayı doğrusu boyunca dağıtılma biçiminden geliyor
  ( Positlerin gerçek dağılım biçimi için yazıdaki görsele bakın. )
• Bunun sağladığı doğruluk artışı inkâr edilemez, ancak bunun GPT-3 gibi büyük yapay zeka modellerinin eğitimi üzerinde tam olarak nasıl bir etkisi olacağını zaman gösterecek