MK-1

• MK-1, OpenAI, Anthropic ve Google gibi seçkin yapay zeka devleriyle eşdeğer veya daha iyi yeteneklere sahip yapay zeka modelleri sunmayı hedefleyen yeni bir şirket.
• Şirketin ilk ürünü olan MKML, yalnızca birkaç satır Python koduyla GPU üzerinde büyük dil modeli (LLM) çıkarım maliyetini 2 kat azaltabilen bir çıkarım çalışma zamanıdır.
• MKML, Hugging Face ve PyTorch gibi popüler ekosistemlerle uyumludur.
• MKML şu anda kapalı beta sürüm aşamasındadır ve ilk iş ortaklarını aramaktadır.
• MKML, yapay zeka modellerinin bellek kullanımını azaltıp hızını artırarak optimize edilmesine yardımcı olabilir. Örneğin, Llama-2 13B modelini 26GB'den 10.5GB'ye düşürebilir ve forward pass çıkarım süresini 2.3 kata kadar azaltabilir.
• MKML, yapay zeka modellerini maliyet veya hız odağıyla optimize etmek için kullanılabilir. Maliyet optimizasyonu senaryosunda modelin daha ucuz GPU instance'larına sığmasını sağlayabilir ve daha pahalı instance'larda temel modelden daha hızlı çalıştırabilir. Hız optimizasyonu senaryosunda ise MKML, modeli 2.0 kata kadar hızlandırarak daha fazla kullanıcıya hizmet verilmesini sağlayabilir.
• MKML, mevcut iş akışlarına kolayca entegre edilebilir. Bu süreç, MKML'in model codec'lerinden biriyle modeli bir kez sıkıştırmayı, sıkıştırılmış modeli diske kaydetmeyi ve ardından çıkarım için yüklemeyi içerir.
• MKML, çeşitli model boyutlarını ve sistem yapılandırmalarını destekler ve hız testlerinde tutarlı biçimde temel çizgiden daha hızlıdır.
• MKML ayrıca özgün modele yüksek sadakat korur ve standart perplexity ölçümlerinde ihmal edilebilir farklar gösterir.
• MK-1'in uzun vadeli vizyonu, tüm çıkarım yığınında yapay zekanın performansını sınırlarına kadar taşımaktır. Gelecekteki geliştirmeler için iddialı bir yol haritaları vardır.

[GN⁺]

Hacker News görüşleri

• Makalede MK-1 adlı yeni teknoloji tartışılıyor, ancak mevcut nicemleme yöntemleriyle sonuç karşılaştırması yapılmadığı için bazı okurlar bunu önemli bir eksiklik olarak görüyor.
• Bir okur, Llama 1 için kullanılabilen diğer nicemlemelere dair bir karşılaştırma tablosu sunuyor ve MK-1'in performansının Q5_1'e benzer olduğunu, biraz daha düşük karmaşıklık ve 2 kattan fazla hız artışı sunduğunu öne sürüyor.
• Bazı okurlar MK-1'e şüpheyle yaklaşıyor ve bunun bitsandbytes veya ggml gibi mevcut teknolojilerin etrafına sarılmış bir wrapper olabileceğini öne sürüyor.
• MK-1'in açık kaynak olmamasıyla ilgili endişeler dile getiriliyor; bazı okurlar bu alanın çok hızlı ilerlemesi ve kullanım kolaylığının yetersizliği nedeniyle bunu kullanmayacaklarını söylüyor.
• Bir okur, ML model nicemleme çalışmalarında yer aldığını ve açık kaynak 4 bit veya 8 bit nicemlemenin en iyi seçenek olmadığını savunarak daha gelişmiş tekniklere işaret ediyor.
• MK-1 ile 4 bit nicemlemeye sahip mlc-llm arasında karşılaştırma talep ediliyor; ikincisinin Llama2 13B'yi şaşırtıcı derecede hızlı çalıştırdığı bildiriliyor.
• Bazı okurlar teknoloji yığınındaki özel mülk bağımlılıklarından rahatsızlık duyduklarını ifade ediyor ve OpenAI ile Anthropic gibi üst düzey seçenekleri ya da kendi çözümlerini geliştirmeyi tercih ediyor.
• Şirketin popüler modelleri optimize edip bunları gerçek bir OSS lisansıyla satma ve ağırlıklara ilişkin lisans kısıtlamaları konusunda endişe etmeme kararı stratejik bir hamle gibi görünüyor.
• Bazı okurlar MK-1'i bir başka yapay zeka startup dolandırıcılığı olarak nitelendiriyor; GGML kullandığını, kapalı olduğunu ve VC parası peşinde koştuğunu eleştiriyor.
• MK-1'in açık kaynak olmaması ve kapalı yapısı büyük bir dezavantaj olarak görülüyor; bazı okurlar bunu "boğulmakta olan biri" olarak ilan ediyor.