Unix vs. Linux
Oracle vs. MySQL
Açık kaynak, iş birliği yoluyla yenilik üretti. Açık kaynağın gücü şeffaflık ve iş birliğidir. Linux, MySQL gibi başarılı açık kaynak projeleri bunun sonucudur.
GPT-n vs. Llama ?
Llama açık, ama inovasyon açısından sınırları var.
Llama modelinde yenilik yapabilmek için ön eğitim yapılabilmesi gerekir, ancak şu anda yalnızca sonradan eğitim mümkündür. Bunun nedeni, Llama'nın eğitim verilerini açıklamamış olmasıdır. AI ve derin öğrenmede kaynak kod, eğitim veri kümesidir. Ancak Llama yalnızca model weight'lerini açıkladı; eğitim verisi, model training code'u, hyperparameter'lar gibi unsurları açıklamadı. Mevcut Llama weight'leriyle fine-tuning, hafifletme gibi ayar odaklı yenilikler mümkün olsa da, yalnızca ön eğitimle mümkün olan model weight yenilikleri imkansızdır. Çünkü AI ve derin öğrenmede eğitim veri kümesini geliştirmek, kod yazmak ve debug etmektir. Llama'nın eğitim verileri kapalı olduğu için, kamunun iş birliğiyle bunu iyileştirmesinin bir yolu yoktur. Bu açıdan bakınca Llama'yı açık kaynak olarak görmek zordur.
Ayrıca, topluluğun GPU kaynakları da yetersiz.
Llama'nın eğitimi için H100*16k GPU kullanıldığı söyleniyor. Sadece GPU maliyeti bile 600 milyar wonu aşıyor. Bunu çalıştıracak altyapı ve elektrik gibi ek maliyetler de hesaba katılırsa, toplamın 1 trilyon wonu rahatça aşacağı söylenebilir. Herkesin deneyebileceği bir iş değil. Açık kaynak topluluğunda inovasyonun mümkün olabilmesi için kamusal bir GPU kümesi olması gerekir.
Özetle
AI ve derin öğrenme alanında açık inovasyonun mümkün olabilmesi için en azından şu iki koşul gerekir.
Eğitim verilerinin açıklanması
Büyük ölçekli kamusal GPU kümesi sağlanması
Ancak 1. madde telif hakkı sorunları nedeniyle pek olası görünmüyor. Ve 2. madde için 1 trilyon won gerekiyor.
Sonuç olarak, mevcut durumda AI ve derin öğrenme alanında açık inovasyon olasılığı oldukça düşüktür. Ancak GPU ya da neuromorphic chip gibi donanımlarda yenilik yaşanırsa, tablo değişebilir.
1 yorum
Unix vs. Linux
Oracle vs. MySQL
Açık kaynak, iş birliği yoluyla yenilik üretti. Açık kaynağın gücü şeffaflık ve iş birliğidir. Linux, MySQL gibi başarılı açık kaynak projeleri bunun sonucudur.
GPT-n vs. Llama ?
Llama açık, ama inovasyon açısından sınırları var.
Llama modelinde yenilik yapabilmek için ön eğitim yapılabilmesi gerekir, ancak şu anda yalnızca sonradan eğitim mümkündür. Bunun nedeni, Llama'nın eğitim verilerini açıklamamış olmasıdır. AI ve derin öğrenmede kaynak kod, eğitim veri kümesidir. Ancak Llama yalnızca model weight'lerini açıkladı; eğitim verisi, model training code'u, hyperparameter'lar gibi unsurları açıklamadı. Mevcut Llama weight'leriyle fine-tuning, hafifletme gibi ayar odaklı yenilikler mümkün olsa da, yalnızca ön eğitimle mümkün olan model weight yenilikleri imkansızdır. Çünkü AI ve derin öğrenmede eğitim veri kümesini geliştirmek, kod yazmak ve debug etmektir. Llama'nın eğitim verileri kapalı olduğu için, kamunun iş birliğiyle bunu iyileştirmesinin bir yolu yoktur. Bu açıdan bakınca Llama'yı açık kaynak olarak görmek zordur.
Ayrıca, topluluğun GPU kaynakları da yetersiz.
Llama'nın eğitimi için H100*16k GPU kullanıldığı söyleniyor. Sadece GPU maliyeti bile 600 milyar wonu aşıyor. Bunu çalıştıracak altyapı ve elektrik gibi ek maliyetler de hesaba katılırsa, toplamın 1 trilyon wonu rahatça aşacağı söylenebilir. Herkesin deneyebileceği bir iş değil. Açık kaynak topluluğunda inovasyonun mümkün olabilmesi için kamusal bir GPU kümesi olması gerekir.
Özetle
AI ve derin öğrenme alanında açık inovasyonun mümkün olabilmesi için en azından şu iki koşul gerekir.
Ancak 1. madde telif hakkı sorunları nedeniyle pek olası görünmüyor. Ve 2. madde için 1 trilyon won gerekiyor.
Sonuç olarak, mevcut durumda AI ve derin öğrenme alanında açık inovasyon olasılığı oldukça düşüktür. Ancak GPU ya da neuromorphic chip gibi donanımlarda yenilik yaşanırsa, tablo değişebilir.