AI mühendisliği yığını
1. AI mühendisliği yığınının 3 katmanlı yapısı: Tüm AI servisleri üç temel katman üzerine kurulur.
1.1 Uygulama geliştirme (Application Development)
- Foundation Model kullanımı sayesinde herkes hızlıca AI uygulamaları geliştirebilir.
- Servis farklılaşması; prompt tasarımı, kullanıcı UI/UX'i ve değerlendirme sistemine bağlıdır.
- Ekipler arasında benzer modellerin kullanımı arttıkça, kullanıcı dostu arayüzler ve değerlendirme otomasyon araçları önem kazanıyor.
1.2 Model geliştirme (Model Development)
- Fine-tuning, Inference Optimization ve Dataset Engineering gibi alanlarda uzmanlaşma artıyor.
- Büyük ölçekli modellerin kullanımı ve özelleştirilmesi yaygınlaşıyor; çeşitli açık kaynak LLM ve multimodal modeller ortaya çıkıyor.
- Güvenilirlik ve kalite kritik önemde (ör. açık uçlu yanıt değerlendirmesi, etiket kalitesi yönetimi).
1.3 Altyapı (Infrastructure)
- Model dağıtımı, büyük ölçekli GPU kümesi işletimi, servis ölçeklendirme, izleme ve arıza müdahalesi.
- Altyapı inovasyonunun hızı görece daha yavaş olsa da performans ve maliyet yönetimi üzerinde çok büyük etkisi var.
2. AI mühendisliği vs ML mühendisliği: özdeki değişim
2.1 Model kullanım biçimi
- Geleneksel ML: kendi modelini eğitme (Machine Learning from scratch).
- Modern AI: önceden eğitilmiş büyük modelleri çağırma ve kullanma eğilimi baskın.
- Değerlendirme (Evaluation), model geliştirmeden daha önemli hale geliyor (özellikle açık uçlu çıktıları işlerken).
2.2 Kaynaklar ve mühendislik becerilerindeki değişim
- Yüzlerce ila binlerce GPU'dan oluşan kümeleri işletme yetkinliği (Scalable GPU infrastructure).
- Gerçek bir ürünü servise alırken, büyük hacimli veri yönetimi ve yüksek verimli kaynak kullanımı gerekli.
2.3 Değerlendirmede (Evaluation) yenilik
- Kısa yanıtlı (closed-ended) değerlendirmeden → açık uçlu çıktıları (open-ended output) ele alma becerisine geçiş gerekiyor.
- Otomatik ve yarı otomatik değerlendirme sistemlerinin (Auto evaluation system) geliştirilmesi hızlandı.
3. Model özelleştirme: prompt vs fine-tuning
3.1 Prompt tabanlı (Prompt-based)
- Prompt Engineering ve bağlam yönetimiyle davranış değiştirilir (modelin iç parametreleri değişmez).
- Daha az veri gerekir. Hızlı deneme, düşük maliyet.
- Sınırlar: yüksek zorluktaki işlerde ve karmaşıklık arttığında performans düşebilir.
3.2 Fine-tuning
- Model ağırlıkları doğrudan değiştirilir; büyük miktarda veri gerekir ve yüksek performans gerektiren durumlara uygundur.
- Maliyet ve zaman artar, ancak uzun vadede servis kalitesi, hız ve maliyetin tümünü iyileştirir.
4. "Eğitim" kavramının ayrışması
- Pre-training: Büyük foundation model'lerin ilk inşası; bunu yalnızca bazı dev şirketler ve kurumlar yapabiliyor.
- Fine-tuning: Mevcut model ağırlıkları temel alınarak, belirli problemlere veya müşteri verisine uyarlanmış eğitim.
- Post-training: Terim farklı anlamlarda kullanılsa da pratikte hem fine-tuning'i hem de sürekli güncellemeleri kapsayabiliyor.
5. Dataset Engineering: verinin konumundaki değişim
- Ağırlık yapılandırılmamış veriye (unstructured) kayıyor (metin, görsel, multimodal vb.).
- Etiketleme zorluğu artıyor: öngörülemez açık uçlu çıktılara karşı güçlü uzmanlık gerekiyor.
- Servis farklılaşmasının özü veriye kayıyor: yüksek kaliteli veri seti elde etmek doğrudan rekabet gücü anlamına geliyor.
- Veri kalitesi, etik ve gizlilik (Privacy/Ethics) konularına yanıt verme ihtiyacı da öne çıkıyor.
6. AI uygulama geliştirmede trendler
- Birçok organizasyon aynı modeli (Foundation Model) kullanırken,
- prompt engineering (girdi tasarımı),
- ürün arayüzü (UI/UX, chatbot, web uzantıları vb.),
- kullanıcı geri bildirim döngüsünün tasarımı kritik hale geliyor.
- Edge, mobil ve benzeri ortamlarda hafif AI servisleri geliştirmek yeni bir fırsat alanı olarak öne çıkıyor.
Geliştirme yaklaşımındaki değişim:
- Önceden: veri/model tasarımı → sonradan ürünleştirme
- Şimdi: hızlı ürün prototipleme → gerekirse veri/model yatırımı (Product first, Model/Data later)
7. AI vs full-stack mühendislik: sınırların çözülmesi
- Frontend ile web/mobil full-stack geliştiricilerin rolü genişliyor.
- AI ile arayüzü birleştirme yeteneği doğrudan rekabet avantajı haline geliyor.
- Foundation model + eklenti döneminde, karmaşık bir backend olmadan da kolayca AI servisi başlatmak mümkün.
- Kullanım deseni: hızlı prototipleme → kullanıcı geri bildirimi → yinelemeli iyileştirme.
8. Sonuç ve gelecek öngörüsü
- AI mühendisliği, mevcut ML mühendisliğinin devamı olmakla birlikte benzeri görülmemiş ölçekte genişleme ve inovasyon gerektiriyor.
- Foundation model'ler ve açık kaynak AI ekosistemi bu değişimin merkezinde yer alıyor.
- Bilgi fazlalığı çağında, net çerçeveler ve best practice'lerin oluşturulmasına duyulan ihtiyaç artıyor.
[Referans ve özet hazırlama]
- Orijinal metin: Chip Huyen, 『AI Engineering』
Henüz yorum yok.