Güney Kore Cumhurbaşkanlığı seçim vaatleri bilgi platformu
(github.com/MinsuChae)21. cumhurbaşkanlığı aday bilgileri tek bakışta
- Başlığı iddialı attım ama kısaca söylemek gerekirse bu, 21. cumhurbaşkanlığı seçimi öncesinde adayların özgeçmişlerini, seçim vaatlerini ve adaylarla ilgili tartışmaları sunmayı amaçlayan bir proje.
- 🔗 https://daeseoneunjigeum.com
Yapılma amacı
20'li yaşlardaki tanıdıklarımın cumhurbaşkanı ve cumhurbaşkanlığı seçimine ilgi gösterdiğini gördüm. Son dönemde yaşanan çeşitli olaylar nedeniyle gençlerin seçime ilgisinin arttığını ve seçim katılımının teşvik edilmesi gerektiğini düşündüm.
Ancak gerçek bir seçimde oy verirken adayları tek tek ayrıntılı incelemek zor oluyor ve diğer adaylarla karşılaştırınca kimin daha iyi olduğuna karar vermek de kolay olmuyor.
"O zaman LLM ile doğrudan soru-cevap yapan bir site yapalım." gibi çok basit bir fikirle başladım; planlama 2 ila 5 gün, kodlama ve dağıtım ise yaklaşık 2 gün sürdü.
Sunulan özellikler
- Aday bazında özgeçmiş, vaat ve tartışma özeti sunma
(Seçim broşürleri henüz yayımlanmadığı için şu anda haber temelli bir taslak.) - "○○ adayının öne çıkan vaatlerini söyle" gibi sorular için gerçek zamanlı Soru-Cevap
(Gemma‑3‑1b‑itmodeli yanıt üretiyor. Hem de sadece CPU ile 😅 )
Gelecek planı
- Seçim broşürü verilerine dayalı bilgi sunumu
- Geliştirici düzeyinde değil de Güney Kore vatandaşları düzeyinde büyük ilgi görürse veya kurumlardan destek alınırsa LLM modelini Gemma‑3‑27b ile iyileştirme
Eksik kalan noktalar
- Model boyutu
Aslında 27 b parametreli sürümü çalıştırmak istiyordum ama bunun için 48 GB VRAM gerekiyordu.
Sonunda 1 b modelinde uzlaşmak zorunda kaldım. (Sadece bir adet A6000 kiralamak bile aylık yaklaşık 600 bin won tutuyor.) - Düşük veri kalitesi
Haberler üzerinden eleme yaptım ama resmî kaynaklar olmadığı için somut vaatleri hâlâ net biçimde anlamanın zor olduğu bir sorun var. Seçim broşürleri açıklandığında ilk iş olarak güncelleyeceğim. - LLM modelinin yanıt hızı
Basit selamlaşmalarda birkaç saniye içinde yanıt veriyor ama vaatler gibi kritik sorular sorulduğunda 1 dakikadan fazla sürme sorunu var. Buna gerçek zamanlı demek zor. Bunun nedeni CPU ile çalışması. 😅
İstekler
- Yanlış bilgi veya rahatsız edici bir durum fark ederseniz lütfen yorumlarda bildirin.
- GPU desteği / bulut iş birliği her zaman memnuniyetle karşılanır.
- Yalnızca aşırı yük testi yapmaktan kaçınırsanız sevinirim!
Son dönemde gençlerin seçime katılımı daha önemli hâle geldiği için siyasi bilgilere kolay ve hızlı erişim sağlamak amacıyla bunu yaptım.
Uğrayıp merak ettiğiniz adayı aratın ve eksik kalan noktaları belirtin. 🙏
Alanım bilgisayar tarafı olsa da kendimi geliştiriciden çok yapay zeka araştırmacısı olarak konumlandırdığım için, test kodları ya da veri tipi kontrolleri gibi konular gerçek geliştiricilere biraz rahatsız edici gelebilir.
9 yorum
Merhaba. Bu yazıyı görüp ilham aldım; ben de benzer ama biçimi biraz farklı bir şey yaptım. Kişisel olarak yapay zeka uygulama geliştirmede hizmet olarak çeşitli olasılıkları test ediyorum ve bu da teknik yaklaşım ile uygulama konusunda benim için iyi bir deneyim oldu.
5 Mayıs 8'den 11 Mayıs'a kadar
gemma 12bile çalıştırıyorum. GPU bulut bilişime benzer hizmetler sunan bir şirketin yürüttüğü beta testine katıldım, ilgili yük testlerini gerçekleştirdim ve gerçek yükün görülebilmesi için bunları uyguladım.İlgili bilgileri sürekli sürekli düzeltmek zor olduğu için, kapsamlı bilgiler her güncellendiğinde ben de güncelliyorum. Bir sonraki güncelleme, resmi seçim adaylarının kesinleştiği 12'si sabahı olacak; ondan sonraki adımda ise seçim tanıtım materyalleri yüklendiğinde bunu RAG aracılığıyla bilgi sunacak şekilde geliştirmeyi planlıyorum.
Amaç çok iyi ama bu tür bilgileri LLM tabanlı olarak sunmanın (yanlış bilgi verilirse) hukuki açıdan sorun yaratabileceğini düşünüyorum..!
Birkaç siteye yüklememiştim; bunun benim iç testimden mi yoksa bir başkasından mı kaynaklandığını bilmiyorum ama aşırı yük yüzünden sistem zombi oldu. Yerel bir yapay zeka ve hafif bir modeldi; yükün bu kadar ağır vuracağını düşünmemiştim. Sanallaştırılmış bir ortamda çalıştırmıştım ama zombi durumuna düştü...;; Kontrol edip yeniden ayağa kaldıracağım.
Yerel yapay zeka hizmeti sunanlar için, GPU ile hesaplama yapıyorsanız durum biraz daha iyi olabilir ama CPU ise... vazgeçmek daha doğru gibi görünüyor. Birinin o kadar çok kullanmış olduğunu da sanmıyorum...;;
Fiziksel sunucuda normalde büyük işler yapılmayan bir sunucuydu ama docker container olarak ayağa kaldırıp servis verdim; donanım ne kadar düşük olursa olsun, SSH bağlantısı bile zorlaşacak kadar aşırı CPU yükü oluştu...; CPU sınırı koymamıştım, sanırım bu yüzden host sunucuda da sorun çıktı...
Gerçek kullanıcıların çok kullandığını da sanmıyorum...
OpenRouter key oluşturup kullandırmayı ya da WebLLM veya Gemini Nano kullanmayı da değerlendirdiniz mi?
Bilgilendirdiğiniz için teşekkürler. Öncelikle bu statik bir site olmadığı için, özellikle frontend tarafında işlemek yerine backend’de yapıp API anahtarını mümkün olduğunca gizlemeyi düşünüyorum.
Daha önce buna pek niyetim yoktu ama OpenAI veya başka bir API’yi seçim gününden 7 ya da 14 gün önce kullanmayı planlıyorum.
O zamana kadar, ne kadar küçük modelle maliyeti düşürebilsek de ne kadar kullanılacağını tahmin edemediğim için kullanımı konusunda temkinliyim.
Sayenizde WebLLM’e de baktım. Ben derin öğrenme araştıran biri olarak modeli CDN vb. üzerinden sunup çalıştırmayı düşünüyordum; böyle sunan bir şey olduğunu öğrenmiş oldum. Ancak hâlâ düşündüren noktalar var. Frontend’de çalıştırılırsa yük elbette azalır ama başlangıçtaki model sunum kısmının biraz uzun sürmesi sorun olabilir diye düşünüyorum. Bu kısım kafamı kurcalıyor. Yine de sayenizde böyle iyi bir projeyi öğrenmiş oldum. Henüz tam incelemediğim için, sadece ReadMe’deki modellerin mi çalıştığını, uyumlu modellerin de sunulup sunulmadığını, yoksa başka bir CDN’e mi yüklemek gerektiğini tam anlayamadım. Bana kalırsa modeli ayrıca kendiniz sunmanız gerekecek gibi görünüyor. O zaman da bu kısım düşündürücü olabilir. Yurt dışını bilmiyorum ama Türkiye’de modeli sunacak bir CDN var mı diye merak ediyorum. Benim baktığım yerli CDN’lerin çoğunun genelde yalnızca görsellere izin verdiğini biliyorum.
Aman Tanrım T_T
LLM 1B model olsa da yine de hesaplama yükü oldukça fazla görünüyor. Dün de ortalık epey karışıktı; bir anda container zombi durumuna geçti ve ben de telaşlandım. Docker’da CPU kullanım sınırını sürekli değiştirerek test ettim ama bu durumda aynı anda ancak 3~5 isteği zar zor işleyebiliyor gibi görünüyor.
Bir bakıma bu kısa projeyi yaparken, birkaç yıl içinde yerel yapay zekanın geleceğini ve GPU kaynağının yetersiz olduğu bir durumda LLM hizmeti verilirse ne kadar yük oluşacağını görmek de amaçlarımdan biriydi.
Sunucuda çalışan CPU AMD 7700. Sonuçta yerel yapay zeka ile bir şey yapmak istiyorsanız birçok unsuru dikkate almak gerektiğini fark ettim. Düşündüğümden daha sık, POST gönderildikten sonra yanıt gelmeden zaman aşımı yaşanıyor. Sonunda şunu düşündüm: bunu istikrarlı bir hizmete dönüştürmek için GPU ya da çıkarım amaçlı cihazların (örneğin Google TPU gibi) bolca olması, yanıt hızını iyileştirmek açısından avantajlı ve sistemi kuyruk yapısında sunabilecek şekilde tasarlamak gerekiyor.
Aslında ülkede LLM’yi gerçekten düzgün şekilde işleten şirket sayısı az (halihazırda bilinen Naver, Kakao, Upstage vb.). Chatbot’lar da çoğu zaman belirli işlevleri yerine getiriyor ya da LLM model API’lerine bağlanıyor. Bu yüzden ne kadar yük oluşacağını ve eğer web üzerinde böyle bir hizmet verilecekse sunucu yükünü nasıl azaltmak gerektiğini düşünmeme vesile oldu.
Bu arada bu yorumu gören bazı kişiler “modeli doğrudan verip sunmak yeterli değil mi?” diye düşünebilir ama gemma3 1b’nin boyutu 1GB’ı aşıyor. Sunucu hosting kullanıyor olsam da bu trafiği kaldırabileceğini düşünmedim.
Uygulama biçiminde bir şekilde önceden yüklenmiş olarak sunulabilir belki ama web’de hizmeti sunucu yükünü azaltarak nasıl verebiliriz sorusuna iyi kafa yoran şirketler, daha düşük bakım maliyetleriyle ilerleyebilir gibi görünüyor.
Değerli deneyiminizi paylaştığınız için gerçekten çok teşekkür ederim.