LLM Kullanarak Finansal Tabloların Analizi

• Büyük dil modellerinin (LLM), uzman insan analistlere benzer şekilde finansal tablo analizini başarıyla yapıp yapamayacağını araştırıyor
• Standartlaştırılmış ve anonimleştirilmiş finansal tablolar GPT-4'e veriliyor ve modelden gelecekteki kârın yönünü tahmin etmesi isteniyor
• Temel bulgular
  • Tahmin performansı: LLM, anlatısal ya da sektöre özgü bilgi olmadan bile kâr değişimini tahmin etmede finansal analistleri geride bırakıyor
  • Göreli üstünlük: Analistlerin zorlandığı durumlarda LLM göreli bir üstünlük gösteriyor
  • Tahmin doğruluğu: LLM'nin tahmin doğruluğu, dar kapsamlı olarak eğitilmiş güncel ML modellerinin performansına eşdeğer
  • Anlatısal içgörü: LLM'nin tahminleri, eğitilmiş bellekteki ezberden kaynaklanmıyor; bunun yerine şirketin gelecekteki performansına dair faydalı anlatısal içgörüler üretiyor
  • İşlem stratejisi: GPT tahminlerine dayalı bir işlem stratejisi, diğer model tabanlı stratejilere kıyasla daha yüksek Sharpe oranı ve alfa sağlıyor

GN⁺ görüşü

• LLM'nin potansiyeli: Büyük dil modellerinin finansal analizde insan analistleri geride bırakabilmesi, finans sektörü için büyük bir değişim yaratabilir. Bu, otomatik analiz araçlarının gelişme potansiyeline işaret ediyor.
• Modelin şeffaflığı: LLM'nin anlatısal içgörüler sunması, modelin tahmin sürecinin daha şeffaf ve anlaşılır olabileceği anlamına geliyor. Bu da finansal analistlerin modele güvenmesine ve onu kullanmasına yardımcı olabilir.
• İşlem stratejisinin faydası: GPT tabanlı işlem stratejisinin yüksek performans göstermesi, yatırımcılar için çok cazip olabilir. Ancak bu, modelin tahminlerinin her zaman doğru olacağını garanti etmediğinden temkinli bir yaklaşım gerektirir.
• Teknoloji benimseme açısından dikkat edilmesi gerekenler: Verinin kalitesi ve modelin eğitim süreci önemlidir. Ayrıca model tahminlerinin gerçek piyasa koşullarıyla nasıl örtüştüğü de sürekli gözden geçirilmelidir.
• İlgili teknolojiler ve projeler: Finansal analizde benzer işlevler sunan diğer projeler arasında AlphaSense, Kensho ve Bloomberg'in GPT-3 tabanlı analiz araçları bulunuyor. Bu araçlarla yapılacak karşılaştırmalar, LLM'nin güçlü ve zayıf yönlerini daha net anlamayı sağlayabilir.

[GN⁺]

Hacker News görüşleri

• 40. sayfadaki Figure 3'e bakıldığında, Ou ve Penman'ın (1989) 59 finansal tahmin değişkenini kullanan 3 katmanlı sinir ağı modeli ile GPT(CoT) karşılaştırılmış ve GPT'nin istatistiksel olarak anlamlı biçimde daha iyi performans göstermediği görülüyor.
• Piyasalar önemlidir ama spekülasyon piyasanın amacı değildir. Para kazanmak istiyorsanız eğitim alıp iyi maaşlı bir iş bulmak daha iyidir. Açgözlülük açısından bakıldığında spekülasyonun yıkıcı riskleri büyüktür. Finansal sistem sıfır toplamlı bir oyundur ve uluslararası finans çok risklidir. Arkadaşlarınıza sahip çıkmak, mutluluğu en üst düzeye çıkarmak ve dürüst, etik davranmak gerekir.
• Sıradan vatandaşların yerel yönetimlerin maliyesi hakkında anlamlı sorular sorabilmesini sağlamak en büyük değişimi yaratabilir. Örneğin Illinois eyaletindeki Cook County'de çok sayıdaki yerel yönetim ve seçilmiş makam her ay mali raporlar hazırlıyor, ancak vatandaş denetimi yetersiz.
• Araştırmanın geçmişi şöyle: yönetici açıklamaları karşılaştırıldı, olumlu/olumsuz kelimeler sayılarak duygu analizi yapıldı ve Twitter ile haber makaleleri kullanılarak gerçek zamanlı duygu modelleri kuruldu. LLM(GPT2) ile duygu analizi modeli de kuruldu, ancak yöneticiler yalnızca olumlu kelimeler kullanacak şekilde eğitildiğinden güvenilirlik düşüktü.
• Standartlaştırılmış LLM modelleri kullanılmaya başlanırsa, finansal raporların LLM sonuçlarını daha avantajlı gösterecek şekilde manipüle edilme ihtimali vardır.
• Araştırma tasarımında metinsel bilgi verilmiyor. Asıl ilgi, LLM'in salt finansal sayıları analiz edip sentezleme yeteneğini anlamak. Bunun nedeni, LLM'lerin matematiksel hesap yapmaktan çok bir sonraki token'ı tahmin ederek çalışmasıdır.
• LLM wrapper satmak isteyenlere: bu alan çok zor. Veri, dağılım ve düşük talep sorunlarıyla karşılaşacaksınız. Bunu gerçekten kullanacak fonlar zaten kullanıyor.
• GPT'nin tahmin yeteneğinin kaynağını anlamaya çalışıyorlar. Modele bir finans analisti gibi davranması, temel finansal oranları hesaplaması ve ekonomik yorum sunması söyleniyor. Ancak LLM'ler hesap yapmaz; bir sonraki token'ı tahmin ederek çalışır.
• Greg Diamos'un Lamini'de sunduğu earnings call analizini hatırlıyorum. İlgili bağlantılar HuggingFace ve GitHub'da bulunabilir.
• Daha büyük context window'a sahip modellerle (Gemini, Claude Opus) karşılaştırılsaydı ilginç olurdu. Aksi halde başlığı "GPT-4 ile finansal rapor analizi" olarak değiştirmek daha doğru olur.