musn129: ABD hisse senedi haber özetleme hizmeti
(musn129.com)ABD hisse senedi haberlerini toplayıp, neden yükselip düştüklerini özetleyen bir hizmettir.
Örneğin, en yakın tarihli örnek olan 2022-10-21 tarihli Netflix için the company is reinvesting a huge chunk of its profits at a high rate of return şeklinde bir özet sunuyor ve ilgili orijinal haber makalesine bağlantı veriyor.
ABD hisseleriyle çok ilgileniyorum; ama sabah kalkıp neden yükselip düştüklerini tek tek arayıp kontrol etmek zahmetli olduğu için geliştirdim. Belki birilerine faydası olur diye paylaşmak istedim.
Teknik olarak yapı şu şekilde:
- Fully Serverless (AWS Lambda + Cloudfront Lambda@Edge) olarak yapılandırıldı
- ABD hisseleriyle ilgili haberler crawl edildikten sonra, SQuAD adlı bir makine öğrenimi modeliyle sonuç çıkarımı yapılıyor (ör.
Why Nvidia stock goes up?)- Model olarak, Lambda üzerinde rahatça çalışabilmesi için hafifletilmiş bir model kullanıldı (Distillation BERT serisi)
- Veri üreten tüm Lambda'lar AWS Free Tier kapsamı içinde çalışıyor; ek maliyet ise yalnızca S3 ve Route 53 alan adı maliyetleri (şu anda aylık yaklaşık $2)
- Tüm veriler S3'te saklanıyor ve ayrıca bir DB kullanılmıyor
- SSR (NextJs) + Cloudfront Lambda@Edge (us-east-1)
Sürekli keyifle takip ediyorum; emeği geçen herkese çok teşekkürler. İlgi duyan bazı kişilere küçücük de olsa fayda sağlamasını umarak paylaştım. Teşekkür ederim.
21 yorum
Merhaba. Daha önce yürüttüğüm yan proje musn129’da büyük bir değişiklik oldu, bunu paylaşmak istedim.
Öncelikle büyük ilgi gösteren ve düzenli olarak kullanmaya devam eden herkese çok teşekkür etmek istiyorum.
Daha önce maliyet optimizasyonu için tüm işlemleri AWS Lambda üzerinde yürütüyor, model çıkarımı için ise SQuAD görevini Distillation BERT ile çözüyordum (ör. haberde bu hisse neden yükseldi? diye bir soru verip, cevabın haberin içinde "hangi konumda" bulunduğunu tespit ettiriyordum). Bunu artık OpenAI’nin ücretli API’sini kullanacak şekilde değiştirdim. Yeni modelle işlenen veriler 2023’ten itibaren uygulanmıştır. (2022 ise mevcut veridir)
Görsel eklenemediği için, son olarak bugün itibarıyla en büyük hareketi gösteren LUCID sonucunu da bırakıyorum. (https://musn129.com/nasdaq/2023-01-27 adresinden kontrol edebilirsiniz!)
Teşekkürler!
Bir
cryptosürümü yapılabilirse harika olur. Crypto piyasası, haberlerle çok güçlü bir pozitif korelasyona sahip.Vay... Gerçekten harika bir hizmet, teşekkürler.
Benzer programlar arasında kullanıcı arayüzü de kullanışlı ve en iyilerden biri gibi görünüyor. Yahoo Finance, Dow Jones, Bloomberg gibi servisleri kullandım (bu benim mesleğim olmadığı için, bireysel yatırımcı olarak programın kendisini kullanmış değilim ama); ilgili haberleri görmek burada daha kolay. Ancak herkesin ilgilendiği hisseler farklı olduğu için, hesap oluşturmak şart olmasa bile yıldız koyup belirli hisseleri sürekli takip edebilmek güzel olurdu. Keyifle kullanacağım. Teşekkürler ^-^
Bir aracı kurumda aktif olarak çalışıyorum. Bunu bir hizmet olarak geliştirmek istiyorum..??
Merak ettiğim bir şey var; size e-posta gönderirsem acaba yanıt verebilir misiniz??haha
Merhaba! İlginiz için teşekkür ederim. Merak ettiklerinizi bırakırsanız yanıtlayayım! Ancak, kişisel bir içerik içermiyorsa buraya bırakmanızın, diğer kişilerle de birlikte paylaşılabilmesi açısından daha iyi olacağını düşünüyorum! Teşekkürler.
Evet. Merak ettiğim çok şey var. :) Teknik konuları çok bilmediğim için rahatça bir kez sormak istiyorum.
Acaba bu projenin doğruluğunu biraz daha artırmak mümkün mü?
Sanırım bu; haber miktarını artırmak, haber kalitesini yükseltmek ya da modelin doğruluğunu artırmak gibi bir yönde olacaktır.
Daha fazla kaynak投入 edilirse, paylaştığınız hizmetin doğruluğunu ne kadar artırmanın mümkün olacağını merak ediyorum.haha
Evet, bence yeterince daha yukarı taşınabilir. Bunu kişisel olarak yaptım ve (şimdilik) gelir olmadığı için maliyet verimliliğine çok odaklandım; bu yüzden iyileştirilecek çok nokta olduğunu düşünüyorum.
Dediğiniz gibi, öncelikle daha kaliteli veri elde etmek en önemli konu gibi görünüyor. Bildiğim kadarıyla haber tarafında, crawling ile veriyi iyi şekilde kurmuş birçok SaaS var; bu yüzden bireysel ölçekte değil de bir proje düzeyindeyse, makul bir ücret karşılığında dışarıdan ücretli SaaS kullanarak kaliteli haber yazıları toplanabilir diye düşünüyorum.
Sonraki olarak, şu an modelin girdi ve çıktıları için ön işleme ve son işlemeye çok fazla dikkat etmedim; ancak model çıktılarına bakarak daha kaliteli sonuçlar alınabilecek şekilde özen gösterilirse, kullanıcının gördüğü sonuç çok daha iyi olacaktır. (Örneğin şu anda ben, çok anlamlı görünmeyen kısa yanıtları ya da boşluk varmış gibi duran yanıtları da verinin kendisi az olduğu için... kişisel olarak merak ettiğimde sadece tıklayıp bakmak isterim gibi bir ihtiyaçla bıraktım; ama production seviyesinde bunlar daha iyi düzenlenirse çok daha iyi bir kullanıcı deneyimi sunulabilir.)
Son olarak, bunda da maliyet meselesi nedeniyle ben oldukça hafif bir modeli yalnızca bir kez kullandım; daha büyük bir modelin (hesaplama maliyeti daha yüksek ama görece performansı daha iyi) kullanılabileceğini düşünüyorum. Ayrıca benim yaklaştığım Question Answering yöntemi dışında da, daha uygun sonuçlar elde etmek için çeşitli yöntemler denenebilir gibi görünüyor.
Yazarken uzadı ama, umarım ilgi duyan başka kişiler için de faydalı olur diye bırakıyorum. Teşekkürler!
Çok harika. Vay canına;;
Doğruluğu yeterince yükseltmek mümkün olursa, bunu doğrudan gerçek bir ürün olarak hayata geçirmeyi bile düşünmek mümkün gibi görünüyor.
(Bu hizmeti görenlerin yorum tepkilerine bakınca bile, sanki Preto-Type(prototo x, preto o) olarak doğrulama zaten tamamen bitmiş gibi görünüyor haha)
Bir ürün planlayıcısı olarak, üzerinde düşündüğüm yurt dışı hisse senedi alanındaki iyileştirme noktaları büyük ölçüde iki taneydi.
Bunlardan biri fiziksel ya da teknik pain point'ti.
-Örneğin akşam işlem yapmak zorunda olmak / döviz bozdurmak zorunda olmak / 15 dakika gecikmeli fiyat göstermek / alış-satış kademelerini gösterememek / işlem yapılabilen ülke sayısının az olması gibi, yurt dışı ile yerel arasındaki fiziksel farktan kaynaklanan bu tür rahatsızlıkları nasıl gidereceğimiz meselesi.
Ama şu anda bu kısım çok iyileşti. Sermayenin gücü... sayesinde haha
Son dönemde benim ilgi duyduğum alan ise bilgi ve içerik meselesiydi.
Öncelikle İngilizceyi iyi bilmek gerekiyor; İngilizceyi iyi bilseniz bile yurt dışı bilgileri araştırmak zor, bir de o kadar çoklar ki neyi nasıl arayacağınızı bilemiyorsunuz. Zaman yok, bakılacak şey çok, yatırım zor, anlatan da yok...
Bu yüzden aracı kurumların yaptığı işler genelde bir içerik ekibi kurmak, dışarıdan içerik satın almak ya da araştırma kapsamını yurt dışı hisselerine kadar genişletmek gibi şeyler oluyor; ama daha gidilecek çok yol var. Sonuçta tek tek insan eli değmesi gerekiyor. Böyle olunca güncellik de düşüyor..
Sizin geliştirdiğiniz hizmetten çok etkilenmemin nedeni de buydu.
Bu hizmetin günlük kullanıcı deneyimini ciddi biçimde yükseltebileceği görünüyor. Sonuçta insanların istediği şey, neden yükseldi? neden düştü?.. değil miydi.. diye düşünüyorum haha
Ayrıntılı yanıtınız için teşekkür ederim! Çok yardımcı olacağını düşünüyorum. Özellikle sahada çalışan birinin içgörülerini paylaşmanızın, yalnızca bana değil diğer insanlara da büyük fayda sağlayacağını düşünüyorum. Teşekkürler!! haha
Hem proje hem de yorumlar için teşekkürler. Başkalarına da çok yardımcı olacak gibi görünüyor!
Çok harika bir hizmet!
Bir hissenin tavan yapmasına rağmen nedeninin pek yer almadığı ve sadece tavan yaptığına dair haberlerin bulunduğu durumlar da epey oluyor.. Bu tür haberleri nasıl iyi filtreleyebileceğinizi merak ediyorum
Merhaba! İlginiz için teşekkür ederim. Kalitenin düşük görünmesinin başlıca iki nedeni var gibi duruyor. Biri, kaynak makalenin içeriğinin istenen bilgiyi kendi başına yeterince içermemesi; diğeri ise makine öğrenimi modelinin çıkarım sonucunun iyi olmaması olabilir. (Şu anda oldukça naif bir yöntem kullanıyoruz haha..)
Şu anda birden fazla makale olduğunda sıralamayı model output score ile yapıyoruz; ancak çok kısa cümleleri (örneğin şu an görüldüğü gibi tamamen boş olanlar ya da fazla kısa olanlar) elemek veya buna ek olarak birkaç farklı heuristik daha kullanmak, hızlı bir iyileştirme sağlayabilir gibi görünüyor. Değerli geri bildiriminiz için teşekkürler!
Vay, çok güzel olmuş.
İstediğim birkaç hisseyi abone olup her sabah e-postayla alabilsem harika olur gibi görünüyor.
E-posta maliyetli olacağı için, uygun fiyatlı bir ücretli modele geçmeyi de düşünebilirsiniz haha
Güzel görüşleriniz ve fikirleriniz için teşekkürler! hahaha, özellikleri yavaş yavaş eklemeye çalışacağım. GeekNews'ten her zaman çok ilham alıyorum, bu yüzden bu fırsatla ne kadar minnettar olduğumu özellikle söylemek istedim! hahaha
Kore hisseleri için ne çıkacağını da merak ediyorum, hehe
Kore hisse senetleri konusunda da zaten ne yapacağımı düşünüyordum; onu da yavaş yavaş geliştirip eklemeye çalışacağım. İlginiz için teşekkür ederim haha
Vay canına! Ne kadar ilginç bir hizmet. Böyle bir yöntemle, müzik listelerinde belirli bir sanatçının şarkısı yeniden yükselişe geçtiğinde bunu analiz etmek mümkün olabilir mi diye düşündüm.
Güzel görüşünüz için teşekkürler! Benzer bir yaklaşımla, yalnızca yeterli veri varsa gerçekten değerlendirilebilecek çok şey olabilir gibi görünüyor!
Hisseler... bazen yükseliyor da mı...? Garipmiş... benimkilerse durmadan düşüyordu...
Yeni bir hisse satın almadan önce lütfen bunu GeekNews'te paylaşın.