Yapay zekanın sadece tepki vermek yerine proaktif şekilde hareket etmesini sağlama fikriyle yakın zamanda bir YC batch'ine başvurdum; ondan önce de Epoch AI verilerine uyarlanmış özyinelemeli öz-iyileştirme üzerine bir makale yayımladım
Benzer araştırmalar yapan bir Birleşik Krallık üniversitesi profesörüyle iletişime geçip, farklı varsayımlarımızı, yöntemlerimizi ve örtüşen sonuçlarımızı yaklaşık bir saat tartıştık
Lisans fizik öğrencisi olsanız bile bağımsız araştırma yapıp uzmanlarla konuşursanız normalde tanışması zor insanlarla bağlantı kurabilirsiniz; bu yüzden genç birinin hangi işe girerse girsin araştırma, iyi bir çevre edinme aracı olur
Büyük laboratuvarların makale yayımlamayı bırakmasının nedeni de bu. Yayımlamak, zeki yabancıların dikkatini çekmenin başka yolu olmadığında en değerli şeydir; ama herkesin işe alınabildiği ve herkesin telefonu açtığı aşamada geriye büyük ölçüde sadece rakiplere neyin işe yaradığını gösterme etkisi kalır
Bilim sanayiye dönüştüğünde bu hep olur. Kimyagerler de serbestçe yayımlıyordu ama boyalar para etmeye başlayınca ilginç araştırmalar şirket laboratuvarlarına girdi ve artık açık yayımlanmaz oldu
LinkedIn uzmanlar için böyle bir bağlantı platformu olmalıydı ama şimdi ne yazık ki etkileşim tuzakları ve girişimci pozu kesen insanlarla dolu bir yer
Araştırmayla başlamış olun ya da olmayın, kendinizi ortaya koymak ve başkalarıyla konuşmak kariyer ve kişisel gelişim açısından en temelde önemli şey
Burada sözü edilen proaktif yapay zekanın tam olarak ne olduğunu daha fazla duymak isterim
Özyinelemeli öz-iyileştirme bana göre sonun başlangıcı
Gerçekten dünyanın ilk temel araştırmasını yapan iki startup'ta çalıştım. İlk şirket yeni sonuçları birinci sınıf bir dergide yayımlatmak için 3 yıl uğraştı, sonunda ön baskı olarak yayımlayıp dergiden vazgeçti
Şu anki ikinci şirket ise bu deneyim yüzünden hiçbir şey yayımlamıyor; ayrıca OpenAI veya Anthropic'in sonuçları kopyalayıp 6 aylık çalışmayı anlamsız hale getirmesini de önlemek istiyor. Makaleler sadece yatırım sunum materyalleriyle birlikte veriliyor
Bir startup'ın öncü araştırmayı açık yayımlayarak elde edeceği fayda neredeyse yok ve bunu savunmak da zor. Riski olmayan şirketler için bir gösteriş aracı olabilir ama startup'lar için sorun yaratıyor
Araştırma yayımlamanın amacı zaten başkalarının onu kopyalayabilmesi değil mi diye merak ediyorum
Kadrolu pozisyon veya fon peşinde koşan bir akademisyen değilseniz, dergiyi atlayıp makaleyi doğrudan yayımlayabilirsiniz. Önemli olan araştırmayı paylaşmak
Metnin söz ettiği şeyin, AI startup'larının bulgularını dergi yerine bloglarda yayımlaması olup olmadığını merak ediyorum. Dergiler fazla yavaş, katı ve sömürücü; belki de bu sektörde artık işe yaramıyorlar
En üst düzey bilgisayar bilimi konferanslarına makale gönderebilmek için, ilgili dar alanda doktora yapmamış kişilerin erişmesinin zor olduğu bir içeridenlerin dili ve biçimciliği kullanmanız gerekiyor
İşin ironik yanı, LLM'ler bunu oldukça iyi yapıyor; bu da dışarıdan birinin yazdığı gerçekten iyi bir makalenin, yapay zekanın ürettiği düşük kaliteli bir makaleden daha iyi değerlendirme alma ihtimalini düşürüyor
AI araştırmasının bloglaşması yüzünden sosyal medyadaki gibi her türlü iddia ve terim ortaya çıkıp yayılıyor; bu sağlıklı değil
Oyunlaştırılmış bir ortamda, çeşitli deneylerden çıkan birkaç sayıyı ekleyince neredeyse her şeyi destekliyormuş gibi gösterebiliyorsunuz ve bunun gerçekten anlamlı olup olmadığına pek bakılmayan bir aşamaya hızla gidiyoruz. Bu çöp daha sonra sonraki modelin eğitim verisi oluyor; o model de tekrar model, blog ve makale üretiyor. Bu kısır döngü bir kütüphaneye termit salmaya benziyor
O aşamaya zaten 10 yıl önce, belki de çok daha önce ulaştık. Şimdi olan şey, bunu katlanılır kılan sosyal eğitim olmadan oyuna katılan çok daha fazla insan olması
Yine de tamamen kötü değil; yeni katılımcıların durmadan geldiği dönemler can sıkıcı olsa da, geçip gittiklerinde insan özleyebiliyor
Geleneksel araştırma yayımcılığından farkının sonuçta sadece hız olup olmadığını merak ediyorum
Makalede geçen şirketler metinde belirsiz bırakılmış. Toplam atıf sayısında OpenAI en üstte; ardından MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks ve Aibee geliyor
Bunun yayın sayısı değil atıf sayısı olduğu ve kusurlu olsa da önem için vekil ölçüt olarak kullanıldığı belirtilmiş. Google gibi şirketler unicorn startup olmadığı için hariç tutulmuş
Araştırmacıların performans kotasını doldurup pozisyonlarını korumak için makale yayımlamak zorunda olduğunu sanıyordum. OpenAI veya Anthropic araştırma kariyerinden vazgeçirecek kadar büyük para vermiyorsa yayımlamaya devam edeceklerdir; bu yüzden bunu şirketlerin iyi niyeti olarak görmek zor
Google çok araştırma yayımladı; özellikle Transformer ve Attention araştırmalarını neden açık yayımladıklarını hâlâ merak ediyorum. Başta çeviri amaçlıydı ya da araştırmacılar bile gerçek potansiyeli görmemiş olabilir
Databricks'i Spark hosting şirketi sanıyordum; neden üst düzey AI startup'ı sayıldığını merak ediyorum
Makale aslında makale yayımlamayan şirketlerin hangileri olduğunu söylemiyor gibi görünüyor. OpenAI, Anthropic ve Hugging Face tam tersine yayımlayan şirketler olarak belirtilmiş; dolayısıyla “en üst düzey AI startup'ları” denince akla hemen OpenAI ve Anthropic gelmemeli
Başlığı görünce herkesin merak edeceği soruya makale düzgün cevap veremiyor. OpenAI atıf sayısında birinci ama eski ve etkili makalelerin atıfları zamanla birikiyor; ayrıca OpenAI'nin daha açık olduğu bir dönem de vardı
Altman sonrası yön değişikliğinden sonra da hâlâ katkı yapıp yapmadıkları bilinmiyor ve 2025 sonrası makaleler açıkça hariç tutulduğu için, asıl ilgi konusu olan en yeni öncü araştırmalara erişimi anlamak zorlaşıyor. Depo burada: https://github.com/q5loisel/unicorn-AI-startup-publications
Bir şirketin AI şirketi olması onu otomatik olarak araştırma şirketi yapmaz. Son birkaç yılda kurulan startup'ların çoğu ticari amaçlarla başkalarının yaptığı modelleri kullanıyor; dolayısıyla onlardan bilimsel makale beklemek için bir neden yok
Hatta startup'ların %50'si açık araştırmaya katkı sağlıyorsa bu beklentinin çok üstünde bir sonuçtur
Bilime kamu fonu verilmesinin nedeni, serbest piyasanın teşviklerine tek başına güvenilememesi. Şirketlerin rakipleriyle bilgi paylaşması için neredeyse hiçbir neden yok
İkinci en büyük oyuncunun adı OpenAI ise, bir miktar makale yayımlaması beklenir
Daha geniş sektörü analiz eden iyi bir makale, neden giderek iyi fikir bulmanın zorlaştığını öne süren mevcut araştırmaların öyle göründüğünü de ele alıyor
ABD'de araştırmacı sayısı artsa da üretim artış hızının durgunlaşmasının aksine, ABD şirket patentleri 45 yıl boyunca izlendiğinde Ar-Ge girdisi başına ortalama patentin arttığı ve girdiye karşı patent esnekliğinin korunduğu ya da yükseldiği görülüyor. Fikir olan patentlerdeki artış ile emek verimliliği arasında istikrarlı pozitif bir ilişki var, ancak fikir artışı kontrol edildiğinde şirket büyüme oranı düşüyor. Yani yenilik faaliyetinin büyümeyi ayakta tutma rolü son 40 yılda zayıflamamış sonucuna varılıyor https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
Google'ın Attention Is All You Need'i yayımlamamış olması durumunda bugünkü AI girişimlerinden hiçbirinin var olmayacak olması ironik
2015 tarihli https://research.google/pubs/distilling-the-knowledge-in-a-n... bağlantısına bakınca ironinin şimdi açığa çıkıyor olabileceği düşünülebilir
Google, bağımsız bir ön cephe model silahlanma yarışını ekonomik olarak irrasyonel görürken bu kapasiteyi stratejik açıdan vazgeçilmez saymış olabilir. En büyük modelleri yalnızca yetenek üretim fabrikası olarak kullanacak kadar geliştirip, bu zekayı çok daha fazla sayıda ucuz ve amaca özel modele dönüştürmeye dayanan uzun vadeli bir strateji olabilir
Google bunu biliyorsa baştan neden gizli silah olarak kullanmadığının nedeni, silahlanma yarışını öngörmesi ve bu süreçte kâr etmenin yolunu da bilmesi olabilir. Distillation makalesinin Transformer makalesinden önce çıkmış olması düşünülünce, bu ironi değil kaçınılmaz bir sonuç da olabilir
Google bile açık araştırma olmasaydı bugünkü konumunda olmazdı. Tıpkı II. Dünya Savaşı öncesinde radyasyon bilimi gibi, dünyayı değiştirme potansiyeli fark edilmeden önce sonuçlar serbestçe yayımlanır, ancak konu devletin ilgi alanına girdikten sonra silahla ilgisi olmayan araştırmacılar bile bulguları saklamaya başlar
O makalenin yazarlarının tamamı şimdi Google dışında AI şirketlerinde
O makale de zaten yaklaşmış birçok fikir üzerine kuruluydu. Harika bir keşifti ama birçok keşif gibi devlerin omuzları üzerinde duruyordu
AI sektörünün tamamı açık araştırma üzerine kuruldu, ancak mevcut dalga bununla çelişiyor ve silahlanma yarışını bahane eden açgözlülük tarafından yönlendiriliyor gibi görünüyor
Açık araştırmanın rolünü tanıyan yeni ESG politikalarına ihtiyaç var, ancak bugünün karanlık ortamında ESG ve diğer normların da geri itildiği görülüyor
Bilişim sektörünün değerinin önemli bir kısmı, zeki insanların işbirliği yapması ve ilk keşfin değerini tekelleştirmek yerine yöntemleri açıklamayı seçmesi sayesinde yaratıldı. Bu, bugünkü AI dalgasından yaklaşık yarım yüzyıl önce başlayan bir olgu
Ama benim durumumda bu açgözlülüğün tam tersi. Nasıl çalıştığını, sorun çözme çıktılarını ve eğitim içeriğini paylaşmak için doğrudan yayımlamak yeterli olurdu, fakat bunu akademinin onayladığı kurumların çerçevesi içinde yapmak yıpratıcı ve dikkat dağıtıcı
Burada “araştırma yayını”, bir HTML sayfası ve kaynak kodu yüklemek değil, son derece özel ve politik bir iletişim prosedürü anlamına geliyor. Bu, yalnızca itibar yarışının gerekli olduğu kariyer aşamalarında anlam taşıyor ve gerçek bilimsel süreci taklit eden bir kargo kültüne de epey benziyor
Harika kamu fonlu araştırmalar da çok, ancak Attention Is All You Need ve birkaç kritik OpenAI makalesi özel fonla üretildi; ayrıca araştırmalarda en çok atıf alan kurum da OpenAI. Açık araştırmayla ilgili varsayım kanıtlarla uyuşmuyor olabilir
Araştırmayı paylaşan şirketler de var, ancak bunlar genelde ABD şirketleri değil; örnek olarak https://arxiv.org/abs/2607.24653 verilebilir. DeepMind, Nvidia, Thinking Machines gibi şirketler istisna
Hakemli yayın süreci zahmetli, bilgi aktarım verimliliğini en üst düzeye çıkarmıyor ve iletişimden çok yeterlilik ile otorite sertifikasyonuna benziyor; bu itibarın getirisi de şirketlerden çok bireylere gidiyor
Blog tarzı yayınlarda doğrulanmamış çok çöp var, ancak hakemli araştırmalarda da düşük kaliteli sonuç çok; bu yüzden bilginin kaynağından bağımsız olarak sinyal-gürültü oranı onlarca yıldır kötü
İyi araştırmalar yayımlandığında rakipler bunu çeşitli şekillerde kullanabiliyor ve fikri mülkiyet haklarını fiilen uygulamak da neredeyse imkânsız olduğundan bu, yalnızca maliyet yaratan bir departmana dönüşüyor. Bilgisayar biliminin bazı alanlarında son teknoloji onlarca yıl ticari sır olarak gömülü kaldı ve akademik literatür şaşırtıcı derecede geride kaldı
Yayın yapmak zaman ve para ister, ama araştırmacılar ilginç problemleri çözmek ister, şirketler ise araştırmanın faydasını en üst düzeye çıkarmaya çalışır; dolayısıyla yayın ne birine ne diğerine yardımcı olur. Birçok temel araştırma da makale için değil, problem çözmek amacıyla yapılır ve çözümden sonra sıradaki probleme geçilir
Ön cephe araştırmalarında ulusal güvenlik kaygıları da her zaman eşlik eder. Bunların hepsi teşvik yapısının sonucudur ve temel araştırmanın önemli bir bölümü artık akademide gerçekleşmiyor. Ben de kapalı araştırma programlarından keyif aldım ve bizzat yürüttüğüm ilginç temel araştırmalar da yayımlanmaya değer değildi, çünkü amaç itibar değil çözülmesi gereken problemdi
1 yorum
Hacker News görüşleri
Yapay zekanın sadece tepki vermek yerine proaktif şekilde hareket etmesini sağlama fikriyle yakın zamanda bir YC batch'ine başvurdum; ondan önce de Epoch AI verilerine uyarlanmış özyinelemeli öz-iyileştirme üzerine bir makale yayımladım
Benzer araştırmalar yapan bir Birleşik Krallık üniversitesi profesörüyle iletişime geçip, farklı varsayımlarımızı, yöntemlerimizi ve örtüşen sonuçlarımızı yaklaşık bir saat tartıştık
Lisans fizik öğrencisi olsanız bile bağımsız araştırma yapıp uzmanlarla konuşursanız normalde tanışması zor insanlarla bağlantı kurabilirsiniz; bu yüzden genç birinin hangi işe girerse girsin araştırma, iyi bir çevre edinme aracı olur
Bilim sanayiye dönüştüğünde bu hep olur. Kimyagerler de serbestçe yayımlıyordu ama boyalar para etmeye başlayınca ilginç araştırmalar şirket laboratuvarlarına girdi ve artık açık yayımlanmaz oldu
Gerçekten dünyanın ilk temel araştırmasını yapan iki startup'ta çalıştım. İlk şirket yeni sonuçları birinci sınıf bir dergide yayımlatmak için 3 yıl uğraştı, sonunda ön baskı olarak yayımlayıp dergiden vazgeçti
Şu anki ikinci şirket ise bu deneyim yüzünden hiçbir şey yayımlamıyor; ayrıca OpenAI veya Anthropic'in sonuçları kopyalayıp 6 aylık çalışmayı anlamsız hale getirmesini de önlemek istiyor. Makaleler sadece yatırım sunum materyalleriyle birlikte veriliyor
İşin ironik yanı, LLM'ler bunu oldukça iyi yapıyor; bu da dışarıdan birinin yazdığı gerçekten iyi bir makalenin, yapay zekanın ürettiği düşük kaliteli bir makaleden daha iyi değerlendirme alma ihtimalini düşürüyor
AI araştırmasının bloglaşması yüzünden sosyal medyadaki gibi her türlü iddia ve terim ortaya çıkıp yayılıyor; bu sağlıklı değil
Oyunlaştırılmış bir ortamda, çeşitli deneylerden çıkan birkaç sayıyı ekleyince neredeyse her şeyi destekliyormuş gibi gösterebiliyorsunuz ve bunun gerçekten anlamlı olup olmadığına pek bakılmayan bir aşamaya hızla gidiyoruz. Bu çöp daha sonra sonraki modelin eğitim verisi oluyor; o model de tekrar model, blog ve makale üretiyor. Bu kısır döngü bir kütüphaneye termit salmaya benziyor
Yine de tamamen kötü değil; yeni katılımcıların durmadan geldiği dönemler can sıkıcı olsa da, geçip gittiklerinde insan özleyebiliyor
Makalede geçen şirketler metinde belirsiz bırakılmış. Toplam atıf sayısında OpenAI en üstte; ardından MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks ve Aibee geliyor
Bunun yayın sayısı değil atıf sayısı olduğu ve kusurlu olsa da önem için vekil ölçüt olarak kullanıldığı belirtilmiş. Google gibi şirketler unicorn startup olmadığı için hariç tutulmuş
Makale aslında makale yayımlamayan şirketlerin hangileri olduğunu söylemiyor gibi görünüyor. OpenAI, Anthropic ve Hugging Face tam tersine yayımlayan şirketler olarak belirtilmiş; dolayısıyla “en üst düzey AI startup'ları” denince akla hemen OpenAI ve Anthropic gelmemeli
Altman sonrası yön değişikliğinden sonra da hâlâ katkı yapıp yapmadıkları bilinmiyor ve 2025 sonrası makaleler açıkça hariç tutulduğu için, asıl ilgi konusu olan en yeni öncü araştırmalara erişimi anlamak zorlaşıyor. Depo burada: https://github.com/q5loisel/unicorn-AI-startup-publications
Bir şirketin AI şirketi olması onu otomatik olarak araştırma şirketi yapmaz. Son birkaç yılda kurulan startup'ların çoğu ticari amaçlarla başkalarının yaptığı modelleri kullanıyor; dolayısıyla onlardan bilimsel makale beklemek için bir neden yok
Hatta startup'ların %50'si açık araştırmaya katkı sağlıyorsa bu beklentinin çok üstünde bir sonuçtur
Daha geniş sektörü analiz eden iyi bir makale, neden giderek iyi fikir bulmanın zorlaştığını öne süren mevcut araştırmaların öyle göründüğünü de ele alıyor
ABD'de araştırmacı sayısı artsa da üretim artış hızının durgunlaşmasının aksine, ABD şirket patentleri 45 yıl boyunca izlendiğinde Ar-Ge girdisi başına ortalama patentin arttığı ve girdiye karşı patent esnekliğinin korunduğu ya da yükseldiği görülüyor. Fikir olan patentlerdeki artış ile emek verimliliği arasında istikrarlı pozitif bir ilişki var, ancak fikir artışı kontrol edildiğinde şirket büyüme oranı düşüyor. Yani yenilik faaliyetinin büyümeyi ayakta tutma rolü son 40 yılda zayıflamamış sonucuna varılıyor
https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
Google'ın Attention Is All You Need'i yayımlamamış olması durumunda bugünkü AI girişimlerinden hiçbirinin var olmayacak olması ironik
Google, bağımsız bir ön cephe model silahlanma yarışını ekonomik olarak irrasyonel görürken bu kapasiteyi stratejik açıdan vazgeçilmez saymış olabilir. En büyük modelleri yalnızca yetenek üretim fabrikası olarak kullanacak kadar geliştirip, bu zekayı çok daha fazla sayıda ucuz ve amaca özel modele dönüştürmeye dayanan uzun vadeli bir strateji olabilir
Google bunu biliyorsa baştan neden gizli silah olarak kullanmadığının nedeni, silahlanma yarışını öngörmesi ve bu süreçte kâr etmenin yolunu da bilmesi olabilir. Distillation makalesinin Transformer makalesinden önce çıkmış olması düşünülünce, bu ironi değil kaçınılmaz bir sonuç da olabilir
AI sektörünün tamamı açık araştırma üzerine kuruldu, ancak mevcut dalga bununla çelişiyor ve silahlanma yarışını bahane eden açgözlülük tarafından yönlendiriliyor gibi görünüyor
Açık araştırmanın rolünü tanıyan yeni ESG politikalarına ihtiyaç var, ancak bugünün karanlık ortamında ESG ve diğer normların da geri itildiği görülüyor
Ama benim durumumda bu açgözlülüğün tam tersi. Nasıl çalıştığını, sorun çözme çıktılarını ve eğitim içeriğini paylaşmak için doğrudan yayımlamak yeterli olurdu, fakat bunu akademinin onayladığı kurumların çerçevesi içinde yapmak yıpratıcı ve dikkat dağıtıcı
Burada “araştırma yayını”, bir HTML sayfası ve kaynak kodu yüklemek değil, son derece özel ve politik bir iletişim prosedürü anlamına geliyor. Bu, yalnızca itibar yarışının gerekli olduğu kariyer aşamalarında anlam taşıyor ve gerçek bilimsel süreci taklit eden bir kargo kültüne de epey benziyor
Hakemli yayın süreci zahmetli, bilgi aktarım verimliliğini en üst düzeye çıkarmıyor ve iletişimden çok yeterlilik ile otorite sertifikasyonuna benziyor; bu itibarın getirisi de şirketlerden çok bireylere gidiyor
Blog tarzı yayınlarda doğrulanmamış çok çöp var, ancak hakemli araştırmalarda da düşük kaliteli sonuç çok; bu yüzden bilginin kaynağından bağımsız olarak sinyal-gürültü oranı onlarca yıldır kötü
İyi araştırmalar yayımlandığında rakipler bunu çeşitli şekillerde kullanabiliyor ve fikri mülkiyet haklarını fiilen uygulamak da neredeyse imkânsız olduğundan bu, yalnızca maliyet yaratan bir departmana dönüşüyor. Bilgisayar biliminin bazı alanlarında son teknoloji onlarca yıl ticari sır olarak gömülü kaldı ve akademik literatür şaşırtıcı derecede geride kaldı
Yayın yapmak zaman ve para ister, ama araştırmacılar ilginç problemleri çözmek ister, şirketler ise araştırmanın faydasını en üst düzeye çıkarmaya çalışır; dolayısıyla yayın ne birine ne diğerine yardımcı olur. Birçok temel araştırma da makale için değil, problem çözmek amacıyla yapılır ve çözümden sonra sıradaki probleme geçilir
Ön cephe araştırmalarında ulusal güvenlik kaygıları da her zaman eşlik eder. Bunların hepsi teşvik yapısının sonucudur ve temel araştırmanın önemli bir bölümü artık akademide gerçekleşmiyor. Ben de kapalı araştırma programlarından keyif aldım ve bizzat yürüttüğüm ilginç temel araştırmalar da yayımlanmaya değer değildi, çünkü amaç itibar değil çözülmesi gereken problemdi