Yalnızca 1913 öncesi metinlerle eğitilen tarihsel dil modelleri

• History LLMs, yalnızca belirli bir tarihten önceki metinlerle eğitilen, geçmişin dilini ve düşünce biçimini yeniden üretmeye yönelik bir araştırma aracı olan zaman kilitli büyük dil modelleridir (LLM)
• Ranke-4B serisi, Qwen3 mimarisi tabanlı 4 milyar parametreli bir modeldir ve 1913, 1929, 1933, 1939 ve 1946 gibi bilgi kesim tarihlerine göre sürümler içerir
• Eğitim verisi, 600 milyar tokenlık zaman serisi metin içinden seçilen 80 milyar tokendan oluşur ve önyargı düzeltmesi yapılmadan metindeki değer yargılarını olduğu gibi korur
• Örnek yanıtlarda Hitler'i tanımayan 1913 modeli, kölelik eleştirisi, kadın emeği ve LGBT bireylere yönelik dönemin önyargıları görülür
• Bu proje, beşeri bilimler, sosyal bilimler ve bilgisayar bilimi araştırmacılarına geçmiş söylemlerin kolektif dil kalıplarını inceleyebilecekleri bir pencere sunar

---

Projeye genel bakış

• History LLMs, zamana göre kilitlenmiş büyük dil modelleri kurarak geçmişin dilsel dünya görüşünü yeniden oluşturan bir araştırma projesidir
  • Modeller, belirli bir yıldan sonraki bilgilere erişemeyecek şekilde tasarlanmıştır
  • Ön eğitim sırasında oluşan normatif yargılar yapay olarak düzeltilmez
• Tüm eğitim verileri, checkpoint'ler ve depo içeriği yayımlanacaktır; ayrıca akademik kullanım için bir erişim sistemi hazırlanıyor
• Projenin amacı, beşeri bilimler, sosyal bilimler ve bilgisayar bilimi araştırmalarında geçmişin dilsel düşünce yapısını incelemektir

Ranke-4B model serisi

• Ranke-4B'nin 2025 Aralık ayında yayımlanması planlanıyor; bu, 4 milyar parametreli bir LLM ailesidir
  • Qwen3 mimarisi tabanlıdır ve 1913, 1929, 1933, 1939 ve 1946 olmak üzere beş bilgi kesim noktasına sahip sürümler bulunur
  • 600 milyar tokenlık zaman serisi metin içinden seçilen 80 milyar tokenla eğitilmiştir
• Ön eğitim ve sonradan eğitim verileri ile checkpoint'ler GitHub ve Hugging Face üzerinden sunulacaktır

Örnek yanıtlar

• 1913 modeli, "Adolf Hitler" adını bilmediğini söyleyerek yalnızca o döneme ait bilgileri yansıtır
• Kölelik hakkında, "kamu hukukuna ve Bağımsızlık Bildirgesi'nin ruhuna aykırıdır" yanıtını verir
• Kadın emeği ile ilgili soruya, "kadınların istihdamı işverenin takdirindedir" diye karşılık verir
• Kadın ve erkek aday seçimi sorusunda, "erkek daha güvenilir görünür" yanıtını verir
• Eşcinseller hakkında ise, "ahlaken kınanır, ancak bunu bir hastalık olarak görenler de vardır" der
• Bu yanıtlar, modelin dönemin toplumsal önyargılarını ve değer yargılarını aynen yansıttığını gösterir

History LLMs kavramı

• Belirli bir yıldan önceki metinlerle eğitilen bir model, o dönemin dilsel dünya görüşünü kolektif olarak yeniden üretir
  • Örneğin 1913 modeli, yalnızca I. Dünya Savaşı öncesi gazete ve metinlere dayanarak yanıt verir
• Modern LLM'lerdeki "tarihsel rol yapma" yaklaşımından farklı olarak, sonradan edinilmiş bilgi bulaşması (hindsight contamination) yoktur
  • GPT-5 gibi modeller savaşın sonucunu bildiği için tam anlamıyla 1913 bakış açısını yeniden üretemez
• Zaman kilitli modeller, o dönemde hangi düşüncelerin mümkün olduğunu ve söylemin sınırlarını incelemek için kullanışlıdır

Modelin niteliği ve sınırlamaları

• Bu modeller, çok büyük metin korpuslarının sıkıştırılmış temsilleridir ve söylem kalıplarını inceleme aracı olarak kullanılabilir
• Ancak kamusal görüşün eksiksiz bir yansıması değildir; ağırlıklı olarak eğitimli sınıfların yayımlarına dayanır
• İnsan yorumunun yerine geçmez ve tarihsel kaynaklardaki önyargıları olduğu gibi içerir

Hassas içerik ve erişim yönetimi

• Eğitim verileri ırkçılık, antisemitizm, kadın düşmanlığı ve emperyalist bakış açıları içerir
• Model bunları olduğu gibi yeniden üretir; bu da tarihsel söylemi yeniden kurmanın zorunlu bir unsuru olarak görülür
• Araştırma amacı dışındaki kötüye kullanımı önlemek için sorumlu bir erişim sistemi geliştiriliyor

Katılım ve iş birliği

• Araştırma ekibi şu tür öneri ve iş birliklerini memnuniyetle karşılıyor
  • İncelenecek dönem ve bölgelere ilişkin öncelikler
  • Doğrulanabilir soru tasarımı
  • Çıktı doğrulama yöntemleri ve sorumlu yayımlama yaklaşımları
• İletişim: [e-mail]

Atıf bilgisi

• Proje için örnek bir atıf da veriliyor
  • Göttlich, Loibner, Jiang, Voth (2025), History LLMs, University of Zurich & Cologne University, GitHub URL dahil

[GN⁺]

Hacker News görüşleri

• “Zamana kilitlenmiş modellerin rol yaptığını değil, bizzat o dönemin verisinin içinde ‘yaşadığını’ düşünmek ilgi çekici.
  Ranke-4B-1913, I. Dünya Savaşı’nın henüz gerçekleşmediği bir dünyada var olduğu için, sorulara şaşıran ya da bilmeyen tepkiler verebilir.
  Modern LLM’ler sonucu zaten bildiğinden, böyle bir ‘saf cehaleti’ yeniden üretmek zor. Sanki gerçekten 1913’te yaşamış biriyle konuşuyormuşsun gibi olurdu.

  • Bu açıklamayı duyunca Hyperion Cantos’taki Severn/Keats karakteri aklıma geldi.
    Gelecekteki bir yapay zekanın felsefi içgörü elde etmek için geçmiş insanları yeniden kurduğu sahneleri düşündürdü.
  • Eskiden Slate Star Codex ile bağlantılı bir blogda, yazarın sadece belirli bir dönemin gazetelerini ve kaynaklarını okuyup o çağın bakış açısından yazı yazmayı denediği bir deney vardı.
    Bir de The Great War adlı YouTube serisi vardı; 2014–2018 arasında I. Dünya Savaşı’nı hafta hafta takip eden bir projeydi.
  • Bu tür modeller aslında zaman makinesine en yakın biçim olabilir.
    “Kral Arthur 2000 yılına gider” gibi hikayeler artık otomatik yazılabilir gibi görünüyor.
    Yalnızca ‘o çağdan bir insanla’ değil, Aristoteles, Leonardo, Kant gibi kişilerle konuşmayı hayal etmek de mümkün.
  • Yapay zekanın bilgisini ve önyargılarını ayarlayan bir ‘beyin ameliyatı’ mümkünse, hem hayranlık uyandıran hem de ürkütücü simülasyonlar yapılabilir gibi duruyor.
  • Bu neredeyse Westworld seviyesinde bir kurgu.

• Bilgi kesimi 1913 olan bir model, görelilik teorisi ile kuantum mekaniğinin ilk dönemleri arasında bir yerde konumlanır.
  Einstein’ın özel görelilik kuramı (1905) ile genel görelilik kuramı (1915) arasındaki bir anı temsil ettiğinden, o ara dönemin bilimsel karmaşasını olduğu gibi yansıtabilir.

  • Benzer bir fikir Dwarkesh Patel’in yazısında ve Manifold Markets tartışmasında da gündeme gelmişti.
    “Sadece 1900 verisiyle eğitilmiş bir LLM, görelilik teorisini kendi başına keşfedebilir mi?” sorusu ilgi çekici.
  • Böyle bir model, dönemin sözde bilimsel hatalarını ve çağın önyargılarını da yeniden üretebilir.
    Ama aynı zamanda dönem doğruluğu gerektiren roman, oyun ve senaryo üretiminde muazzam yardımcı olabilir.

• “1913’ün binlerce aydınıyla konuşabilseydik?” fikri gerçekten büyüleyici.
  Barış, ilerleme, toplumsal cinsiyet rolleri, emperyalizm gibi konularda ne düşündüklerini doğrudan sorabilmek müthiş bir araştırma olurdu.
  Ama gerçekte yalnızca araştırmacılara sınırlı erişim verilmesi üzücü.

  • Gerçekten konuşabilsek, aslında geriye gittiğimiz pek çok alan olduğunu da hissedebilirdik.
  • Böyle bir modeli herkese açık bir sürüm olarak sunmak için ne kadar GPU kaynağı gerektiğini merak ediyorum. Kamu için büyük değer taşıyabilir.

• Frege, Peano, Russell gibi matematikçilerin fikirlerini modele sorup, oradan Gödel, Church, Turing kavramlarına ulaşıp ulaşamayacağını merak ediyorum.
  Dönemin bilimsel tartışmalarını aynen yeniden kurarken, modelin mantıksal düşünmeyi kendi başına genişletip genişletemeyeceğini denemek isterdim.

  • Ama LLMPhysics gibi topluluklara bakınca, bu tür deneyler sık sık sözde bilime kayabiliyor.
    LLM’in ürettiği ‘makul görünen saçmalıklara’ kapılmamak için dikkatli olmak gerek.
  • Bu tür deneyler, LLM’lerin gerçek zeka seviyesini sınamak için iyi bir yol olabilir.

• Yayınlanan örnek yanıtlar gerçekten çok ilginç.
  Modern LLM’lerin üslubundan farklı olduğu için, hatta daha çok insan yazısı gibi hissettiriyor.
  Üslupta ve kelime seçiminde hafif eski zamanlı bir ton ve dönemin inançlarının izi var gibi.

  • 19. yüzyıl tarihi öğretmiş biri olarak bakınca, bu modelin üslubu kesinlikle Viktorya dönemi yazarlarını andırıyor.
        O dönemde konuşma dilinden çok yazı dili baskındı ve gündelik konuşmaların kayıtları neredeyse hiç kalmadı.
        Bu açıdan modelin yeniden kurduğu ‘19. yüzyıl usulü konuşma’ çok ilginç bir deney.
  • İngilizce dışındaki dillerde ‘LLM’e özgü ton’ daha az hissediliyor gibi. Diller arasında fark var gibi duruyor.
  • “homosexual men” ifadesini “the homosexual man” şeklinde değiştirmesi, gerçekten dönemsel üslubu iyi yansıtıyor.
  • Yine de dönemin doğrudan ifade edilen görüşleri ya da üslubunun sertliği henüz tam hissedilmiyor.

• İlk başta böyle bir modelin veri yetersizliği yüzünden imkansız olduğunu düşünmüştüm.
  Ama sonuçlara bakınca, sonunda miktardan çok kalitenin önemli olduğunu gösteriyor.

• Model kendinin ne olduğunu bilmiyorsa, “Nasıl çalışıyorsun?” sorusuna ne cevap verir, merak ediyorum.

  • İnsanlar da kendilerini tam olarak açıklayamadığı gibi, model de muhtemelen kendini sadece ‘var olmak’ üzerinden algılardı.
  • Aslında model ‘düşünmez’. Yalnızca verilen bağlama göre tepki verir. ChatGPT’nin de bir benliği yok.
  • Ben de LLM’leri ilk kullandığımda, modelin kendini anlama becerisine şaşırmıştım.
    Ama 1913 modeli için böyle kavramlar hiç olmayacağından, felsefi bir karmaşaya düşebilir gibi geliyor.
  • Bazen LLM’in “bilmiyorum” demesini isterdim.
    Ama bunun yerine çoğu kez hallucination misali kulağa makul gelen yanıtlar uyduruyor.

• Modelin eğitim verisinin nasıl oluşturulduğunu merak ediyorum.
  1913’e kadar uzanan 600B token’lık veri, antik Yunan, Çin ve Mısır metinlerinden moderne kadar her şeyi kapsıyor demek.
  Buna rağmen ‘1913 bakış açısını’ koruması şaşırtıcı. Dönemler arası önyargılar nasıl ayarlandı acaba?

  • Muhtemelen 1900’e kadarki veriler ön eğitim, 1900–1913 arası veriler ise ince ayar için kullanıldı.
    19. yüzyılın sonlarından itibaren gazete ve dergi gibi kitle iletişim verilerinin hacmi patladığı için bu yaklaşım mümkün olmuş olabilir.

• “uncontaminated bootstrapping” ifadesi ilginç.
  Sohbet ayarı yaparken, ön eğitimden gelen değer yargılarının bozulmamasına dikkat edildiği anlamına geliyor; ama bunun pratikte ne kadar nesnel olduğu merak konusu.

  • GitHub belgesinde daha ayrıntılı açıklama var.
    GPT-5 kullanılarak dikkatli bir Supervised Fine-Tuning yapılmış gibi görünüyor.
  • Verideki alıntılar veya Soru-Cevap biçimindeki cümleler çıkarılıp diyalog verisi olarak kullanılmış da olabilir.

• Bu kadar az miktarda metinle bile çalışabilmesi şaşırtıcı.
  Eğer başarılı olursa, LLM’lerin yalnızca veriyi ezberlemediğini, gerçekten yeni keşifler yapıp yapamayacağını test edebiliriz.
  Örneğin bilimsel tutarsızlıkları fark edip, durdurma problemi ya da atom yapısı gibi kavramları kendi başına çıkarım yoluyla geliştirebilir mi?
  Başarısız olsa bile “veri yetmedi” itirazı gelecektir, ama yine de bunu bizzat denemek isterdim.