The Pile, 825 gigabayt ölçeğinde çeşitli açık kaynak dil modelleme veri seti (2020)

The Pile: dil modelleme için çeşitli metinlerden oluşan 800GB veri seti

• The Pile, 22 küçük ama yüksek kaliteli veri setinin birleştirilmesiyle oluşturulmuş, 825 GiB boyutunda çeşitli bir açık kaynak dil modelleme veri setidir.
• Bu veri seti Eye adlı kuruluş tarafından barındırılır ve jsonlines veri biçiminde, zstandard kullanılarak sıkıştırılmıştır.
• The Pile'ı kullanan veya değerlendiren bir model varsa, geliştiricilere haber verilmesi istenmektedir.

The Pile'ı eğitim seti olarak kullanma nedenleri

• Yakın tarihli araştırmalara göre, özellikle büyük modellerde veri kaynaklarının çeşitliliği, modelin genel çapraz alan bilgisini ve alt görevlerdeki genelleme yeteneğini artırır.
• Değerlendirme sonuçlarında, The Pile üzerinde eğitilen modeller geleneksel dil modelleme benchmark'larında orta düzeyde iyileşme, Pile BPB'de ise belirgin iyileşme göstermektedir.

The Pile'ı benchmark olarak kullanma nedenleri

• Pile BPB (bits per byte) üzerinde iyi bir skor almak için modelin kitaplar, GitHub depoları, web sayfaları, sohbet günlükleri, tıp, fizik, matematik, bilgisayar bilimi ve felsefe makaleleri gibi çok farklı alanları anlayabilmesi gerekir.
• Pile BPB, bu alanlardaki dünya bilgisi ve akıl yürütme becerisini ölçen bir metrik olup, büyük dil modellerinin genel çapraz alan metin modelleme yeteneği için güçlü bir benchmark'tır.

Atıf

• The Pile veya bileşenlerini kullanıyorsanız, aşağıdaki şekilde atıf yapmanız istenmektedir.

@article{pile,
  title={The {P}ile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and Presser, Shawn and Leahy, Connor},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

Lider tablosu

• Lider tablosu, test setiyle olası örtüşmeyi gösterir; Zero-shot ise Pile'ın tüm bileşenlerinin eğitim verisine dahil edilmediği anlamına gelir.
• GPT-3 (Zero-Shot)* ve GPT-2 (Zero-Shot)*, sırasıyla 0.7177 ve 1.225 Test BPB ile OpenAI tarafından 1 Ocak 2021 tarihinde sıralanmıştır.
• Değerlendirme kodu EleutherAI 2021 tarafından sağlanmıştır.

GN⁺ görüşü

• The Pile veri seti, dil modellerinin eğitimi ve benchmark edilmesinde veri çeşitliliğinin önemli olduğunu gösteren güncel araştırma bulgularını yansıtır. Bu, dil modellerinin gerçek dünyadaki çeşitli metinleri anlayıp işleyebilmesine katkı sağlar.
• Veri setinin boyutu ve çeşitliliği, modelin daha geniş bir bilgi yelpazesini öğrenmesine ve daha iyi genelleme yeteneği kazanmasına yardımcı olur. Bu, özellikle yapay zeka alanında önemli bir ilerleme olarak görülebilir.
• Ancak bu tür büyük veri setlerini etkili biçimde kullanmak ciddi hesaplama kaynakları gerektirir; bu da maliyet ve çevresel etki açısından dikkate alınması gereken bir sorun ortaya çıkarır.
• Benzer işlevler sunan diğer projeler arasında OpenAI'ın GPT-3 gibi büyük dil modelleri yer alır; bunlar da çeşitli veri kaynaklarından öğrenir.
• The Pile'ı kullanmadan önce veri kaynağı, kalite ve modelin ne öğreneceği konusunda yeterli anlayışa sahip olmak gerekir. Bu veri setini seçmenin avantajı modelin çeşitli bilgiler edinmesidir, ancak veri işleme ve depolama maliyetleri de hesaba katılmalıdır.