Jupyter Notebook’tan ölçeklenebilir sistemlere geçiş rehberi

PyCon US 2025 sunum içeriğidir.

Jupyter Notebook’tan ölçeklenebilir sistemlere geçiş rehberi

Jupyter Notebook, veri keşfi, görselleştirme, eğitim gibi etkileşimli analizler için son derece kullanışlı bir araçtır. Ancak kodu prodüksiyon ortamına dağıtmanız gerektiğinde ve yeniden kullanılabilirlik, otomasyon ile dayanıklılık önem kazandığında notebook’ların sınırları ortaya çıkar. Bu yazı, Jupyter Notebook ile yazılmış kodu bakımı ve yeniden üretilebilirliği kolay, ölçeklenebilir bir sisteme dönüştürme sürecini ve temel püf noktalarını tanıtıyor.

Notebook’ların avantajları ve dezavantajları

• Avantajlar: Kod ve metni birlikte görüp sonuçları anında kontrol edebildiğiniz için keşif odaklı veri analizi ve eğitimde çok etkilidir. [00:03:18]
• Dezavantajlar: Hücrelerin çalıştırılma sırasına göre değişken durumu farklılaşabilir, sürüm kontrolü zorlaşır ve kodun otomasyonu ile yeniden kullanımı güçleşerek ölçeklenebilirliğin önünde engel oluşturur. [00:04:24]

Ne zaman script’e geçilmeli?

• Kodu prodüksiyon ortamına dağıtmanız gerektiğinde
• Kodun başkaları tarafından yeniden kullanılması gerektiğinde
• Kodun otomatik olarak çalıştırılması gerektiğinde
• Kodun dayanıklılığının önemli olduğu durumlarda
• Notebook fazla karmaşık hale geldiğinde [00:05:32]

Geçiş için temel adımlar ve araçlar

1. Kod çıkarma ve dönüştürme

• NBConvert & Jupytext: Notebook’taki kodu Python script’ine kolayca çıkarabilirsiniz. Özellikle Jupytext, notebook ile script arasında senkronizasyon özelliği de sunduğu için faydalıdır. [00:10:44]

2. Refaktör süreci

• İşi işlev bazında ayırma: Notebook’taki her adımı belirleyin, her adıma uygun fonksiyonlar oluşturun ve kodu bu fonksiyonlara taşıyın. [00:12:52]
• Test kodu yazma: Birim testi veya entegrasyon testi yazarak kodun doğruluğunu güvence altına alın. Bu, özellikle kopyala-yapıştır sürecinde ortaya çıkabilecek hataları önlemek açısından önemlidir. [00:13:08]
• Gereksinim ve bağımlılık yönetimi: Modülleri ve ilgili bağımlılıkları açıkça tanımlayarak kodun farklı ortamlarda da kolayca çalıştırılabilmesini sağlayın. [00:13:15]
• CI/CD kullanımı: CI/CD (sürekli entegrasyon/sürekli dağıtım) pipeline’ı kurarak dağıtım sürecini otomatikleştirin. [00:13:15]

Kod kalitesini artırmak için ek ipuçları

• Tutarlı kod biçimlendirmesi: Kod formatter kullanarak tutarlılığı koruyun.
• Dokümantasyon: Kodun amacını ve kullanım şeklini açıkça anlatan dokümantasyonu alışkanlık haline getirin.
• Yapılandırmayı ayırma: Ayar ve yapılandırma bilgilerini ayrı dosyalarda yöneterek düzenleyin. [00:21:11]

Temel yetkinlikler ve düşünce yapısındaki dönüşüm

• Modülerlik: Kodu yeniden kullanılabilir modüler işlevlere ayırma becerisi önemlidir.
• Otomasyon: İş akışlarını otomatikleştirerek verimliliği artırın.
• Test odaklı refaktör: Testler aracılığıyla işlevlerin kararlılığını korurken kodu iyileştirin.

Keşif aşamasında Jupyter Notebook’un esnekliğinden aktif biçimde yararlanmak, prodüksiyon kodunda ise sağlam, yeniden üretilebilir ve otomatikleştirilmiş script’lere geçiş yapacak bir düşünce yapısını benimsemek önemlidir. [00:22:16]