Shopify’nin veri yapılandırma yolculuğu: One-Shot LLM’den DSPy tabanlı ajan mimarisine

Shopify, milyonlarca yapılandırılmamış ticaret verisini (mağaza sayfaları, politikalar vb.) yapılandırılmış veriye dönüştürmek için One-Shot LLM yaklaşımından DSPy tabanlı uzmanlaşmış çoklu ajan (Multi-Agent) mimarisine geçti. Bu süreçte GPT-4/5 düzeyindeki büyük modeller yerine kendi barındırdığı Qwen (32B/72B düzeyi) modellerini ve DSPy’nin Japa optimizer’ını kullanarak, maliyeti 75 kat azaltırken veri çıkarım kalitesini 2 kat artırma sonucuna ulaştı. Özellikle tek bir ajan yerine belirli amaçlara (dolandırıcılık tespiti, mağaza profilleme vb.) özelleşmiş alt ajan yapısının performans artışında belirleyici olduğu görülüyor.

---

second özeti

Derinlemesine analiz (Deep Dive)

1. Sorunun arka planı: Yapılandırılmamış veri seli

Shopify, satıcılara son derece yüksek esneklik sunuyor. Bu da her mağazanın HTML yapısının, dilinin ve politika ifade biçiminin birbirinden tamamen farklı olduğu anlamına geliyor. "Bu mağaza cep telefonu satıyor mu?", "İade politikası nedir?" gibi basit sorular için bile şirket genelinde standartlaştırılmış yanıtlar almak çok zordu.

2. Çözümün evrim süreci

• Aşama 1: One-Shot LLM (ilk yaklaşım)
  • Mağazanın ana sayfalarındaki metin çıkarılıp GPT-4’e (sonrasında 5) gönderiliyor ve şema çıkarımı isteniyordu.
  • Sınırlamalar: Bağlam penceresi sınırı nedeniyle tüm sayfalar gönderilemiyordu (iade politikası sayfası eksikse yanıt verilemiyor). Alan sayısı arttıkça prompt kırılgan hale geliyor ve maliyet katlanarak yükseliyordu.
• Aşama 2: Ajanik (Agentic) yaklaşım ve DSPy’nin devreye alınması
  • LLM’ye tüm veriyi vermek yerine, mağazayı gezip gerekli bilgiyi kendisinin bulduğu 'araçlar (Browsing, Investigation)' ile donatılmış ReAct ajan yapısına geçildi.
  • Bu süreçte DSPy devreye alınarak prompt’un manuel ayarı yerine programatik optimizasyon denendi.
• Aşama 3: Uzmanlaşmış alt ajanlar (Specialized Sub-Agents)
  • Tek bir ajanın tüm amaçları (dolandırıcılık, vergi, profilleme) yerine getirmesi yerine, yapı üç uzman ajana ayrıldı.
  • Fraud Agent: Harici inceleme sitesi arama araçlarını kullanıyor.
  • Profile Agent: Dahili politika ayrıştırmaya odaklanıyor.
  • Her ajan DSPy üzerinden bağımsız olarak optimize ediliyor ve böylece karşılıklı etkileşim olmadan performans iyileştirilebilen bir yapı elde ediliyor.

3. Teknik çözüm: Eval Reliability & Snapshotting

Ajanlar gerçek zamanlı web sitelerini crawl ettiğinde, site içeriği değişirse değerlendirme veri setinin (Golden Dataset) güvenilirliği bozuluyor. Shopify bunu çözmek için 'ShopNap' adlı bir snapshot hizmeti kurdu.

• Etiketleme anındaki mağaza durumunu statik olarak sabitliyor (Frozen context).
• DSPy optimizer’ı bu sabit snapshot üzerinde çalışarak yeniden üretilebilir değerlendirme ve eğitimi garanti ediyor.

4. Altyapı mimarisi

Verimli işleme için sistemi 3 katmana ayırarak işletiyorlar.

• Batch Layer (Flink): Günde 150 binden fazla mağaza işleme isteğini yönetiyor.
• Agent Layer (Kubernetes): CPU tabanlı kümede ajan mantığını, HTML ayrıştırmayı ve araç çağrılarını yürütüyor.
• LLM Layer (GPU Cluster): vLLM vb. üzerinden kendi barındırılan Qwen modellerini sunuyor.

---

Başlıca veriler ve benchmark’lar

Bunlar, Shopify’nin açıkladığı mimari geçiş öncesi ve sonrası performans ile maliyet karşılaştırma rakamları.

Öğe	One-Shot (GPT-5 tahmini)	Agentic + DSPy + Qwen
Maliyet (Cost)	Referans nokta (yüksek)	1/75 seviyesine düşüş
Kalite (Quality)	Referans nokta	yaklaşık 2 kat (%100 iyileşme)
Mağaza kapsaması	Kısmi (maliyet nedeniyle sınırlı)	tüm mağazalar (Full Coverage)
Ölçeklenebilirlik	Yeni alan eklendiğinde tüm sistemin yeniden doğrulanması gerekir	Alt ajan ekleyerek kolay genişleme

Temel dersler

1. Monolithic vs specialized: İş ne kadar karmaşıksa, tek bir ajan yerine ilgi alanlarının ayrıldığı (Separation of Concerns) alt ajanlar daha avantajlıdır [21:59].
2. Architecture over Tuning: Tek tek prompt ifadelerini düzeltmektense doğru sistem mimarisini kurup otomatik optimizasyonu (DSPy) uygulamak, sürdürülebilir performansı garanti eder [23:24].
3. Small Models Win: Belirli alan görevlerinde optimize edilmiş orta-küçük modellerin (self-hosted), genel amaçlı büyük modellere kıyasla hem maliyet/verim hem de performans açısından daha iyi olabileceği görülüyor [23:54].

[roxie]

Sanki DSPy’ı ara sıra duyuyorum; kullanan başka kişiler var mı? Deneyimlerinizi merak ediyorum.