insane-search - 403 görünce vazgeçen Claude Code’un sonuna kadar denemesini sağladım

403 görünce vazgeçen Claude Code’dan hoşlanmıyordum.

"Şu Naver blog yazısını oku" → 403. "Coupang’da 100 bin won altı klavyeleri seç" → 403. "Bu Reddit thread’inde ne deniyor?" → engel. Sonunda tarayıcıya benim girip kopyala-yapıştır yapmam tekrar tekrar yaşanıyordu. İşi yapay zekaya veriyorum ama neden işi ben yapıyorum diye düşündüm.

Mevcut MCP’leri denedim ama sorunlar vardı. Çoğu tek bir belirli platforma bağlıydı (yalnızca Twitter, yalnızca YouTube), ya API anahtarı/OAuth kaydı istiyordu ya da "bu site engelli" gibi önyargıları öğrenip hiç denemiyordu. Siteler her gün değişiyor ve yöntemler de şu anda işe yarayabilir; bir kez engellendi diye vazgeçmek mantıklı değildi.

Bu yüzden bir yöntem seçimi katmanı yaptım. Bu bir scraper değil; geçene kadar herkese açık endpoint’leri ve standart teknikleri sırayla deneyen bir beceri.

Nasıl çalışıyor

Claude Code URL’ye erişirken 4 aşamalı uyarlanabilir bir zamanlayıcı yardımcı oluyor. Yalnızca önceki Phase başarısız olduğunda veya engelleme sinyali algılandığında bir sonraki Phase’e geçiyor.

• Phase 0: Genel zincirle keşfedilemeyen özel endpoint’leri yalnızca indeksler (15 grup) — X Syndication, Reddit .json, HN Firebase, yt-dlp 1.858 site
• Phase 1: Paralel hafif prob’lar — WebFetch, Jina Reader, curl Chrome/Mobile/Googlebot UA, m.{domain}/.json//rss URL varyasyonları
• Phase 2: TLS impersonation — curl_cffi safari → chrome → firefox sırası (kurulu değilse otomatik olarak pip install``)
• Phase 3: Gerçek tarayıcı — Playwright MCP ile render + gizli API keşfi (network_requests)
• login/paywall algılanırsa "kimlik doğrulama gerekli" diyerek sonlanır. Gereksiz yere denemeye devam etmez

Tüm HTML yanıtlarından OGP etiketleri + JSON-LD yapılandırılmış veri de birlikte çıkarılır. Tam gövde alınamasa bile başlık/fiyat/profil elde edilir.

Kore sitelerinde özellikle iyi çalışıyor

• Naver Blog → mobil URL varyasyonuyla çoğu çözülüyor
• Coupang → Phase 2’de curl_cffi safari ile JSON-LD ItemList çıkarımı
• DC Inside/FM Korea/Clien/Karrot/YoZM IT/Wishket → Jina Reader veya curl ile hepsi okunuyor
• Naver Finance → api.finance.naver.com/siseJson.naver gayriresmî JSON API’si (kimlik doğrulamasız)
• 9 Kore medya kuruluşu → RSS indeksi + Google News RSS fallback

Temel ilke

Önyargı oluşturmamak. "Bu site zor" listesi yapmadım. Bağımlılık yok diye de atlamıyor — kurup deniyor. Çünkü site de yöntem de şu anda işe yarıyor olabilir.

Kurulum

/plugin marketplace add https://github.com/fivetaku/gptaku_plugins.git  
/plugin install insane-search  

Yeniden başlatınca tamam. API anahtarı/kayıt/ortam değişkeni yok. Her zamanki gibi söylerseniz engellenen URL’lerde otomatik tetikleniyor.

[ng0301]

vercel-labs'in agent browser'ı harika

[holywork]

browser-use'ü doğrudan kullanmasını sağlamak mümkün olmaz mı?