GPT-4o kullanılarak "Ask HN: Who Is Hiring" içindeki 10.000'den fazla yorumdan çıkarılan içgörüler

• Mevcut iş piyasasını ve trendleri anlamak için Hacker News'teki "Ask HN: Who Is Hiring" başlıkları inceleniyor
• Selenium kullanılarak her ay ask hn who is hiring {month} {year} şeklinde Google araması yapılıp başlık ID'leri toplanıyor
• HN-API kullanılarak üst düzey yorum ID'leri toplanıp sqlite3 veritabanına kaydediliyor
• Yorumlar GPT-4o ile sınıflandırılıyor
• Veriler, LangChain'in llm.batch(array) yöntemiyle paralel işlenerek hızlı şekilde analiz ediliyor

Sonuçlar

Ne kadar çok iş uzaktan çalışmaya izin veriyor?

• Pandemi sırasında uzaktan çalışmayı desteklemeyen işler yalnızca beşte bir düzeyindeydi
• Uzaktan çalışmayı destekleme oranı beklendiği kadar büyük ölçüde düşmedi

Ne kadar çok iş vize sponsorluğu sağlıyor?

• Vize sponsorluğu sunan işlerin oranı son iki yılda görece istikrarlı kaldı
• Buna rağmen vize sponsorluğu sağlayan iş bulmak hâlâ zor

Deneyim seviyesi dağılımı nasıl değişiyor?

• Önümüzdeki 6~12 ay içinde 8 yıl ve üzeri deneyime sahip olmak önemli görünüyor

ABD'de eyaletlere göre iş sayısı nasıl?

• Bay Area ve NYC'de sunulan iş sayısı diğer bölgelere kıyasla çok daha fazla

Hangi veritabanları kullanılıyor?

• PostgreSQL, diğer veritabanlarına açık ara üstünlük sağlıyor

Hangi JavaScript framework'lerine talep yüksek?

• React'e talep çok yüksek
• Logaritmik ölçek kullanmadan three.js ile etkileşimli bir baloncuk grafiği oluşturulmuş

Maaş dağılımı nasıl?

• Maaş dağılımına dair somut ayrıntılar verilmemiş

Öğrenilenler

• Model alanları mümkün olduğunca doğru tanımlanmalı
• Sınıflandırma yapılırken açıklamada sınıflar açıkça belirtilmeli
• Kümeler çıkarılırken ayırıcılar da açıklamada net biçimde yazılmalı

Sonraki çalışmalar

• Bu ilk çalışmaya dayanarak, kullanıcı "Ask HN: Who is hiring?" başlığında aradığı işi tarif ettiğinde bunu sınıflandırıp aylara göre eşleştiren mini bir SaaS oluşturulabilir

GN⁺ görüşü

• Bu yazı, veri bilimi ve doğal dil işleme teknikleriyle iş piyasasının nasıl analiz edilebileceğini iyi gösteriyor
• GPT-4o ve LangChain ile paralel işleme, büyük ölçekli veriyi hızlı işlemek için faydalı
• Vize sponsorluğu sağlayan iş bulmanın zor olmasını yansıtması, bu tür bilgi arayanlar için yararlı olabilir
• React ve PostgreSQL'e yönelik yüksek talep, bu teknolojileri öğrenmek isteyenler için iyi bir referans niteliğinde
• Mini SaaS fikri gerçekten hayata geçirilirse birçok iş arayan için büyük fayda sağlayabilir

[GN⁺]

Hacker News yorumu

• GPT-4o kullanılarak yapılan analiz ilgi çekici

  • Kısa süre önce "Who is Hiring" ve "Who wants to be hired" veri setleri pandas ve spacy ile analiz edilmiş
  • LLM'nin 'go' ve 'rust'ı ayırt edebilmesi faydalı görünüyor
  • node.js ile nodejs'in, react-native ile react native'in birleştirilmemesi üzücü
  • Selenium betiği kullanılarak neden sürekli Google araması yapıldığı merak ediliyor
  • API'yi doğrudan kullanan ve başlık eşleştirmek için regex kullanan bir betik paylaşılmış

• Projenin kaynak kodunun GitHub'da bulunamaması üzücü

  • langchain ile ilk kez karşılaşılıyor ve API beklenenden daha az tutarlı
  • Bunun Ollama ile de mümkün olup olmayacağı merak ediliyor
  • Çeşitli wrapper'ların karmaşık biçimde iç içe geçmesi kafa karıştırıcı
  • Yeni başlayanlar için bir eğitime ihtiyaç var

• Bu projeye zaman ve para harcandığı için teşekkür ediliyor

  • "remote" ve "in-person" hakkında ek istatistikler ilgi çekici
  • in-person şirketlerin tekrar tekrar işe alım yapmasının nedeni büyüme olabilir ya da aday bulmakta zorlanmaları olabilir
  • remote şirketlerin ortadan kaybolmasının nedeni aradıkları yeteneği bulmuş olmaları ya da işi kapatmış olmaları olabilir

• LLM ile geleneksel analizin harika bir birleşimi

  • LLM, insanlardaki nüansı, hicvi ve deyimleri anlamada güçlü
  • ML, bağlam içinden bilgi çıkarmada çok başarılı
  • LLM'lere gerçek sayısal hesaplamalarda güvenilemez

• Grafikte çubukları üst üste yığmak iyi değil

  • Çünkü ikinci katman düzgün şekilde değerlendirilemiyor
  • Her zaman damgası için remote ve non-remote'u yan yana koymak daha iyi olur

• Grafiğin garip görünmemesi için logaritmik ölçek kullanılmalı

  • Bunun yerine 300 satır kodla three.js kullanılarak bir bubble chart yapılmış
  • Hacker, hacker gibi davranıyor

• Claude 3 Haiku kullanılarak aynı analizin yapılması ilginç olabilir

  • Fiyatı GPT-4o'nun 1/40'ı
  • Sonuçların benzer çıkacağına dair bir his var

• Indeed veya LinkedIn'den alınacak rastgele bir örneklemle karşılaştırmak ilginç olabilir

  • Hacker News, genel sektöre kıyasla önyargılı bir grup

• JS framework grafiğinde hem "React Native" hem de "React-Native" balonu bulunuyor

• "Who Wants to be Hired" için benzer bir analiz görmek isteniyor

  • İş bulmakta zorlanan kişilerin eğilimleri anlaşılabilir
  • Bu, kariyer gelişimini hedefleyen kişiler için faydalı olabilir