HiveQL'den Spark SQL'e geçişte ortaya çıkan sorunları çözmek

• LINE Veri Platformu ekibi, Hive kullanımını kademeli olarak sonlandırıp Spark ortamına geçme yönünde bir yol haritası belirledi
• Geçiş yöntemi - önce motoru değiştirip, sorun varsa sorguyu değiştirmek
• Sorgu değişikliği örnekleri:
  • Geçici tablo kullanıldığı durumlar (CREATE TEMPORARY TABLE)
  • ANSI politikasını ihlal eden örtük tür dönüşümleri kullanıldığı durumlar (Store Assignment Policy)
  • Kullanılan UDF'de sorun olduğu durumlar
  • Yeni bir UDF'nin devreye alındığı durumlar
  • map tipinde küme işlemleri kullanıldığı durumlar
  • Birden fazla partition'ın silinmesi gereken durumlar
• Geçişten sonra bazı verilerin eksik olması nedeniyle troubleshooting yürütüldü
• Beş sorun belirtisi ve müdahale yöntemleri:
  • Sorgu çalıştıktan sonra bazı sonuçların eksik çıkması
  • Partition dizini altında alt dizinler bulunduğunda verinin okunamaması
  • Job çalışırken partition dizininin silinmesi nedeniyle, o partition'ı kullanan sorguların başarısız olması
  • Bir partition'dan veri okuyup aynı tablonun başka bir partition'ına yazarken AnaylsisException("Cannot overwrite a path that is also being read from") oluşması
  • Sonuçların yinelenip iki kat yüklenmesi
• OpenChat'in yanı sıra, şu anda sorumluluğunu üstlendikleri çeşitli alanlardaki yüzlerce sorgunun tamamını da yıl sonuna kadar Spark'a taşımayı planlıyorlar