- LINE Veri Platformu ekibi, Hive kullanımını kademeli olarak sonlandırıp Spark ortamına geçme yönünde bir yol haritası belirledi
- Geçiş yöntemi - önce motoru değiştirip, sorun varsa sorguyu değiştirmek
- Sorgu değişikliği örnekleri:
- Geçici tablo kullanıldığı durumlar (
CREATE TEMPORARY TABLE)
- ANSI politikasını ihlal eden örtük tür dönüşümleri kullanıldığı durumlar (Store Assignment Policy)
- Kullanılan UDF'de sorun olduğu durumlar
- Yeni bir UDF'nin devreye alındığı durumlar
map tipinde küme işlemleri kullanıldığı durumlar- Birden fazla partition'ın silinmesi gereken durumlar
- Geçişten sonra bazı verilerin eksik olması nedeniyle troubleshooting yürütüldü
- Beş sorun belirtisi ve müdahale yöntemleri:
- Sorgu çalıştıktan sonra bazı sonuçların eksik çıkması
- Partition dizini altında alt dizinler bulunduğunda verinin okunamaması
- Job çalışırken partition dizininin silinmesi nedeniyle, o partition'ı kullanan sorguların başarısız olması
- Bir partition'dan veri okuyup aynı tablonun başka bir partition'ına yazarken
AnaylsisException("Cannot overwrite a path that is also being read from") oluşması
- Sonuçların yinelenip iki kat yüklenmesi
- OpenChat'in yanı sıra, şu anda sorumluluğunu üstlendikleri çeşitli alanlardaki yüzlerce sorgunun tamamını da yıl sonuna kadar Spark'a taşımayı planlıyorlar
Henüz yorum yok.