하이브(Hive) 테이블 클러스터간 복사

하이브(Hive) 테이블 클러스터간 복사하기

두개의 클러스터(Cluster) A, B가 있다고 가정하고,
A에서 B로 하이브 테이블을 복사하는 방법에 대해서 설명한다.

 

순서

• [A]에서 [A]의 HDFS로 테이블 export
• [A]에서 [B]의 HDFS로 데이터 copy
• [B]의 HDFS에서 Hive로 데이터 import

 

코드

--export
export table DB.table_name to 'hdfs://A:8020/data/import/table_name'

--distcp
hadoop distcp hdfs://A:8020/data/import/table_name hdfs://B:8020/data/import/table_name

--import
import external table DB.table_name from '/data/import/table_name'

 

출처 : ourcstory.tistory.com/371?category=717035