하이브(Hive) 조인(Join) 성능 올리기

하이브(Hive) 테이블 join 성능 올리기, 최적화, 튜닝하는 방법 들어가며 하이브에서 테이블 조인의 성능을 올리기 위해서는 다양한 방법이 있지만, 크게 두가지 방법에 대해서 설명을 한다. 하이브에서 큰 두개의 테이블을 만약 그냥 조인을 한다면 쿼리를 날리고 다음 날 아침에 와도, 쿼리는 동작하고 있을 것이다. 두개의 테이블을 조인을 해보자 두개의 테이블을 조인을 하기 전에, 각 테이블의 성격을 알아야 한다. 한개의 테이블의 metadata의 성격이 있는 테이블, 즉 작은 테이블의 사이즈라면, 해당 테이블을 메모리에 올린 이후에, 조인을 하면 성능이 올라갈 것이고, 두 테이블이 너무 커서 메모리에 올리기 어렵다면, 조인할 키를 뭉탱이로 뭉쳐서 뭉탱이 끼리 조인을 하면 빠르게 할 수 있다. Map-Si..

• format_list_bulleted Big Data/Apache Hive
• · 2021. 5. 6.
• textsms

[MySQL][TIP] MySQL JOIN(LEFT, RIGHT, INNER, OUTER)

MySQL 에서 JOIN에 대해 알아보도록 하겠습니다. 0. JOIN 개요 SQL JOIN 이라고 검색하면 나오는 유명한(?) 그림 입니다. 일단 이 그림만 보아도 JOIN에 대한 개념을 어느정도 잡을 수 있습니다. 1. 테스트할 데이터 준비 CREATE TABLE IF NOT EXISTS `member` ( `idx` int(11) NOT NULL AUTO_INCREMENT, `email` varchar(50) NOT NULL, `username` varchar(50) NOT NULL, PRIMARY KEY (`idx`) ) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8; INSERT INTO `member` (`idx`, `email`, `username..

• format_list_bulleted Database/mysql tip
• · 2021. 1. 6.
• textsms

JOIN 종류 (ANSI방식 JOIN)

n 조인의 종류ORACLE전용 조인(9i까지): Oracle DB에서만 사용ANSI 조인(10g부터): DB종류에 상관없이 모든 DB에 사용 가능. n JOIN두 개 이상의 테이블을 결합하여 필요한 데이터를 조회하는 기능. 1. 카티션 곱 (Cartesian Product)테이블을 연결하는 조건을 만족하는 행이 하나도 없는 경우에 발생2. EQUI JOIN조인 대상 테이블에서 공통칼럼을 ‘=‘ 비교를 통해 같은 값을 갖는 행을 연결하여 결과를 생성하는 조인 방법 문법) SELECT table1.column, table2.column FROM table1, table2 WHERE table1.column = table2.column; Ex.학생 테이블과 부서 테이블을 EQUI JOIN 하여 학번, 이름, ..

• format_list_bulleted Database/ANSI SQL
• · 2020. 1. 2.
• textsms