하이브에서 랜덤 샘플링 하는 방법 (셔플링) 하이브에서 수백만 수천만의 행이 있다고 생각을 해보자, 효율적으로 고정된 숫자를 임의로 샘플링을 하고 싶다면, 어떻게 효율적으로 할 수 있을까? 하지만, 동일한 방법으로 1000개를 가져오는 쿼리를 수행하면 같은 데이터가 샘플링이 된다. order by sql select * from my_table order by rand() limit 1000; 그렇다면, 임의로 정렬을 한뒤에 샘플링을 하면 어떨까? 아래와 같이 샘플링을 하면, 임의로 데이터를 정렬을 한 뒤에 1000개를 추출하기 때문에 매번 다른 결과를 준다. sort by sql select * from my_table sort by rand() limit 1000; 하지만 하이브에서는 데이터의 양이 ..

하이브(Hive) 테이블 생성 하이브 테이블이 만약 textfile로 되어 있다면, 테이블을 load하거나, hue에서 테이블을 로딩할때 에러가 발생하는 경우가 있다. malformed ORC 에러가 뜬다면, 하이브 테이블의 타입을 확인할 필요가 있다. 이럴 경우에는 아래와 같이 기존 textfile을 orc테이블의 형태로 생성한 뒤에 export/import를 하면 에러 없이 진행이 된다. 코드 drop table if exists target_table; CREATE TABLE target_table stored as orc tblproperties ("orc.compress"="ZLIB") as select * from source_table; 출처 : ourcstory.tistory.com/370..

출처 - http://kalipso.tistory.com/80 출처 - http://mentor75.tistory.com/entry/ORACLE-TABLE-SPACE-%EC%82%AC%EC%9A%A9%EB%9F%89-%ED%99%95%EC%9D%B8%EC%BF%BC%EB%A6%AC출처 - https://kldp.org/node/34801출처 - http://stackoverflow.com/questions/264914/how-do-i-calculate-tables-size-in-oracle 1. 테이블스페이스 정보 조회SELECT * FROM DBA_TABLESPACES; 2. 테이블스페이스별 용량 확인 쿼리문(MB 단위)select substr(a.tablespace_name,1,30) tablespa..

* 테이블별 용량 확인 방법 select owner,segment_name,segment_type,sum(bytes)/1024/1024 as MB from dba_segments where segment_type='TABLE' and segment_name = '[USER명]' GROUP BY owner,segment_name,segment_type; [참고] segment_type 조건절에 위와 같이 'TABLE' 을 넣으면 테이블 용량만 조회되고, 'INDEX' 를 넣으면 인덱스 용량이 조회된다.

시스템운영 또는 프로젝트 진행중테이블이나 뷰 생성 시공유하지 않는다면 알 수 없습니다. 테이블 생성시간테이블 컬럼변경 확인테이블 변경여부 확인 위의 내용을 ALL_OBJECTS 테이블에서 조회하면테이블이나 뷰의 신규/변경된 내역을 확인할 수 있습니다. ( DBA_OBJECTS = ALL_OBJECTS ) 응용 최근 생성된 테이블 확인 SELECT OWNER , OBJECT_NAME , SUBOBJECT_NAME , OBJECT_TYPE , CREATED , LAST_DDL_TIME , TIMESTAMP , STATUS , TEMPORARY FROM ALL_OBJECTS ORDER BY CREATED DESC ; [결과] OWNEROBJECT_NAMESUBOBJECT_NAMEOBJECT_TYPECREATE..