Lifelong Study

Cafe24 - Tomcat JSP 호스팅 서비스에 가비아 도메인 연결 및 SSL 인증서 설치

Lifelong Study — Tue, 3 Mar 2026 00:44:51 +0900

1. 가비아 에서 도메인 검색

2. 가비아 에서 도메인 구매

카페24 호스팅 관리에 접속해 도메인 연결관리 - 카페24 네임서버 주소를 확인하여 내용을 입력합니다.

추가 + 버튼을 클릭해 1~4차 네임서버 정보를 입력합니다.

3. 도메인 연결하기

호스팅 관리에 접속해 도메인 연결관리 - 도메인 연결하기에서 구매한 도메인을 연결합니다.

4. SSL 인증서 설치

SSL 인증서는 카페24에서 Positive 라이트 인증서를 구매했습니다.

신청서 작성

개인 소유시 회사명과 부서명은 도메인 구매시 작성한 소유자명을 입력합니다.

도메인 소유권은 HTTP 인증을 사용합니다.

인증서가 발급된 뒤 자동으로 설치 된다고 합니다.

엑셀 숫자를 문자로 일괄 변경

Lifelong Study — Mon, 14 Oct 2024 15:40:48 +0900

1. 변경하려는 열영역 선택

2. 메뉴 중 [데이터] > [텍스트 나누기] 선택

3. 텍스트 마법사 3단계에서 "텍스트" 선택

출처 : https://hitomis.tistory.com/152

엑셀 이메일 주소 한꺼번에 붙여넣기(PHONETIC 함수)

Lifelong Study — Mon, 14 Oct 2024 15:39:27 +0900

안녕하세요!

오늘은 엑셀 이메일 주소를 한꺼번에 붙여 넣는 방법에 대해 알아보겠습니다.

보통 엑셀로 고객이나, 직원들의 명단 등을 관리하시는 경우, 아래의 그림처럼 많이 관리하실 텐데요.

가끔 고객 또는 직원분들께 일괄로 이메일을 송부해야 할 때도 있습니다.

몇 백명씩 되는 자료인 경우 이메일 송부는 따로따로 복사해서 붙여 넣기 하기에는 시간이 너무 오래 걸리는데요.

한 번에 할 수 있는 방법을 아래에서 알아보겠습니다.

먼저, 필요한 것이 어떤 것인지에 대해서 생각을 한번 해보겠습니다.

메일을 한꺼번에 보내기 위해서는 메일 주소가 쉼표로 구분되면 됩니다.

메일 주소가 각각 쉼표로만 구분된다면 한 번에 보낼 수 있으니 이 부분만 해결하면 되겠습니다.

이 부분을 해결하기 위한 함수는 PHONETIC함수입니다.

PHONETIC 함수

사용방법 "=PHONETIC(참조범위)"
참조 범위를 지정하는 경우, 행에 있는 텍스트부터 합친 다음, 다음행으로 넘어간다.

백문이 불여일견이니 보면서 한번 해보겠습니다.

1. 쉼표 구분 위해 메일 주소 오른쪽에다가 쉼표를 적어둡니다.

- 저는 가독성을 위해 쉼표 뒤에 공백을 하나 추가해 두었습니다.

- 그리고 마지막 메일 주소 옆은 쉼표가 필요 없기 때문에 쉼표를 적지 않았습니다.

2. PHONETIC함수를 입력하고,

3. 참조 범위 B4:C6을 지정합니다. 그리고 엔터!

4. 쉼표로 구분되어 합쳐진 메일 주소가 보입니다.

5. E4셀의 합쳐진 메일 주소는 'PHONETIC'이라는 수식이 걸려있으므로, 이대로는 사용할 수 없어, 값만 다른 곳에 선택하여 붙여 넣어야 합니다.

6. 위에서도 말씀드렸듯이, PHONETIC함수가 참조 범위를 합칠 때의 순서는 행의 전체를 먼저 다 합치고, 다음 행으로 넘어가는 방식입니다.

7. E4셀을 복사하여, E5셀에 값만 선택하여 붙여 넣어두었습니다.

- 값만 선택하여 붙여 넣기 기능을 잘 모르시는 분들은 여기(https://jjong1.tistory.com/15)를 참고하시면 됩니다.

8. 수식 창에 텍스트가 보이시나요? 이제 이 값을 복사해서 메일 주소록에 붙여 넣으면 한꺼번에 메일을 송부하실 수 있답니다.

이메일을 한꺼번에 많이 보내셔야 될 때 유용하게 사용하실 수 있을 것 같습니다.

끝까지 읽어주셔서 감사합니다.

출처: https://jjong1.tistory.com/26

MySQL 사용자 조회, 생성, 제거, 권한부여

Lifelong Study — Fri, 20 Sep 2024 11:25:16 +0900

root 계정 로그인

mysql -u root -p

MySQL 사용자(user) 조회

MySQL의 사용자 목록을 조회하기 위해 MySQL의 기본 스키마인 mysql안에 user 테이블에서 아래와 같은 명령어를 통해 조회할 수 있다.

use mysql;

select user, host from user;	# 사용자 목록 조회

사용자 생성

사용자 생성시에는 create 명령어를 사용해서 사용자를 추가할 수 있다. 내부 접근만 가능하도록 만들기 위해 host에 localhost를 넣어줬다.

create user '사용자'@'host' identified by '비밀번호';

# ex) 내부 접근을 허용하는 사용자 추가
create user 'test'@'localhost' identified by '0000';

사용자에 권한 부여

grant 명령어를 통해 사용자에게 권한을 부여할 수 있다.

# 전체 DB에 전체 권한 추가
grant all on *.* to test@localhost;


# 전체 DB에 대한 select, insert 권한 추가
grant select, insert on *.* to test@localhost;


# 특정 DB(mydb)에 대한 전체 권한 추가
grant all on mydb.* to test@localhost;


# 특정 DB(mydb)에 대한 select, insert 권한 추가
grant select, insert on mydb.* to test@localhost;


# 특정 DB(mydb)에 포함된 특정 Table(mytb)대한 전체 권한 추가
grant all on mydb.mytb to test@localhost;


# 특정 DB(mydb)에 포함된 특정 Table(mytb)에 대한 select, insert 권한 추가
grant select, insert on mydb.mytb to test@localhost;

사용자 생성과 권한 부여 한번에 하기

grant all privileges on *.* to '사용자'@'localhost' identified by '비밀번호';

# example
grant all privileges on *.* to 'test'@'localhost' identified by '0000';


# 권한 반영
FLUSH PRIVILEGES;

사용자 권한 확인

show grants for test@localhost;

사용자 권한 수정, 삭제

revoke 명령어를 사용하여 사용자의 권한을 수정, 삭제할 수 있다. 특정 권한을 명시하거나 DB, table을 명시할 수 있다.

# db1에 대한 insert, update 권한을 삭제
revoke insert, update on db1.* from user;

# 사용자 전체 insert 권한 삭제
revoke insert on *.* to test@localhost;

사용자 삭제

drop user test@localhost;

Table Filter, Charts & Spreadsheets for Confluence App

Lifelong Study — Thu, 16 May 2024 14:54:47 +0900

confluence에서 구글 스프레드시트 처럼 멀티 수정이 가능한 앱을 소개하려고 합니다.

"Table Filter, Charts & Spreadsheets for Confluence"

https://marketplace.atlassian.com/apps/27447/table-filter-charts-spreadsheets-for-confluence?hosting=cloud&tab=overview

Table Filter, Charts & Spreadsheets for Confluence | Atlassian Marketplace

Manage tables and data, make charts, add spreadsheets on Confluence pages, and create engaging reports

marketplace.atlassian.com

아래와 같이 confluence에 스프레드시트를 추가할 수 있고, 웹페이지에서 바로 수정 가능합니다.

스프레드시트뿐만아니라 표에서도 필터 정렬 기능을 추가해 주네요.

DataGrip 예약어 대문자 자동 수정(To upper)

Lifelong Study — Thu, 4 Apr 2024 14:46:02 +0900

쿼리를 작성할 때, 가독성 있게 자동으로 예약어 변경하는 방법을 알아보겠습니다.

Settings -> Editor -> Code Style -> SQL -> General 클릭

Keywords는 To upper 선택, Identifiers는 To lower 선택 -> Apply -> Ok

이렇게 소문자로 입력하여 자동 완성할 때, 대문자로 완성되는 걸 확인 할 수 있다.

jira cloud 워크플로 설정

Lifelong Study — Tue, 26 Mar 2024 17:00:41 +0900

https://confluence.atlassian.com/adminjiraserver/project-screens-schemes-and-fields-938847220.html

이슈 설정 - 워크플로 - 워크플로 - 워크플로 추가

프로젝트에 맞게 워크플로 작성

이슈 설정 - 워크플로 - 워크플로 스키마 - 워크플로 구성표 추가

프로젝트 설정 - 워크플로 - 워크플로 구성표 변경

이렇게 해당 프로젝트에 워크플로를 설정합니다.

jira cloud 화면 구성

Lifelong Study — Tue, 26 Mar 2024 16:50:09 +0900

https://confluence.atlassian.com/adminjiraserver/project-screens-schemes-and-fields-938847220.html

이슈 - 화면 - 화면 - 화면 추가

이슈 - 화면 - 화면 스키마

화면 스키마에서 화면과 연결

이슈 - 화면 - 이슈 유형 스키마 - 이슈 유형 화면 구성표 추가

위에 화면스키마와 연결

프로젝트 설정 - 이슈 - 유형에서

작업 다른 구성표 사용에서 위에서 만든 화면 구성표 사용

프로젝트 설정 - 이슈 - 레이아웃

에서 이슈 화면 노출 할 필드들을 설정

jira 필드 구성

Lifelong Study — Tue, 26 Mar 2024 16:39:23 +0900

출처 : https://confluence.atlassian.com/adminjiraserver/project-screens-schemes-and-fields-938847220.html

이슈 - 필드 - 사용자 지정 필드 - 사용자 지정 필드 만들기

이슈 - 필드 - 필드 구성 - 필드 구성 추가

jira cloud custom field 추가

Lifelong Study — Mon, 25 Mar 2024 19:03:14 +0900

설정(톱니바퀴) 클릭 후, 이슈 버튼 클릭

사용자 지정 필드 만들기 클릭

필드 이름 입력

이슈 유횽 화면 스키마 에서 추가한 필드를 추가

프로젝트의 이슈-레이아웃에 들어가서 해당 필드 추가

jira 상태 변경 시, 검증(validation)

Lifelong Study — Mon, 25 Mar 2024 18:09:59 +0900

워크플로 - 워크플로

전환을 클릭 - 검증 클릭

해당 상태로 바꿀 때, 아래 메시지 출력

jira cloud 상태 변경시, End date 자동 입력

Lifelong Study — Mon, 25 Mar 2024 17:49:59 +0900

시스템 - AUTOMATION - 전역 자동화

When

IF(조건)

Then

참고

https://community.atlassian.com/t5/Jira-Software-questions/Automatically-set-start-date-when-ticket-moved-from-To-Do-gt-In/qaq-p/1479776

jira cloud 상태 변경시, Start date 자동 입력

Lifelong Study — Mon, 25 Mar 2024 17:38:03 +0900

시스템 - AUTOMATION - 전역 자동화

When

IF(조건)

Then

참고

https://community.atlassian.com/t5/Jira-Software-questions/Automatically-set-start-date-when-ticket-moved-from-To-Do-gt-In/qaq-p/1479776

confluence 양식(템플릿) 만들기

Lifelong Study — Fri, 19 Jan 2024 14:45:22 +0900

업무를 하다보면 주기적으로 만들어야 되는 문서들이 있습니다.

이럴 때, 활용할 수 있는 기능이 confluence 양식 입니다.

작성하는 방법을 알아 보죠.

confluence cloud 기준입니다.

1. 스페이스 설정 > 디자인 > 양식

2. 새 양식 만들기 버튼

3. 양식 작성

4 .새 페이지 추가할 때, 템플릿 적용

5 .버튼으로 템플릿 적용

이와 같이 템플릿을 만들어 놓으면 문서 작성이 편해집니다.

confluence 플러그인

Lifelong Study — Wed, 29 Nov 2023 12:15:06 +0900

JIRA 프로젝트 설정

Lifelong Study — Wed, 29 Nov 2023 12:12:29 +0900

JIRA 플러그인

Lifelong Study — Wed, 29 Nov 2023 12:06:47 +0900

JIRA 생성 대비 해결 차트 대시보드

Lifelong Study — Wed, 29 Nov 2023 12:00:24 +0900

편집

최근 100일 생성으로 되어 있지만, 실제로는 500일 생성

JQL

project in (프로젝트) AND createdDate >= -500d ORDER BY created DESC

JIRA 활동 스트림 대시보드

Lifelong Study — Wed, 29 Nov 2023 11:52:57 +0900

JIRA 2차원 필터 통계

Lifelong Study — Wed, 29 Nov 2023 11:51:38 +0900

편집

JQL

(assignee in (membersOf(사용자그룹)) OR project in (프로젝트) AND assignee in (EMPTY)) AND status not in ("PROD Server", Resolved, Done, Closed, 완료) ORDER BY Rank ASC

JIRA 거품형 차트

Lifelong Study — Wed, 29 Nov 2023 11:47:40 +0900

JQL

(assignee in (membersOf(사용자그룹)) OR project in (프로젝트) AND assignee in (EMPTY)) AND status not in ("PROD Server", Resolved, Done, Closed, 완료) ORDER BY Rank ASC

JIRA 로드맵 대시보드

Lifelong Study — Wed, 29 Nov 2023 11:45:41 +0900

JIRA 이슈캘린더 대시보드

Lifelong Study — Wed, 29 Nov 2023 11:43:45 +0900

JQL

project in (프로젝트)

JIRA 대시보드 파이차트

Lifelong Study — Wed, 29 Nov 2023 11:09:02 +0900

최근 100일 생성 JQL

project in (프로젝트) AND createdDate >= -100d ORDER BY created DESC

최근 100일 외부요청 생성

reporter in (membersOf(사용자그룹)) AND project != 프로젝트 AND createdDate >= -100d ORDER BY created DESC

JIRA 설정 정리

Lifelong Study — Wed, 29 Nov 2023 10:58:31 +0900

jira 유형

JQL

(assignee in (membersOf(사용자그룹)) OR project in ("프로젝트") AND assignee in (EMPTY)) AND status not in (Done, 완료) AND assignee = 담당자 ORDER BY Rank DESC

Workflow

Workflow.xml

0.03MB

화면

우선순위

이슈연결

상태

해결책

프로젝트 설정

MS Power Automate를 사용하여 주기적으로 Teams에 메시지 전송

Lifelong Study — Fri, 23 Jun 2023 15:28:53 +0900

본인 회사 계정으로 https://www.office.com 를 접속하면 위와 같은 화면을 볼 수 있습니다.

앱 > 모든 앱 > Power Automate 를 찾습니다.

"예약된 클라우드 흐름" 클릭

"주"로 선택하고 평일로 요일을 선택합니다.

이렇게 하면 되풀이 예약 단계가 만들어 졌습니다.

새 단계를 클릭하여 현재 날씨 가져오기를 선택합니다.

seoul / 메트릭을 지정하였습니다.

새 단계를 클릭하여 팀즈의 "채팅 또는 채널에서 메시지 게시" 를 선택합니다.

가비아 도메인 카페24 호스팅 연결 방법

Lifelong Study — Tue, 23 May 2023 16:42:32 +0900

가비아 도메인 카페24 호스팅 연결 방법

도메인과 호스팅을 각각 다른 플랫폼에서 구매하여 사용하시는 분들이 있을텐데요.

가비아에서 구입한 도메인을, 카페24 호스팅에 연결하는 방법을 알려드리도록 하겠습니다.

1. 가비아에서 구매한 도메인 네임서버 변경

가비아 서비스관리 페이지에서 사용할 도메인의 관리툴 버튼을 클릭합니다.

도메인 관리 페이지에서 네임서버 설정 버튼을 클릭합니다.

네임서버 설정에서 위 사진과 같이 1차부터 4차까지 호스트명을 변경한 뒤, 적용합니다.

1차: ns1.cafe24.com
2차: ns1.cafe24.co.kr
3차: ns2.cafe24.com
4차: ns2.cafe24.co.kr

※ 네임서버 설정으로 들어오기 전에 안전 잠금 해지를 해야할 수 있는데 안전 잠금 해지를 하고 진행하시면 되겠습니다!

도메인의 네임서버 변경이 완료되었습니다.

2. 카페24에서 도메인 등록

카페24 서비스관리 페이지의 왼쪽 메뉴에서

호스팅 관리 > 기본관리 > 도메인 연결관리로 갑니다.

도메인 연결관리에서 도메인 직접 입력하기를 선택하고,

연결하려는 도메인을 입력한 뒤,

연결하기 버튼을 클릭합니다.

도메인이 잘 등록되었고, 추가 설정된 도메인 목록에서 등록한 도메인을 볼 수 있습니다.

등록한 도메인으로 접속해보시면 이제 접속이 가능해졌을 것입니다.

이제 이 등록한 도메인을 대표 도메인으로 변경하기만 하면 됩니다.

등록한 도메인 을 선택하고, 대표도메인으로 변경 버튼을 클릭합니다.

기본으로 등록되어있던 카페24 도메인이 추가 설정된 도메인 목록으로 가고,

직접 등록한 도메인이 대표 도메인으로 변경된 것을 확인하실 수 있습니다.

이제 등록한 도메인으로 웹사이트를 운영하시면 되겠습니다!

이상으로 가비아에서 구입한 도메인을 카페24 호스팅으로 연결하는 방법에대한 설명을 마치도록 하겠습니다.

도움이 되셨다면 공감, 댓글 부탁드립니다!

궁금하신 점이나 요청사항은 언제든지 말씀해주세요!

피드백도 언제나 환영입니다!

감사합니다.

출처 : https://jsikim1.tistory.com/188

Debezium - CDC를 제공하는 Kafka기반의 Connector 구현체

Lifelong Study — Wed, 17 May 2023 16:40:48 +0900

Motivation

1. Kafka Connector 내용을 공부하면서 DB에 실제로 카프카 커넥터를 붙여서 실행하고 사용해면 좋은 경험이 되고 더 잘 기억에 남을 것 같았음

✔ 아쉬웠던 점

자주 사용하는 ORACLE로 연동해보면 더 좋을 것 같다고 생각해서 시도를 했으나 잘 안됐음, 관련 글을 찾아봤는데 ORACLE에 Connector를 연동한 사례가 별로 없었음(MySQL 은 비교적 예시도 많았으나, 오라클은 유독 없음. 오라클에 적용할 수 없는 어떤 이유가 있는건가.. 의문..)

m1맥이라 오라클 서버를 실행할 수 없어서 오라클 클라우드에서 제공하는 Autonomous DB를 사용하고 있었는데, 여기에 카프카 커넥터를 적용한 사례가 하나 있긴했으나 Docker를 이용한 방법(나는 카프카 서버를 AWS에 올려두었다)이였고 connection.url 설정에서 계속 문제가 생겨서 우선 미뤄둠

✔ 혹시나 남겨두는 찾아봤던 곳들

2. DB와 Kafka Connector를 연동할 수 있는 방법이 무엇이 있을까?

3. 만일 연동을 한다면 단순하게 연결만 하는 것이 아니라, 효율적으로 데이터 처리를 할 수 있는 방법이 있을까?

CDC 오픈소스 Debezium

CDC(Changed Data Capture)

변경된 데이터를 판별 및 추적하는데 사용되는 소프트웨어 설계 패턴
쉽게 말해서 변경된 내용을 골라내는 기술(실시간 데이터 변경 이력 관리)
DBMS가 CUD 전에 작업내용을 Logging(write-ahead-logging)
CDC가 Source DB의 로그를 읽어 변경된 내용을 Target DB에 적용
Golden Gate(Oracle), Binlog(MySQL), WAL(PostgreSQL), Debezium 등이 대표적
실시간 처리 가능(새벽마다 통계 및 분석을 위한 대량 배치 작업을 줄일 수 있음)
데이터 변경분만 전송되기에 효율적으로 자원을 사용 가능

위키피디아에서의 CDC 정의
In databases, Change Data Capture (CDC) is a set of software design patterns used to determine (and track) the data that has changed so that action can be taken using the changed data.
데이터베이스의 CDC (Change Data Capture)는 변경된 데이터를 사용해 액션(Action)이 취하도록 변경된 데이터를 판별 및 추적하는 데 사용되는 소프트웨어 디자인 패턴이다.

Debezium(DBs + ium, 디비지움)

출처 : https://access.redhat.com/documentation/ko-kr/red_hat_integration/2022.q2/html/debezium_user_guide/high-level-overview-of-debezium

Confluent사(카프카 지원 벤더)에서 개발한 Kafka Connect의 Source Connector 구현체
다양한 데이터베이스의 CDC를 추출하기 위한 오픈 소스 플랫폼
DB의 row loevel의 변경 사항을 캡쳐하여 애플리케이션이 변경 내용을 보고 이를 처리할 수 있도록 해주는 분산 서비스
모든 row level의 변경을 changed event stream에 기록, 애플리케이션은 이 스트림을 통해 변경 이벤트를 순서대로 읽음
Log-Based CDC를 사용하여 DB 변경 사항을 수집
DB의 복제로그를 추적해서 스트림으로 제공하는 방식
논리적 복제를 사용해 변경 스트림을 Apache Kafka Topic에 복제
Trivago, Wepay, Yotpo, BlaBlaCar에서 사용

지원하는 Connector(Debezium이 모니터링할 수 있는 데이터베이스)

MongoDB 복제 세트 또는 샤드 클러스터
MySQL 데이터베이스 서버
PostgreSQL 서버
SQL Server 데이터베이스
ORACLE 서버
Db2
Cassandra

Query-based CDC vs Log-based CDC

Query-based CDC
- 캡쳐된 테이블의 변경사항(insert or update)을 검색하기 위해 항상 쿼리를 실행해야함
  (With polling-based (or query-based) CDC you repeatedly run queries (e.g. via JDBC) for retrieving any newly inserted or updated rows from the tables to be captured.)
Log-based CDC
- DB의 로그 파일로부터 변경 사항을 보고 반응하여 동작
  (Log-based CDC in contrast works by reacting to any changes to the database’s log files.)
Query-Based 커넥터와 Log-based 커넥터를 비교한 글
- https://speakerdeck.com/rmoff/no-more-silos-integrating-databases-and-apache-kafka

Debezium의 용도

데이터베이스의 데이터가 변경될 때마다 애플리케이션이 (거의)즉시 응답할 수 있게 함
애플리케이션은 Create, Update, Delete 이벤트로 무엇이든 할 수 있음
캐시에서 데이터 제거 시기를 알 수도 있고, 데이터로 검색 색인은 업데이터하거나 푸쉬알림을 보낼 수도 있음

Debezium의 아키텍처

카프카 커넥터를 통해 배포
데이터를 카프카에 모으는 역할(Source Connector)
Debezium 커넥터는 클라이언트 라이브러리를 사용하여 Source 데이터베이스에 커넥션을 맺고 MySQL인 경우 binlog / Postgres의 경우 logical replication stream을 읽음
Debezium(mysql), NIFI 내부에서 shyiko/mysql-binlog-connectorjava 파서를 사용한다
Embedded Engine을 사용하여 Debezium 커넥터를 사용하는 방법도 있음
대신 이경우에는 카프카 커넥터를 통해 실행되지 않고 자바 애플리케이션의 라이브러리로 사용
변경 이벤트를 애플리케이션에서 바로 consume하거나 변경 내역을 다른 메시지 브로커로 전달할때 유용
기본적으로 한 테이블의 변경 사항은 하나의 토픽으로 전달됨
변경 이벤트가 있으면 서로 다른 커넥터를 사용하여 Elasticsearch, Data warehous, cache 등에 반영할 수 있음

Debezium의 특징

DML과 DDL이 카프카 토픽에 저장
Log Based CDC
모든 데이터의 변경사항을 캡쳐
변경 이벤트를 큰 딜레이 없이 생성
data model의 변경이 불필요
데이터의 변경뿐만아니라 데이터의 삭제, 레코드의 과거 상태도 캡쳐 가능

Debezium CDC의 추가 기능

Snapshosts : 커넥터가 시작될 때 데이터베이스의 현재 상태에 대한 초키 스냅샷을 생성
Filters : 특정 테이블이나 컬럼의 변경만 캡쳐
Masking : 특정 컬럼 마스킹 처리(민감한 정보일 때)
Monitoring : JMX를 사용해서 모니터링 할 수 있음
Message Tranformations

Debezium CDC format

아래와 같은 포맷으로 DB 변경 사항을 수집

{
	"schema" : { // 테이블의 primary key, pk가 없을 경우 unique key에 대한 스키마
    ..
    },
	"payload" : { // 변경 row의 key 데이터로 key schema를 따름
    ..
    },
	"schema" : { // 테이블의 컬럼에 대한 event value 스키마
    ..
    },
	"payload" : { // 변경 row의 모든 컬럼에 대한 데이터로 value schema를 따름
    ..
    },
    
}

// 출처 : 네이버 데뷰 2020

{
    "before" : null,                // 변경 이전 값
    "after" {                       // 변경 이후 값
        "id" : 17,
        "name" : "wine glass",
        "price" : 17000
        },
    "source" : {
    ...
        }
    },
    "op" : "c",                     // operation type(c:create, u:update, d:delete)
    "ts_ms" : 1602982061481,            
    "transaction" : {               // transaction
    	"id" : "506",                // 트랜잭션을 식별한 유니크한 string
        "total_order" : 9,           // 트랜잭션에 의해 생성된 모든 이벤트의 개수(absolute position of the event among all events generated by the transaction)
        "data_collection_order" : 5  // 트랜잭션에 의해 생성된 모든 이벤트의 개수 중 이 트랜잭션의 위치(the per-data collection position of the event among all events that were emitted by the transaction)
    }
}

// 출처 : 네이버 데뷰 2020

MirrorMaker2

CDC용 Kafka를 application용 kafka와 격리시킬 목적으로 사용

Kafka Connector

출처 : https://www.wenyanet.com/opensource/ko/6076d6ed0c0fdf4c2a5604d7.html

빨간색 네모 박스가 Debezium이 적용될 부분
카프카 클러스터를 통해 데이터베이스, 하둡, 검색 같은 외부 시스템 및 파일 시스템에 연결하고 데이터를 가져오고 내보는 프레임워크를 제공
Connector : 데이터 베이스, 키-값 저장소, 검색 엔진, 파일 시스템에 대한 연결 인터페이스

삼성 소프트웨어 개발자 컨퍼런스 2019의 Debezium 발표 배경 중

일반 카프카 커넥트 아키텍쳐

Extract - Transform - Load 패턴

출처 : https://www.sosconhistory.net/soscon2019/content/data/session/Day%202_1730_2.pdf

Debezium 카프카 커텍트 아키텍쳐

출처 : https://www.sosconhistory.net/soscon2019/content/data/session/Day%202_1730_2.pdf

주문 서비스 적용 예시

출처 : https://www.sosconhistory.net/soscon2019/content/data/session/Day%202_1730_2.pdf

최근 데이터 레이크 아키텍처 트렌드

Lambda 아키텍처에서 Kappa 아키텍처로 넘어가는 추세
데이터 레이크 아키텍처 관련 포스트 : https://nooblette.tistory.com/327?category=1079298

Lambda 아키텍처

Kappa 아키텍처

Lambda 아키텍처와 비교했을때 Kappa 아키텍처의 특징

배치 레이어를 제거
스피드 레이어가 서비스에서 생성되는 모든 데이터를 처리

개인적인 생각 : 변경된 데이터를 바로 판별할 수 있는 CDC를 지원하는 Debezium이 이러한 Kappa 아키텍처의 특징을 잘 지원할 수 있을 것 같음

Debezium을 사용할 경우 대용량 환경일수록 아키텍처를 잘 잡아야하기 때문에 DBA, 개발자, Devops의 역할이 중요해진다.

출처

Debezium 설명 - 삼성 소프트웨어 개발자 컨퍼런스 2019 - Debezium 쓸까? 말까?
실제 Debezium 적용 사례 - 네이버 DEVIEW 2020 - 쇼핑검색플랫폼, MSA로 새옷을 갈아입다

참고한 곳

원문 출처 : https://nooblette.tistory.com/338

NoSQL 비교(카산드라, HBASE, MongoDB)

Lifelong Study — Wed, 26 Apr 2023 16:12:00 +0900

이전에 데이터 처리하는 어플리케이션을 개발할 때 NoSQL로 어떤걸 쓰면 좋을지 조사한 글을 포스팅해본다.

그 당시 고민했던 NoSQL 중 카산드라(Cassandra), HBASE, MongoDB 세 가지로 선정해 조사했었다.

RDBMS? NOSQL?

데이터의 읽기 쓰기 등 퍼포먼스에 치중한다면 NOSQL, 트랜잭션과 같은 정합성 위주의 시스템을 사용한다면 RDBMS
RDBMS 컬럼 변경 용이하지 않음, NOSQL 컬럼 변경 용이
NOSQL의 경우 sorting, join, grouping, range query, index 매우 취약
RDBMS 학습 비용 x
NOSQL 학습 비용 소요 (운영시 어떤 장애상황이 생길지 예측이 어려움)
NOSQL 가장 큰 장점 (Scale-Out, RDBMS보다 상대적으로 빠른 쓰기/읽기)

NOSQL 분류
[ 키 밸류형 ] redis, memcached, Oracle Coherence
[ 컬럼형 ] Cassandra, HBASE, Cloud Datastore
[ 문서형 ] MongoDB, Couchbase, MarkLogic, PostgreSQL, MySQL, DynamoDB MS-DocumentDB
[ 그래프형 ] Neo4j

DataStore	설 명	장 점	단 점
Cassandra	-Facebook에 의해 2008년 아파치 오픈소스로 공개된 분산 데이터 베이스 (자바 언어 기반) -컬럼 단위로 관리되어 컬럼형으로 분류 -대용량의 데이터 트랜잭션에 대해 고성능 처리가 가능(실제 트위터 MYSQL -> Cassandra로 전환)	-대량으로 쓰기가 발생하는 서비스에 좋음 -확장성이 뛰어남 -Apache Foundation에서 개발중이며커뮤니티 활발 - Scale-Out	-최소 3대 이상 구성(클러스터 환경) -복잡한 조건 검색 불가 -데이터 갱신 및 입력시 Atomic한 처리가 힘듬
HBase	-대량 데이터를 우수한 성능으로 데이터 일관성을 보장하면서 다뤄야 할 때 주로 사용 -대량 데이터 분석 및 처리를 위해 사용되는 Hadoop의 산하 프로젝트로 시작된 데이터베이스 (HDFS 및 MapReduce등과 함께 사용하기에 최적화) -수십 테러바이트가 넘는 빅데이터에 적합	-하둡 기반에서 동작하고 다양한 하둡 의 도구들과 상호 운영성이 좋음-데이터 일관성 보장 우수(상대적)	-5대 미만에서는 사용할 수 없다(대규모 전용) -성능이 좋진 않다 (상대적)
MongoDB	-MongoDB는 10gen 사에서 개발된 높은 성능과 확장성을 가지고 있는 데이터베이스- NoSQL 데이터베이스에서는 문서형 데이터베이스로 분류(C언어 기반)-데이터를 입력할때 데이터 구조 정보를 포함하여 BSON(JSON을 바이너리화한것)형식으로 저장하고, key value로 사용-NON-SCHEMA-비정형 데이터, 파일 데이터등의 스키마프리(Scheme free)모델에서 적합 - SQL 과 비슷한 방식의 쿼리 사용	-스키마 없이 사용 가능 -SQL 과 비슷한 방식의 쿼리 사용 -몽고는 쓰기할때 메모리에 먼저 Write 후에 1분 단위로 Flushing하는 Write back 방식을 사용한기 때문에 write성능이 좋음-Read시에는 파일의 Index를 메모리에 로딩해 놓고 찾는다(memory mapped file) - 빠름-다양한 기능 제공	-JOIN이나 트랜잭션 처리가 불가능 -디스크에 쓰기가 비동기식으로 이루어진다. 때문에 경우에 따라 데이터가 유실될 가능성도 있다.

[ Cassandra & HBase ]

카산드라 클러스터 설정 및 구성이 HBase 클러스터 구성보다 훨씬 쉽다.
카산드라가 일반적으로 write시 5배 이상의 더 나은 성능, read시 4배 이상의 성능을 보인다.

[ Cassandra & MongoDB ]

Cassandra 노드가 추가될수록 MonogoDB 보다 훨씬 나은 선형적인 성능 향상을 보인다.
- 다중 Index가 필요한 구조라면 MongoDB를 선택하고, 데이터 항목 변경이 많고 unique access가 많은 경우라면 Cassandra가 적합
http://db-engines.com/en/system/Cassandra;MongoDB

성능비교

https://academy.datastax.com/planet-cassandra/nosql-performance-benchmarks
https://www.datastax.com/nosql-databases/benchmarks-cassandra-vs-mongodb-vs-hbase

출처 : https://brocess.tistory.com/115

[Redis, 레디스] 레디스 소개 및 아키텍처, 주의할 점(Redis Overview, Redis Architecture, Tool Tip)

Lifelong Study — Tue, 25 Apr 2023 19:19:54 +0900

| Redis란?

레디스(Redis)는 고성능 key-value 저장소로서 리스트, 해시, 셋 정렬된 셋 등 여러 형식의 자료구조를 지원하는 NoSQL입니다. 메모리에 상주하면서 RDBMS의 캐시 솔루션으로서 주로 사용되며 라인, 삼성전자, 네이버, Stackoverflow, 인스타그램 등 여러 IT 대기업에서도 사용하는 검증된 오픈소스 솔루션입니다.

제가 일하는 회사에서도 Redis를 쓰고 있으며 RDBMS의 read부하를 줄이기 위해 Redis 클러스터 형태로 운영하고 있습니다.

| Redis 사용용도

Redis는 Message Queue, Shared Memory, Remote Dictionary 용도로 사용할 수 있습니다. 특히 Remote Dictionary로서 RDBMS의 캐시 솔루션으로 사용 용도가 굉장히 높다고 생각하고 있습니다. RDBMS에서 SELECT 쿼리문을 날려 특정 데이터들을 FETCH했을 때, RDBMS의 구조상 DISK에서 데이터를 꺼내오는 데 Memory에서 읽어들이는 것보다 천배 가량 더 느리기 때문입니다.

이 때 Redis같은 유연한 자료구조를 가지는 인메모리 Key-value 솔루션을 사용하여 DB 부하의 Read 연산의 부하를 분산시키는 데 적용하는 것은 바람직한 것 같습니다. (DB 캐시 적중률을 높이면 되겠지만 어느 정도 한계가 있다고 생각합니다)

| Redis 특징

■ Key-Value Store

레디스는 거대한 맵(Map) 데이터 저장소입니다. Key와 value가 매핑된 단순한 맵 데이터 저장소로서 데이터를 레디스에 쉽고 편하게 읽고 쓸 수 있습니다. 장점은 익히기 쉽고 직관적인 데 있고 단점은 Key-value 형태로 저장된 데이터를 레디스 자체내에서 처리하는 것이 어렵다는 점입니다.

■ 다양한 데이터 타입

Key로 참조되는 Value 타입을 다양하게 지정하여 저장할 수 있습니다. List, String, Set, Sorted set 등 여러 데이터를 저정하여 손쉽고 편리하게 데이터를 저장할 수 있습니다.

■ Persistence

Redis는 데이터를 disk에 저장할 수 있습니다. 따라서 Redis는 서버가 shutdown된 후에 restart 하더라도 disk에 저장해놓은 데이터를 다시 읽어서 데이터가 유실되지 않습니다. redis의 데이터를 disk에 저장하는 방식은 snapshot, AOF 방식이 있습니다.

Snapshot : 스냅샷은 RDB에서도 사용하고 있는 어떤 특정 시점의 데이터를 DISK에 옮겨담는 방식을 뜻합니다. Blocking 방식의 SAVE와 Non-blocking 방식의 BGSAVE 방식이 있습니다.

AOF : Redis의 모든 write/update 연산 자체를 모두 log 파일에 기록하는 형태입니다. 서버가 재시작할 시 write/update를 순차적으로 재실행, 데이터를 복구합니다.

레디스 공식문서에서의 권장사항은 RDBMS의 rollback 시스템같이 두 방식을 혼용해서 사용하는 것입니다. 주기적으로 snapshot으로 벡업하고 다음 snapshot까지의 저장을 AOF 방식으로 수행하는 것이죠.

■ ANSI C로 작성

C언어로 작성되어 Java와 같이 가상머신 위에서 동작하는 언어에서 발생하는 성능 문제에 대해 자유롭습니다. 곧바로 기계어로 동작하지 않고 어떤 가상의 머신 위에서 인터프리터된 언어로 가동하는 경우에는 가비지컬렉션(Garbage Collection) 동작에 따른 성능 문제가 발생할 수 밖에 없습니다. 하지만 C언어로 작성된 Redis는 이런 이슈에 대해 자유롭습니다.

■ 서버 측 복제 및 샤딩을 지원

읽기 성능 증대를 위한 서버 측 복제를 지원합니다와 쓰기 성능 증대를 위한 클라이언트 측 샤딩을 지원합니다.

| Redis 아키텍처

■ Redis Topology

레디스는 아래 그림과 같이 Master-slave 형태로 데이터를 복제해서 운영할 수 있습니다. 이 master-slave 간의 복제는 non-blocking 상태로 이루어집니다.

■ Redis Sharding

레디스에서 데이터를 샤딩하여 레디스의 read성능을 높일 수 있습니다. 예로들어 #1~#999, #1000~#1999 ID 형태로 데이터를 나누어서 데이터의 용량을 확장하고 각 서버에 있는 Redis의 부하를 나누어 줄일 수 있습니다.

■ Redis Cluster

레디스는 이전에는 Clustering을 지원하지 않았지만 Clustering을 지원하면서 대부분의 회사가 Redis를 클러스터로 묶어서 가용성 및 안정성있는 캐시 매니져로서 사용하고 있습니다. Single Instance로서 레디스를 사용할 때는 Sharding이나 Topology로서 커버해야했던 부분을 Clustering을 이용함으로서 어플리케이션을 설계하는 데 좀 더 수월해졌다고 볼 수 있습니다.

| 사용시 주의할 점

■ 장애가 났을 경우 그에 대비한 운영 플랜이 세워줘야 함

Redis는 인메모리 데이터 저장소로서 서버에 장애가 났을 경우 데이터 유실이 발생합니다. 따라서 위의 Snapshot과 AOF 기능을 통한 복구 시나리오가 제대로 세워져 있어야 데이터 유실에 대비한 사고에 대처할 수 있습니다.

■ 캐시 솔루션으로 사용할 시 잘못된 데이터가 캐시되는 것을 방지, 예방해야 함

회사에서 Redis를 운영 중 전에 개발자의 실수로 작성된 로직으로 캐시 데이터가 잘못 캐싱되어 올바르지 않은 데이터가 FETCH되어 한동안 데이터가 꼬이는 일이 있었습니다. 레디스와 캐싱하고자 하는 데이터 저장소의 데이터가 서로 일치하는 지 주기적인 모니터링과 이를 방지하기 위한 사내 솔루션을 개발하는 것이 좋습니다

| 참고자료

http://qnimate.com/overview-of-redis-architecture/

https://bcho.tistory.com/654

출처 : https://engkimbs.tistory.com/869

컬럼기반 DB, Vertica

Lifelong Study — Tue, 25 Apr 2023 19:18:17 +0900

컬럼기반 Database

학번이름전화번호

101	김하나	010-1111-1111
102	이둘	010-2222-2222
103	석삼	010-3333-3333

위와같은 예제 데이터 테이블이 있다고 가정할때, Row base/ Column base DB가 각각 어떤식으로 데이터를 저장하는지 알아보도록 하겠습니다.

로우 기반 DB

data : “101;김하나;010-1111-1111,102;이둘;010-2222-2222;석삼;010-3333-3333”

위와같이 Row 단위로 데이터를 저장하게됩니다.

컬럼 기반 DB

data1 : “001:101,002:102, 003:103”
data2 : “001:김하나, 002:이둘, 003:석삼”
data3 : “001:010-1111-1111, 002:010-2222-2222, 003:010-3333-3333”

컬럼기반으로 데이터를 저장함으로써, 대용량 데이터에서 로우데이터 전체를 조회하는 로우기반 DB와는 다르게 특정 컬럼들만 조회하는데에 유리한 성능을 낼수 있는 구조로 만들기위해 설계되었습니다. 특히나 이와 같은 경우는 분석을위한 DB에서 자주 발생하기때문에 분석을 위한 데이터라면 해당 DB가 적합할수 있습니다.

컬럼기반 Database 종류

SAP -> HANA
IBM -> Netezza
HP -> Vertica
ORACLE -> Exadata
AMAZONE -> Redshift,
APACHE -> Cassandra, HBase

대부분의 컬럼DB는 상용으로 비교적 비싼 가격에 판매되고 있으며, 최근에는 무료로 제공중인 마리아DB도 컬럼베이스 Store engine을 제공하고있으나 아직은 이슈가 많아 안정적이지 못하다고 합니다.

컬럼기반 Database의 특징

Write once 아키텍쳐 (Update하지 않음, insert & delete 트랜잭션처리)
delete시 논리적삭제가 일어나고 주기적으로 물리적 삭제를 진행합니다.
index가 없습니다.
기본적으로 테이블은 논리적인 개념으로 존재하고, 실제적으로 데이터가 저장되는 물리적 단위로는 Projection을 통해 제공됩니다.
클러스터구조 데이터 분산

Vertica 장점

컬럼별 중복데이터에 대한 압축으로 디스크 점유공간을 크게 줄일수 있습니다.
중복데이터 뿐만 아니라, 데이터 자체의 압축알고리즘을 통해 데이터용량을 크게 줄입니다.
클러스터링 설정이 용이합니다.
컬럼별로 데이터가 저장되어 단일 컬럼 및 적은수의 컬럼데이터만들을 분석하는데 유리합니다.
특정 컬럼만 읽어서 갯수를 세거나 통계를 내는 분석용 데이터 베이스 작업에 유리합니다.

컬럼기반 Database의 단점 (↔ 로우기반 database)

여러 컬럼을 동시에 작업할때 불리합니다.
모든 컬럼의 값을 동시에 입력해야할때 불리합니다.

출처 : https://taes-k.github.io/2019/11/20/column-based-db-vertica/

나만 모르고 있던 - Flyway (DB 마이그레이션 Tool)

Lifelong Study — Tue, 25 Apr 2023 18:30:37 +0900

2016년 00월 00일 서울 모처의 OO프로젝트 운영 배포현장

개발PL: 소스 운영 배포 합니다.

개발팀원: 네~

개발PL: 운영서버 배포 끝냈습니다.

개발팀원 : PL님 계속 NullpointerException 에러 떨어지고 있는데요...

개발PL : "이리 저리~ 확인! 확인!" 헉! 길동아 이번에 추가된 상태코드 운영DB에 추가 안했냐?

홍길동 : 허어어어억... 개발DB까진 다 insert했는데... 제가 깜빡했습니다.

개발PL : 아... 이런 시베리안 헉스키 같은 @#$!%#$%!@%!@#%!@%! ...

우리는 이런 상황을 심심치 않게 직접 겪거나 지인들의 술,담배 자리 에피소드로 듣곤 한다.

단순 상태코드 몇개 추가 되는거야 일이 아니겠지만

만약 다수의 table 변경이나 data 추가, 삭제, 변경등을 처리하지 않았다고 한다면....

모르긴 몰라도 이 글을 읽는 분들도 이런 당황스런 순간을 한번 쯤은 겪어 봤을거라고 생각한다.

단편적인 얘기였지만 database를 다루면서 발생할 수 있는 골치아픈 작업과 문제점을 해결 해 줄 수 있는것이 바로 flyway (플라이 웨이) 이다.

소개

Flyway는 오픈소스 Database 마이그레이션 Tool이다.

왜 database 마이그레이션이 필요할까?

일반적으로 대 부분의 Project는 다음 그림처럼 다수의 배포 환경을 가지고 있다.

참여한 각 개발자의 Local환경, 통합환경, 테스트 환경, 그리고 운영환경 정도로 구성되어 있고

개발자 Local에서 구현되어 테스트 되어진 프로그램의 Source Code는 형상관리 Tool(git, svn, etc...)을 이용하여 변경이력을 관리하고 있지만 database는 어떠한가? 각 개발자의 Local환경에서 개발시 사용되는 database의 schema 변경에 대한 마땅한 이력관리 방법이 존재하지 않는다.

즉 Local개발환경의 database 변경사항을 다른 배포단계의 database에 적용 하려면 어쩔 수 없이 배포전 변경사항을 수동으로 처리 해야줘야 한다. 이런 수동적인 처리방법 때문에 글의 첫 부분과 같은 에피소드들이 발생하게 되는것이다.

flyway는 이런 수동관리의 불편함을 손 쉽게 해결해주는 Tool이다.

동작방식

flyway가 schema와 data변경사항을 어떻게 관리하는지 동작방식에 대해 알아보자.

우리는 두개의 마이그레이션(database schema변경 sql문이 기록된) 을 가지고 있고 우리의 database는 비워져 있다.

우리가 flyway를 통해서 마이그레이션을 처리하고자 할때 대상 database에 SCHEMA_VERSION (flyway가 변경이력을 관리하는 meta table) table이 존재하는지 판단하고 없다면 flyway가 자동으로 신규로 생성한다.

SCHEMA_VERSION 이 생성되거나 기 존재한다면 flyway는 마이그레이션을 위해 지정된 파일(sql or Java)을 지정된 classpath에서 탐색하여 버전 순서대로 실행한다.

마이그레이션이 실행되고 나면 SCHEMA_VERSION table에 실행이력을 저장하게 된다.

여기서 중요한것은 flyway는 마이그레이션 대상파일의 version을 파일명을 통해서 구분하게 되는데 파일명 작성규칙은 다음과 같다.

File Naming

prefix: default로 V 는 버전 마이그레이션, R은 반복 마이그레이션용 접두사이다. 반드시 V또는 R로 시작해야만 flyway가 인식함.
version: version은 버전 마이레이션에서만 사용되며 숫자와 Dots(점)이나 underscore(언더바) 조합으로 구성. (반복 마이그레이션에서 (version을 명시하면 filename제약 위반으로 에러 발생함)
separator: 설명부분을 구분하기 위한 구분자이며 반드시 undersocre(언더바)를 2개( __ ) 써야함.
description: 이 부분은 schema_version테이블에 저장시 설명으로 사용됨.
suffix: 확장자 기본은 .sql

SQL Syntax

migration 대상파일에 사용할 수 있는 sql script구문은 다음과 같다.

Single 또는 multi-line 구문 지원.
유연한 placeholder 치환 지원.
Single( -- ) 또는 multi-line ( /* */ ) 주석 지원.
Database별 SQL구문 확장 지원 ( PL/SQL, T-SQL, ...)

Sample Script

Command (실행명령)

flyway는 총 6개의 명령을 지원하며 이를 실행하는 방법은 Execution Mode에 따라 달리 사용된다.

Migrate : database 마이그레이션.
Info : 모든 마이그레이션 상세정보를 출력한다.
Validate : database에 적용된 마이그레이션 정보의 유효성을 검증한다.
Baseline : flyway로 관리하기 이전에 database가 기 존재시 해당 database를 flyway baseline 으로 설정할 수 있다.
Repair : 메타 데이터 테이블 문제를 해결하기 위해 사용하는데 두가지 용법이 존재한다. - 실패한 마이그레이션 항목 제거( DDL 트랜잭션을 지원하지 않는 database에만 해당) - 적용된 마이그레이션의 체크섬을 사용 가능한 마이그레이션의 체크섬으로 재정렬.
Clean : database의 schema_version테이블 포함한 모든 objects(tables, views, procedures, ...)를 drop시킨다. ( production(운영환경) 에선 절대 실행 금지 )

Execution Modes (실행방법)

실행방법에는 총6가지를 지원한다.

Command-line : 콘솔에서 명령을 입력하여 실행하는 방법
API(Java/Android) : Java로 작성된 프로그램내에서 API를 이용하여 실행.
Maven : Maven에 통합하여 실행.
Gradle : Gradle에 통합하여 실행.
Ant : Ant에 통합하여 실행.
SBT : SBT(Scala 빌드 도구)에 통합하여 실행.

형상관리를 사용하는 Project에서는 maven, gradle에 flyway를 통합하여 실행하는것이 Build Phase별로 Command를 선택 실행/관리 있으므로 추천한다. 필자는 maven에 flyway를 통합하여 실행하는 예제를 다뤄보겠다.

Maven기반 실행

pom.xml에 flyway관련 의존성 & build 설정 추가

<dependencies>
   <dependency>
      <groupId>com.h2database</groupId>
      <artifactId>h2</artifactId>
      <version>1.4.193</version>
   </dependency>
</dependencies>
<build>
   <plugins>
      <plugin>
         <groupId>org.flywaydb</groupId>
         <artifactId>flyway-maven-plugin</artifactId>
         <version>4.0.3</version>
         <configuration>
            <url>jdbc:h2:tcp://192.168.56.101:9092/~/test,h2.version=1.4.193</url>
            <user>sa</user>
            <locations>
               <location>classpath:db/migration</location>
            </locations>
         </configuration>
      </plugin>
   </plugins>
</build>

마이그레이션 sql파일 생성.필자는 ${project_root}/src/main/resources/db/migration 하위에 생성했으나, 위치는 classpath or filesystem 기반으로 읽을 수 있는 어떤 경로라도 상관없음.
console에서 migration 실행mvn flyway:migrate 를 실행하면 db/migration 하위에 .sql파일들이 version에 따라 실행됨을 확인 할 수 있다.
migration 확인mvn flyway:info 를 통해서 확인시 SCHEMA_VERSION에 실행한 마이그레이션 이력이 등록된걸 확인 할수 있다.

마치며

무슨 말이 필요한가?

테스트해보면 flyway의 간결함과 강력함을 직접 느낄 수 있을 것이다.

출처 : https://www.popit.kr/%EB%82%98%EB%A7%8C-%EB%AA%A8%EB%A5%B4%EA%B3%A0-%EC%9E%88%EB%8D%98-flyway-db-%EB%A7%88%EC%9D%B4%EA%B7%B8%EB%A0%88%EC%9D%B4%EC%85%98-tool/

MongoDB 관리 툴 : Studio 3T

Lifelong Study — Tue, 25 Apr 2023 17:05:28 +0900

다운로드
https://robomongo.org/download
우측 Download Studio 3T 설치

설정
1) dev_mongodb 설정 예

2) Connection/Authentication 상세 정보는 git repository 소스코드에 설정 값을 참고

Query Reference
https://docs.mongodb.com/manual/reference/
db.ProdHist.find({ mallType:'NOR', partnerId:'abcde' })
db.ProdHist.find({ _id : { $in: [ '956022', '956023' ] } })
db.ProdHist.find({ expireIdxDt : { $gt: new Date('2019-03-05'), $lt: new Date('2019-03-06')

[MacOS] 맥에서 무료 DB툴 DBeaver 설치 방법

Lifelong Study — Tue, 25 Apr 2023 12:03:45 +0900

무료로 사용 가능한 SQL 편집 툴인 DBeaver 설치 방법 대해 정리해보겠습니다.

1. 아래의 주소로 접속해 주세요.

https://dbeaver.io/download/?start&os=win&arch=x86_64

2. 다운로드 버튼을 클릭해주세요.

3. 각자 OS에 맞는 파일을 다운로드하여주세요. 저는 mac에 설치하기 때문에 Mac OS X(dmg)를 다운로드하도록 하겠습니다.

4. 다운로드된 파일을 더블 클릭하여 설치해주세요.

5. 설치가 완료되면 아래와 같은 창이 뜨고 DBeaver 아이콘을 Applications로 Drag and Drop 하여 애플리케이션으로 사용 할 수 있도록 합니다.

6. Launchpad에 DBeaver 애플리케이션을 클릭해 실행시켜주세요

7. 다음 팝업창이 뜨면 열기> 예를 눌러 주세요.

8. mac에 DBeaver가 설치되었습니다.

출처 : https://junghn.tistory.com/entry/MacOS-%EB%A7%A5%EC%97%90%EC%84%9C-SQL-%EB%AC%B4%EB%A3%8C-%ED%88%B4-DBeaver-%EC%84%A4%EC%B9%98-%EB%B0%A9%EB%B2%95

색인 종류 (색인, 역색인)

Lifelong Study — Sat, 18 Feb 2023 00:28:24 +0900

Indexing, Inverted indexing

개인 정리 : 색인이 문서들에서 키워드를 뽑아낸다면, 역색인은 뽑아낸 키워드들을 바탕으로 그 키워드가 포함된 문서를 찾아나간다.

관계형 데이터베이스에서는 보통 단방향 색인을 사용한다. 1:N의 관계에서는 보통 N개의 데이터가 1개의 데이터를 칼럼에 저장하는 방법을 사용한다. 이와 같이 색인이 된 경우에, 만약 '특정한 1개의 tuple을 Foreign key로 가지고 있는 N개의 row를 찾아라'라는 쿼리를 돌릴 때, DBMS는 하염없이 N개의 데이터를 검색하고, 중간에 찾았다고 질의를 끊지도 못한다.(뒤에 더 있다는 가능성을 간과하지 못하기 때문에) 이러한 현상을 개선하기 위해 나온 것이 역색인(inverted-index)이다

1. 색인(indexing)

색인(索引)은 책 속의 낱말이나 구절, 또 이에 관련한 지시자를 찾아보기 쉽도록 일정한 순서로 나열한 목록을 가리킨다. 인덱스(index)라고도 한다.

색인 종류

1️⃣ 전체 색인 (static index) : 정적색인이라고도 하며 색인을 시도하는 시점 이전의 데이터를 수집/색인한다.
2️⃣ 증분 색인 (dynamic index) : 동적색인 이라고도 하며 전체색인 완료 시점 부터 추가된 데이터를 수집/색인한다.
3️⃣ 메뉴얼 색인 (manual index) : 데이터의 PK 혹은 고유값을 통한 데이터 재 수집/ 재색인한다.

1. 전체 색인

진행과정

데이터 수집 대상 테이블에 추가/입력되는 데이터가 없다면 그 테이블에 입력된 row 갯수 만큼 데이터 수집/색인작업 진행
데이터 수집 대상 테이블에 추가/입력되는 데이터가 있다면 색인 시도 시점 이전에 입력된 row 갯수 만큼 데이터 수집/색인 작업 진행

2. 증분 색인

개요

데이터 수집 대상 테이블에 추가/입력된 데이터를 수집/색인 하는 작업
증분 색인 방법으로 여러가지 방법이 있으나 "날짜기준 수집/색인" 과 "CRUD 발생시 Queue 기록 수집/색인" 방법이 주류를 이룬다

1️⃣ 날짜 색인
검색엔진에 최종적으로 수집/색인된 데이터의 날짜를 가지고 와 그 날짜 이후 입력된 데이터를 select 한다
$
2️⃣ CRUD 발생시 Queue 기록 수집/색인 방법
데이터 CRUD에 대한 히스토리를 기록하여 기록된 정보를 가지고 데이터의 수집/색인이 이루어지도록 한다.

3. 메뉴얼 색인

진행 과정

데이터 수집 대상 테이블에서 특정 PK값을 조회하여 데이터 재 색인 과정을 거친다.
보통 전체색인 쿼리에서 where 조건에 조회할 PK값을 넣어 데이터 색인/수집을 진행한다.
증분색인 방법에 태워 별도의 작업 없이 queue에 update action 값과 대상 PK값을 기록하여 메뉴얼 색인 작업을 대신 할 수도 있다.

2. 역색인(Inverted indexing)

역색인이란 어떠한 데이터를 색인할 때 단어 기준으로 색인을 수행하는 것이다. 이는 데이터 색인 시 인간의 사고와 좀 더 가깝게 체계를 구성한 것이다. 색인이 문서들에서 키워드를 뽑아낸다면, 역색인은 뽑아낸 키워드들을 바탕으로 그 키워드가 포함된 문서를 찾아나간다. 여기서 BTree 또는 Trie, 해싱 방식의 자료구조를 사용한다.

색인어를 추출 및 키워드를 찾는 과정

과정

원문에서 색인어를 추출한다
원문에서 각 문서당 색인어 숫자를 센다
키워드 순서로 정렬한다
키워드당 역색인 벡터를 만든다(단어 -> 문장의 Index)
역색인 벡터를 압축한다.
키워드당 검색 순위를 미리 만든다.
Lexicon을 Hashing, Btree, TRIE등의 자료구조로 색인한다.
키워드가 요청되면 정리된 자료구조에서 찾는다.

참조

출처

https://velog.io/@choral/Search-Process%EC%83%89%EC%9D%B8-%EC%97%AD%EC%83%89%EC%9D%B8

mysql REGEXP 정규표현식

Lifelong Study — Mon, 30 Jan 2023 15:19:10 +0900

REGEXP

LIKE 연산자보다 더욱 복잡한 패턴을 검색하고 싶을 때는 REGEXP 연산자를 사용할 수 있습니다.

REGEXP 연산자는 정규 표현식을 토대로 하는 패턴 매칭 연산을 제공합니다.

REGEXP 연산자와 함께 사용할 수 있는 패턴은 다음과 같습니다.

패턴설명

.	줄 바꿈 문자(\n)를 제외한 임의의 한 문자를 의미함.
*	해당 문자 패턴이 0번 이상 반복됨.
+	해당 문자 패턴이 1번 이상 반복됨.
^	문자열의 처음을 의미함.
$	문자열의 끝을 의미함.
\|	선택을 의미함.(OR)
[...]	괄호([]) 안에 있는 어떠한 문자를 의미함.
[^...]	괄호([]) 안에 있지 않은 어떠한 문자를 의미함.
{n}	반복되는 횟수를 지정함.
{m,n}	반복되는 횟수의 최솟값과 최댓값을 지정함.

만약 해당 패턴과 일치하지 않는 데이터를 찾고 싶을 때는 NOT REGEXP 연산자를 사용하면 됩니다.

다음 예제는 Name 필드의 값이 '김'으로 시작하지 않고, '수'으로 끝나지도 않는 레코드를 선택하는 예제입니다.

SELECT * FROM employee
WHERE Name REGEXP '^김|수$';

[AWS] RDS 인스턴스 생성 및 EC2에서 접근하기 ( MySQL, 프리티어 )

Lifelong Study — Fri, 2 Sep 2022 17:55:18 +0900

1. 서비스 소개

AWS RDS(Relational Database Service)는 클라우드에서 관계형 데이터베이스를 쉽게 설치, 운영 및 확장할 수 있는 관리형 서비스이며, 주요 특징은 다음과 같습니다.

Amazon Aurora, MySQL, MariaDB, Oracle, SQL Server 및 PostgreSQL 데이터베이스 엔진을 지원
DB 인스턴스 백업 및 복구를 위한 두 가지 방법, 즉 자동 백업 및 데이터베이스 스냅샷(DB 스냅샷)을 제공
40개의 DB 인스턴스 보유 가능
스키마 제한이 없음 (일부제외)

RDS FAQ를 참고한 내용이며, 더 자세한 내용은 공식문서를 확인하시길 바랍니다.

아마존에서는 여러 DBMS 중에서 자사 제품인 오로라(Aurora)를 밀어주고 있는데, 그 특징은 다음과 같습니다.

MySQL과 PostgreSQL와 호환되는 RBDMS입니다.
프리티어 지원 X
가격비교 ( RDS for MySQL, Aurora )

Aurora FAQ를 참고한 내용이며, 더 자세한 내용은 공식문서를 확인하시길 바랍니다.

2. 인스턴스 생성

이제 MySQL 엔진을 사용하여 RDS 인스턴스를 생성해보겠습니다.

먼저, IAM을 통해 RDS 전용 계정으로 사용하실 것을 권장합니다. ( 참고 )

각 단계마다 설명이 잘되어 있고, 정보 링크를 클릭하면 자세한 설명이 나오므로 꼭 참고하셔서 진행하시길 바랍니다.

설명이 잘되어 있지만, 굳이 정리하는 이유는 샘플을 보여드리기 위함입니다.

1) 대시보드

먼저 서울 리전을 선택한 후, 데이터베이스 생성 버튼을 클릭합니다.

2) 데이터베이스 생성 방식 선택

DB 생성 방식을 선택합니다.

손쉬운 생성을 선택하면 DB 엔진만 골라서 인스턴스를 생성할 수 있으며, 추가적인 설정은 인스턴스 생성후 변경할 수 있습니다.

이 글에서는 설정들에 대한 정보를 알아볼 것이므로 표준 생성을 선택합니다.

3) 엔진 옵션

DB 엔진을 선택하고, 버전을 선택해줍니다.

4) 템플릿 선택

어떤 용도로 인스턴스를 생성할 것인지에 따라 템플릿을 선택해줍니다.

여기서는 프리티어를 사용하며, 정보를 클릭하면 자세한 내용을 확인할 수 있습니다.

프리티어

5) 설정

설명 그대로 작성해주시면 됩니다.

DB 인스턴스 식별자
자격 증명 설정

6) DB 인스턴스 크기 설정

사용 목적에 맞는 성능을 고려하여 인스턴스를 선택합니다. ( 참고 )

프리티어는 선택할것 없이 기본값을 고르고 넘어가면 됩니다.

7) 스토리지 선택

선택할 수 있는 스토리지 유형은 다음과 같습니다. ( 참고 )

범용(SSD) 스토리지
프로비저닝된 IOPS(SSD) 스토리지

스토리지 자동 조정 기능은 처리량이 급증하여 DB 여유공간이 부족할 때, 자동으로 스토리지를 확장하는 기능입니다. ( 참고 )

Auto scaling은 실제 스토리지 사용량을 지속적으로 모니터링하고, 실제 사용률이 프로비저닝된 스토리지 용량에 근접하면 용량을 자동으로 확장합니다.

RDS 스토리지 Auto scaling에 대한 추가 비용은 없기 때문에, 활성화를 해줍니다.

단, Auto scaling이 RDS DB 인스턴스의 스토리지를 동적으로 늘리는 데 효과적이기는 하지만, DB 인스턴스의 초기 스토리지는 일반적인 워크로드에 적합한 크기로 구성해야 하는 것이 좋습니다.

최대 스토리지 임계값은 해당 DB 인스턴스가 자동으로 확장할 수 있는 제한 값입니다.

8) 가용성 및 내구성 설정

다중 AZ 배포를 사용해 DB 인스턴스에 고가용성과 장애 조치 기능을 지원합니다.

어떻게 고가용성을 지원하는지는 문서를 참고하시면 좋을것 같습니다.

9) VPC 선택

VPC / 서브넷그룹
퍼블릭 액세스 가능
VPC 보안 그룹
가용영역
포트

10) 데이터베이스 인증

인증 방식은 다음과 같습니다. ( 참고 )

암호인증
암호 및 IAM 데이터베이스 인증

11) 추가 구성

추가 구성을 선택합니다.

기본 값을 사용해도 무방합니다.

이렇게 설정을 마치고, 데이터 베이스를 생성하면 목록에서 확인할 수 있습니다.

3. RDS 접근하기

마지막으로 EC2에서 RDS를 접근하는 방법에 대해 알아보겠습니다.

( EC2생성은 여기를 참고해주세요. )

EC2에서 RDS 인스턴스에 접근하려면, 보안 그룹을 수정해야 합니다.

생성된 인스턴스를 클릭하면 나오는 상세정보에서 VPC 보안 그룹을 클릭합니다.

기존에 생성된 EC2의 보안그룹의 그룹ID를 복사합니다.

RDS에서 생성한 보안그룹을 선택
인바운드 탭
편집 팝업
유형에 DB 엔진을 선택하고, 소스에 복사한 EC2 보안정책의 그룹ID를 붙여넣기 합니다.

4) EC2에 MySQL 설치

이제 EC2에서 접근해보도록 하겠습니다.

먼저 터미널로 EC2를 접속하여 MySQL이 설치되어 있는지 확인합니다.

MySQL이 설치되어 있지 않다면 설치합니다.

$ sudo yum install mysql

5) EC2에서 접근하기

다음으로 RDS 인스턴스의 엔드포인트를 확인합니다.

EC2에서 다음의 명령어를 실행하여 RDS 인스턴스에 접근합니다.

$ mysql -u {마스터 사용자 이름} -p -h {RDS 인스턴스 엔드포인트}

이상으로 AWS RDS 인스턴스 생성 및 설정방법에 대해 알아보았습니다.

참고로 WorkBench, HedisSQL 같은 툴을 통해 접근하려면 보안 그룹을 추가해주면 됩니다.

[참고 자료]

https://docs.aws.amazon.com/ko_kr/AmazonRDS/latest/UserGuide/USER_CreateMariaDBInstance.html

출처 : https://victorydntmd.tistory.com/337?category=682759

[AWS] SES로 이메일 전송하기

Lifelong Study — Fri, 2 Sep 2022 17:26:07 +0900

1. SES( Simple Email Service )

SES는 이메일을 전송할 수 있는 서비스입니다.

SES를 사용하는 목적은 회원들에게 프로모션 전송, 회원가입 시 이메일 확인 인증, 비밀번호 전송 등을 수행하기 위해서이며, 프리티어 기준 매일 2,000통을 보낼 수 있습니다.

2. 발송 테스트

SES로 메일을 보내는 간단한 테스트를 해보도록 하겠습니다.

테스트를 진행하기 위해 자신의 이메일을 인증받아야 합니다.

지금은 샌드박스( Sand box ) 환경이기 때문에 아무에게나 메일을 보낼 수 없습니다.

샌드박스 환경을 나가는 방법은 뒤에서 다루도록 하겠습니다.

우선 테스트 메일을 수신 받을 이메일을 등록하도록 하겠습니다.

"Verify a New Email Address"를 클릭해서 이메일 주소를 입력해주세요.

그리고 입력한 이메일에서 인증절차를 진행해주세요 !

인증이 완료되면 status가 "verified"상태로 바뀝니다.

인증된 메일 주소의 체크박스를 클릭하여 "Send a Test Email" 버튼을 클릭합니다.

현재 등록된 메일이 한 개 뿐이므로 다른 메일 주소로 메일을 보낼 수 없고 자기 자신에게 메일을 보내야 할 것 같습니다.

To를 작성하는 공간에 인증된 메일 주소를 입력해주세요.

그리고 Subject에는 제목을 Body에는 내용을 입력해주세요.

정말로 메일이 왔는지 확인해보세요 !

그런데 실제 서비스에서 이렇게 사용할 수 있을까요?

회원으로부터 자사의 웹 서비스에 대한 메일을 수신할 것인지 일일이 인증을 받아야만 하는 것은 좋은 방법은 아닌 것 같습니다.

AWS에서 스팸을 방지하기 위해 신규 등록 고객에게 이러한 제한을 걸어두는데, 이 환경을 벗어나는 방법을 설명하도록 하겠습니다.

3. 샌드박스 나가기

SES 서비스를 이용하기 위해서는 샌드박스( sandbox )를 나가야 합니다.

( SES 샌드박스 나가기와 관련된 문서를 여기를 참고해주세요 ! )

공식 문서에서 샌드박스에 대한 설명은 다음과 같습니다.

샌드박스 환경을 나가면 수신자 주소에 대한 제한을 없애고 메일 발신 한도를 높일 수 있습니다.

샌드박스를 나가기 위해서는 SES를 사용하려는 목적에 대해서, 그리고 매일 몇 건의 발송 건을 요청할 것인지 AWS에 영어로 작성해서 보내야 합니다.

우선 이곳을 클릭하여 작성 화면으로 이동하겠습니다.

( AWS의 우상단 - 지원 - 지원센터 - 좌측의 create case 로 들어갈수도 있습니다. )

각 항목에 대해 다음과 같이 작성해주세요.

항목에 대한 설명은 위의 문서를 참고해주시고, 아래는 제가 사용했던 예제입니다. ( 예시이므로 참고만 해주세요. )

regarding : Service Limit increase
Limit Type : SES Sending Limits
Region : Oregon
Mail Type : System Notifications
Website url : not yet
My email-sending ....(이용약관) : yes
only send to ... (내 메일을 특별히 요청한 수신인에게만 보낸다) : No
I have a process ... (불만을 처리하는 프로세스가 있다) : No
Use Case Description : 사용 목적을 작성합니다.

요청을 보내면 AWS 직원이 이를 확인하고 메일을 보내줍니다.

보통 3시간 안에 확인할 수 있습니다.

승인 메일을 받았으면 본격적으로 SES를 사용할 수 있게 된 것입니다.

일일이 회원의 이메일로 메일을 수신할 것인지 인증을 요구할 필요 없으며 발신 한도도 높일 수 있게 되었습니다.

이상으로 이메일을 전송하는 SES 서비스에 대해 알아보았습니다.

AWS console에서 하는 이메일을 전송은 사실 무의미합니다.

샌드박스 환경을 나가는 것이 중요하며, 이후에는 프로그래밍을 통해 SMTP API( 링크 )를 호출하여 메일을 보내면 됩니다.

각 언어마다 SMTP API를 사용할 수 있도록 AWS API를 제공하므로 이를 참고하여 프로젝트에 SES 서비스를 구현해보시면 좋을 것 같습니다 !

출처 : https://victorydntmd.tistory.com/69?category=682759

[AWS] IAM (2) IAM 계정 생성 및 role부여

Lifelong Study — Fri, 2 Sep 2022 17:23:44 +0900

1. IAM( Identity and Access Managemnet )

IAM이란 AWS의 리소스에 대한 접근제어와 권한을 가지도록 계정 또는 그룹을 생성하는 서비스입니다.

어떤 IAM 계정은 EC2 서비스만 접근할 수 있도록 권한을 부여하고, 다른 IAM 계정은 S3 서비스만 접근할 수 있도록 권한을 나눌 수 있습니다.

IAM 계정이 없다면 AWS 계정 자체가 모든 서비스에 대한 권한이 있기 때문에 보안상 취약합니다.

따라서 IAM 계정을 생성해서 각 IAM 계정에 필요한 권한만 갖도록 설정할 수 있습니다.

또한 IAM 계정은 access key를 개별적으로 관리할 수 있기 때문에 보안성이 높아집니다.

예를 들어, AWS 계정의 access key로 EC2를 생성했을 때 만약 이 key가 해킹 당한다면 해커는 저의 계정으로 모든 접근이 가능합니다.

그런데 IAM 계정의 access key로 EC2를 생성하면 다른 권한을 수행할 수 없기 때문에 보안성이 높아집니다.

2. IAM 생성하기 - 그룹 생성하기

EC2 서비스의 권한을 갖는 IAM 그룹을 먼저 생성해보도록 하겠습니다.

IAM 그룹은 같은 서비스에 접근 권한이 있는 IAM 계정들을 그룹화 해놓은 것을 말합니다.

"Create New Group"을 클릭하여, 위와 같이 Group name을 작성해주세요.

이어서 정책을 설정하는 화면이 나옵니다.

이 그룹에는 EC2의 접근에 대한 권한을 설정하는 것이 목적이므로 검색 창에 위와 같이 입력해주세요.

그리고 체크박스를 클릭하여 "Next Step"버튼을 눌러주세요.

이어서 "Create Group" 버튼을 눌러주세요.

그러면 EC2에 대한 fullaccess가 가능한 그룹이 생성되었습니다.

3.. IAM 생성하기 - 계정 생성하기

위에서 생성한 그룹에 계정을 추가하도록 하겠습니다.

EC2 인스턴스는 웹 서버로 활용되므로 S3에 접근할 일이 많습니다.

따라서 S3에 접근 권한을 갖는 계정을 생성한 후 EC2 권한을 가진 그룹에 포함 시키도록 하겠습니다.

user name에 유저명을 작성해주시고, 접근 유형을 체크합니다.

Programmatic access를 체크하면 AWS API에 접근할 수 있는 access key와 secret key를 얻을 수 있습니다.

AWS Management Console access는 AWS 계정 관리 콘솔에 접근하도록 권한을 부여합니다.

방금 전에 생성했던 group에 현재 계정을 추가 시킵니다.

"Next" 버튼을 누르고 이어서 "create" 버튼을 눌러 계정을 생성하겠습니다.

생성된 계정의 access key와 secret key를 다운로드하거나 "show"버튼을 눌러서 안전하게 보관해주세요.

이 두 key는 절대로 외부에 노출되서는 안됩니다 !

여기까지 계정을 생성해서 group에 추가했습니다.

이제 이 계정에서 S3에 접근 할 수 있도록 S3 접근 권한을 부여하도록 하겠습니다.

user 목록에서 방금 생성한 계정을 클릭해주세요.

10)

AWS Service에서 S3를 선택해주세요.

Action은 S3의 모든 기능을 수행하도록 선택하겠습니다.

ARN은 arn:aws:s3:::my_bucket 과 같이 입력해주세요.

( ARN에 대한 자세한 문서는 여기를 참고해주세요 ! )

그리고 "Add Statement" 버튼을 누르고 이어서 "next" 버튼을 눌러주세요.

정책을 확인 후 "Aplly Policy" 버튼을 눌러주세요.

그러면 IAM User 정보에 S3에 대한 정책이 설정된 것을 보실 수 있습니다.

4. 역할 부여하기

이제 IAM user에 역할을 부여하도록 하겠습니다.

이 User 계정에는 EC2 인스턴스에서 S3에 접근할 수 있는 역할이 부여됩니다.

11)

12)

13)

빨간색으로 체크된 부분을 클릭한 후 "next"버튼을 눌러주세요.

S3에 접근할 수 있는 역할을 부여할 것이므로 검색어로 위와 같이 입력하도록 하겠습니다.

이어서 "next" 버튼을 눌러주세요.

다음 화면에서 Role name과 Role 설명을 작성해주고 "create role" 버튼을 눌러 role을 생성해주세요.

5. 역할을 부여한 IAM으로 EC2 인스턴스 생성

기존에 EC2를 생성했던 방법과 다른 점은 IAM 역할을 부여한다는 것입니다.

IAM 역할을 부여한 EC2 인스턴스는 S3의 접급만 가능하고, 다른 서비스로의 접근 불가능합니다.

이전 글의 과정 (1) ~ (5)까지는 같습니다.

14)

아까 저는 role name을 role_1로 설정했습니다.

IAM 역할을 부여하고 나면 이후의 과정은 또 같습니다.

방금 생성한 EC2 인스턴스는 S3의 접근 외의 다른 서비스 접근은 불가능하게 되었습니다.

IAM 역할을 부여했기 때문이죠 !

이상으로 IAM 계정을 생성하여 역할을 부여하고 이 역할로 EC2 인스턴스를 생성해보았습니다.

출처 : https://victorydntmd.tistory.com/67?category=682759

[AWS] CloudWatch로 리소스 모니터링하기

Lifelong Study — Fri, 2 Sep 2022 17:20:23 +0900

1. CloudWatch

이전 글에서 Access Key and Security key의 중요성에 대해 알아보았습니다.

매 번 "결제 대시보드"를 확인하는 것은 사실 조금 귀찮은 일입니다.

그렇다고 " 저의 계정이 해킹이 된 것 같다"는 AWS의 이메일을 받기에는 이미 많은 요금이 과금된 상태일 수도 있고,

최악의 경우에는 그 메일조차 확인을 못할 경우가 있습니다.

CloudWatch를 사용하면 EC2의 리소스 상태를 모니터링하여 자주 사용하는 이메일로 알림을 보내주는 서비스를 제공합니다.

프리티어에서 5분마다 리소스 상태를 모니터링 하며, 모니터링 주기를 짧게 하고 싶다면 비용이 발생합니다.

저는 프리티어를 사용하고 있으므로 주기설정은 하지 않도록 하겠습니다.

2. CloudWatch 사용하기

CloudWatch를 통해 대표적으로 EC2 인스턴스의 CPU 사용률과 EBS 볼륨의 I/O 사용량 등을 모니터링 할 수 있습니다.

EC2의 상태를 모니터링 하는 것이 중요하므로 CloudWatch를 통해 EC2의 상태를 모니터링 하여 메일로 알림을 받도록 설정하도록 해보겠습니다.

선택한 인스턴스의 CPU를 사용량을 기준으로 계정이 해킹되었는지 확인하려고 합니다.

따라서 지표 이름 중 "CPUUtilization"을 선택하여 "다음"버튼을 눌러주세요.

알람의 이름과 설명을 작성해주시고 임계 값을 설정합니다.

저는 60% 이상 사용되었을 경우 알림 메시지를 받도록 했습니다.

어디 메일주소로 받을지는 작업의 "새 목록"을 눌러서 작성해주세요.

자주 확인하는 이메일 주소를 입력해야 알림을 잘 받을 수 있겠죠 ?

알림을 받은 후 EC2 작업을 설정할 수도 있습니다.

저는 해당 인스턴스를 중지하는 작업을 추가했습니다.

그러면 해당 EC2에 CloudWatch가 등록이 되었습니다.

알림 메시지를 받기 위한 이메일을 인증 하기 위해서 인증 절차를 진행해주세요 !

경보 목록을 보시면 지금은 데이터가 부족하여 "부족" 상태에 있지만 5분이 지나면 "확인"상태로 바뀝니다.

이상으로 Cloud Watch로 EC2 인스턴스의 리소스 상태를 모니터링 하여 설정 값을 초과하면 이메일로 알림 메시지를 전송하는 서비스에 대해 알아보았습니다.

좋은 서비스를 소개해드렸지만, 수시로 "결제 대시보드"를 확인하는 것도 좋은 습관일 것 같습니다.

출처 : https://victorydntmd.tistory.com/68?category=682759

[AWS] S3와 CloudFront 연동하기

Lifelong Study — Fri, 2 Sep 2022 17:15:54 +0900

1. 서비스 소개

AWS S3는 이미 널리 알려진 Storage 서비스입니다.

모든 종류의 데이터를 원하는 형식으로 저장
저장할 수 있는 데이터의 전체 볼륨과 객체 수에는 제한이 없음
Amazon S3는 간단한 key 기반의 객체 스토리지이며, 데이터를 저장 및 검색하는데 사용할 수 있는 고유한 객체 키를 할당.
Amazon S3는 간편한 표준 기반 REST 웹 서비스 인터페이스를 제공
요금 정책 (링크)
안전하다

S3 FAQ를 참고한 내용이며, 더 자세한 내용은 공식문서에서 확인할 수 있습니다.

AWS CloudFront는 정적, 동적 컨텐츠를 빠르게 응답하기 위한 캐시 기능을 제공하는 CDN 서비스입니다.

캐싱을 지원하기 때문에 S3에 저장된 컨텐츠를 직접 접근하지 않아도 되므로 S3의 비용이 감소하며, 더 빠른 응답을 지원하므로 꼭 함께 적용해주는 것이 좋습니다.

애플리케이션과 인프라에 대한 “관문”으로 사용함으로써 중요한 콘텐츠, 데이터, 코드 및 인프라에 대한 주요 공격을 차단
콘텐츠, API 또는 애플리케이션을 SSL/TLS를 통해 전송 가능
특정 콘텐츠에 대한 액세스 제한 가능
가용성 향상 : 캐싱을 통한 Origin의 워크로드를 줄일 수 있음
Amazon S3, Amazon EC2 또는 Elastic Load Balancing과 같은 AWS Origin을 사용하는 경우, 이러한 서비스와 CloudFront 간에 전송된 데이터에 대해서는 요금이 청구되지 않음

CloudFront FAQ를 참고한 내용이며, 더 자세한 내용은 공식문서에서 확인할 수 있습니다.

2. S3 버킷 생성

이제 S3와 CloudFront를 연동하는 방법에 대해 알아보겠습니다.

먼저, IAM을 통해 S3 전용 계정으로 사용하실 것을 권장합니다. ( 참고 )

다음으로 S3에 버킷을 생성합니다.

버킷을 생성하는 방법은 간단하므로 자세한 방법은 생략하며, 여기를 참고하시길 바랍니다.

3. CloudFront 연동

CloudFront 서비스에 접근합니다.

1) 배포 생성

create Distribution을 클릭합니다.

2) 배포 방식 선택

배포 방식을 선택해야 하는데, 일반적으로 Web을 선택하면 됩니다. ( 참고 )

Web
RTMP (Real Time Messaging Protocol)

Get Started 버튼을 누르면 배포에 대한 설정을 해야하는데요.

자세한 설명은 각 항목의 오른쪽 아이콘 또는 공식문서를 보시길 바랍니다.

아래의 내용들은 문서 읽기가 귀찮은 분들을 위해 간단한 설명과 샘플을 제공하는 것일 뿐이며, 공식문서가 잘되어 있으므로 꼭! 공식문서를 보시길 권장합니다.

3) 배포 설정 (1) - Origin에 대한 셋팅

Origin Domain Name
Origin Path - ( 선택값 )
Origin ID
Restrict Bucket Access
Origin Custom Headers

4) 배포 설정 (2) - 캐시에 대한 셋팅

Path Pattern
Viewer Protocol Policy
Allowed HTTP Methods
Field-level Encryption Config
Cached HTTP Methods
Cache Based on Selected Request Headers
Object Caching
Forward Cookies
Query String Forwarding and Caching
Smooth Streaming
Restrict Viewer Access
Compress Objects Automatically ( 참고 )
Lambda Function Associations

5) 배포 설정 (3) - 배포에 대한 셋팅

Price Class
AWS WAF Web ACL
Alternate Domain Names(CNAMEs)
SSL Certificate
Supported HTTP Versions
Default Root Object
Logging
Enable IPv6
Comment
Distribution State

이상으로 설정을 모두 마치고 Create Distribution 버튼을 클릭하여 배포를 생성합니다.

6) 배포 생성

배포가 생성되면 좌측의 Distributions을 클릭하여 배포 목록을 확인합니다.

7) 배포 상태 확인

Status는 In Progress이므로 Edge에 배포되고 있는 상태입니다.

State는 Enabled이므로 CloudFront를 사용하고 있다는 것을 알려줍니다.

Deployed는 배포가 완료된 상태이며, 약 10분 정도 소요된 것 같습니다.

8) 테스트 - CloudFront 도메인으로 S3 객체 접근

마지막으로 CloudFront에서 기본 할당된 Domain Name(dq582wpwqowa9.cloudfront.net)을 통해 버킷의 객체에 접근해보도록 하겠습니다.

버킷에 다음과 같이 sample.jpg 파일이 있을 때, 브라우저에서 아래와 같이 요청하면 파일이 다운로드 되는 것을 확인할 수 있습니다.

dq582wpwqowa9.cloudfront.net/sample.jpg

html 파일이 있다면 html 파일로도 접근이 가능합니다.

<!DOCTYPE html>
<html lang="ko">
<head>
    <meta charset="UTF-8">
    <title>CloudFront 테스트</title>
</head>
<body>
    <h1>Hello World!</H1>
</body>
</html>

dq582wpwqowa9.cloudfront.net/index.html

이상으로 CloudFront에 대해 알아보았습니다.

[참고 자료]

https://docs.aws.amazon.com/ko_kr/AmazonCloudFront/latest/DeveloperGuide/distribution-web-values-specify.html

http://pyrasis.com/book/TheArtOfAmazonWebServices/Chapter12/02

출처 : https://victorydntmd.tistory.com/335?category=682759

[AWS CLI] S3 업로드 및 다운로드

Lifelong Study — Fri, 15 Jul 2022 17:52:36 +0900

AWS CLI 를 사용한, S3 업로드 및 다운로드

S3 에 파일 업로드
aws s3 cp "로컬 경로" "S3 버킷 경로"
S3 에서 파일 다운로드
aws s3 cp "S3 버킷 경로" "로컬 경로"
S3 에 폴더 업로드
aws s3 cp "로컬 경로" "S3 버킷 경로" --recursive
S3 에서 폴더 다운로드
aws s3 cp "S3 버킷 경로" "로컬 경로" --recursive

출처 : https://wooono.tistory.com/347

[AWS CLI] AWS Configure 여러 계정 사용하기

Lifelong Study — Fri, 15 Jul 2022 17:51:22 +0900

aws configure --profile

AWS CLI 는 --profile 옵션을 통해,
여러 AWS 계정에 접근하도록 관리할 수 있습니다.

AWS CLI 설정

AWS CLI 를 설정하는 것은 어렵지 않습니다.
우선, aws configure 로 접근할 AWS 계정의 Console 화면에 접근한 뒤,
IAM 사용자를 생성하고 Access Key를 발급하면 됩니다.
- https://wooono.tistory.com/188
Access Key 를 발급했다면, 아래 명령어를 통해 aws configure 설정을 진행하며, --profile 옵션에 계정 이름을 할당합니다.
```
  AWS Access Key ID [None]:
  AWS Secret Access Key [None]: 
  Default region name [None]: 
  Default output format [None]: 
```
aws configure --profile username

인증 설정 확인

인증 내용은 ~/.aws/config 와 ~/.aws/credentials 에 나눠서 저장됩니다.
credentials 에는 인증과 관련된 값들이 저장되고,
그 외의 설정은 config 파일에 저장됩니다.
```
  cat ~/.aws/credentials
```
cat ~/.aws/config

테스트

간단한 aws cli 명령어를 통해,
aws cli 설정이 정상적으로 적용됐는지 확인합니다.
aws s3 ls --profile "username"

참고

https://docs.aws.amazon.com/cli/latest/reference/configure/list.html

출처 : https://wooono.tistory.com/294

[AWS CLI] Custom Sparse Matrix 생성 자동화 코드

Lifelong Study — Fri, 15 Jul 2022 17:50:18 +0900

사전 작업

생성할 Custom Sparse Matrix 값이 담겨있는 csv 파일을 s3에 업로드
로컬에 있는 customsparsematrix.sh 수정
- 생성할 Custom Sparse Matrix 값이 담겨있는 csv s3 경로 수정
- 생성한 Custom Sparse Matrix를 저장할 s3 경로 수정

AWS CLI Instance 생성 명령어

--user-data : Instance 생성 시 실행할 로컬 쉘 스크립트 경로
aws ec2 run-instances \ --user-data file:///Users/bdlab/Desktop/aws-lab/customsparsematrix.sh \ --image-id ami-00f045aed21a55240 \ --count 1 \ --instance-type c5a.xlarge \ --key-name unho-tokyo \ --security-group-ids sg-05c13765ef7b68b36 \ --subnet-id subnet-956befce

Custom Sparse Matrix 생성 쉘 스크립트 (customsparsematrix.sh)

#!/bin/bash

# 생성할 Custom Sparse Matrix 값이 담겨있는 csv s3 경로
inputcsv_s3="s3://unho-spmm/csv/spmm-scenario-extraction/test/input-2-3.csv"
# 생성한 Custom Sparse Matrix를 저장할 s3 경로
export matrixdata_s3="s3://unho-spmm/custom-nonsquare-matrix/test/"

# 입력파일을 절대경로로 재설정
inputcsv_parse=(`echo $inputcsv_s3 | tr "/" "\n"`)
export inputcsv_local="/home/ec2-user/${inputcsv_parse[${#inputcsv_parse[@]}-1]}"

yum update -y # 패키지 업데이트
yum install python3 -y # python3 설치

# aws configure 설정
aws configure set aws_access_key_id **********
aws configure set aws_secret_access_key **********
aws configure set region ap-northeast-1
aws configure set output text

# S3에서 local로 input.csv 파일 다운로드
aws s3 cp ${inputcsv_s3} ${inputcsv_local}

count=1
# 입력파일의 마지막 줄 마지막 문자를 \n으로 치환하며
# line 마다 ',' 기준으로 split 해 변수로 사용한다.
sed "$ s/\$/\\n/" ${inputcsv_local} | tr -d '\r' | while IFS=',' read lr lc rc ld rd lnnz rnnz;
do 

    # head 이후부터 실행
    if [ $count -gt 1 ]; then

                export lr=$lr
                export lc=$lc
                export rc=$rc
                export ld=`printf '%.8f' $ld`
                export rd=`printf '%.8f' $rd`
                export lnnz=$lnnz
                export rnnz=$rnnz

                python3 - << 'EOF'
import random
import os
import subprocess

# row, col, density를 만족하는 custom sparse matrix 생성 후 dir에 저장
def make_sparse_matrix(row, col, density, nnz, dir):

    # 결과 파일명 (M_행_열_density_nnz)
    file = "M_" + str(row) + "_" + str(col) + "_" + str(density) + "_" + str(nnz)  

    # nnz 개수 만큼 행, 열, 값 난수를 생성
    with open(dir+file,"w") as w:  
        for i in range(nnz): 
            # 행,열,값 난수 생성
            row_idx = random.randrange(0,row)
            col_idx = random.randrange(0,col)
            value = random.random()

            # COO 형식의 line 생성 
            line = str(row_idx) + " " + str(col_idx) + " " + str(value) + "\n"

            w.write(line)

    # 해당 파일 s3로 업로드
    subprocess.call(["aws","s3","cp",dir+file,os.environ["matrixdata_s3"]])

    # 해당 파일 instance에서 삭제        
    subprocess.call(["rm","-rf",dir+file])

# left custom sparse matrix 생성
make_sparse_matrix(int(os.environ["lr"]), int(os.environ["lc"]), os.environ["ld"], int(os.environ["lnnz"]),"/home/ec2-user/")

# right custom sparse matrix 생성
make_sparse_matrix(int(os.environ["lc"]), int(os.environ["rc"]), os.environ["rd"], int(os.environ["rnnz"]),"/home/ec2-user/")

EOF
    fi

        ((count++))

done

# 인스턴스 종료
instance_id=(`ec2-metadata -i | tr ":" "\n"`)
aws ec2 terminate-instances --instance-ids ${instance_id[1]}

출처 : https://wooono.tistory.com/201

[AWS CLI] aws configure / aws configure set 사용 방법

Lifelong Study — Fri, 15 Jul 2022 17:47:34 +0900

기본적인 aws cli 설정 방법은 어렵지 않다.
AWS Console의 IAM에서 유저를 생성하고 Access Key를 생성하면 된다.
생성된 키를 통해, 로컬이 AWS의 권한을 갖도록 설정하는 방법은 다음과 같다.

aws configure / aws configure set

다음 두 가지 방식 중 하나를 사용해 Access Key, Secret Access Key, Region 및 Output 형식을 설정하면 된다.

  aws configure set aws_access_key_id ****************aaaa
  aws configure set aws_secret_access_key ****************aaaa
  aws configure set region ap-northeast-1
  aws configure set output text

출처 : https://wooono.tistory.com/198

[AWS CLI] AWS CLI 를 사용해, EC2 생성 시 Shell Script 를 실행하는 방법

Lifelong Study — Fri, 15 Jul 2022 17:45:54 +0900

전제 조건

로컬환경에 AWS CLI가 설치 및 구성되어 있다 가정하고 진행하겠습니다.

EC2 생성 시, 실행하고자 하는 Shell Script

테스트 환경에서는 실행하고자 하는 Shell Script 파일을 로컬에 저장 후, --user-data 옵션에서 불러오는 방식으로 사용했습니다.
- #!/bin/bash 로 시작해야합니다.
- script를 실행하는 유저는 root이기 때문에, sudo를 붙이지 않아도 됩니다.
- 패키지를 설치할 땐, -y 옵션을 붙여 precess가 멈추는 일을 방지해야 합니다.
- #!/bin/bash # EC2 생성 시, test 디렉토리 생성 mkdir /home/ec2-user/test

AWS CLI를 사용해, EC2 생성 시 Shell Script를 실행하는 방법

AWS CLI의 run-instances 명령을 사용해 EC2를 생성할 수 있으며, --user-data 옵션을 사용해, EC2 생성 시 Shell Script를 실행할 수 있습니다.
- --user-data
  - EC2 Instance 생성 시 실행 할 로컬 Shell Script 파일 경로
- --image-id
  - EC2 Instance 생성 시 사용할 이미지
- --count
  - EC2 Instance 수
- --instance-type
  - EC2 Instance 타입
- --key-name
  - EC2 Instance의 pem key
- --security-group-ids
  - EC2 Instance의 보안그룹
- --subnet-id
  - EC2 Instance의 서브넷
aws ec2 run-instances \ --user-data file:///Users/bdlab/Desktop/test.sh \ --image-id ami-00f045aed21a55240 \ --count 1 \ --instance-type t2.micro \ --key-name unho-tokyo \ --security-group-ids sg-05c13765ef7b68b36 \ --subnet-id subnet-956befce

참고

출처 : https://wooono.tistory.com/193

[AWS CLI] Local 에서 AWS CLI (Command Line Interface) 사용하는 방법

Lifelong Study — Fri, 15 Jul 2022 17:41:36 +0900

진행 순서

AWS 계정 생성
IAM 사용자 생성 (액세스 키 발급)
AWS CLI 패키지 설치
AWS CLI 환경 설정 ( 자격 증명 및 구성 파일 생성 )

1. AWS 계정 생성

계정이 있다고 가정하겠습니다.
보유하고 있는 계정에 로그인 합니다.

2. IAM 사용자 생성 (액세스 키 발급)

AWS CLI를 통해 AWS의 Service를 이용하기 위해선 AWS 계정의 액세스 키가 필요합니다.
순서
- 1) AWS console 상단의 Service 탭에서 IAM 서비스를 찾아 접속합니다.
- 2) 사용자(Users) 탭 → 사용자추가(Add user)를 클릭합니다.
- 4) 사용자 이름(User name)을 작성하고 액세스 유형(Access type)에서 프로그래밍 방식 액세스를 활성화합니다.
  - AWS CLI를 이용할 수 있도록 사용자 기능을 등록하는 것입니다.
- 5) 기존 정책 직접 연결(Attach existing policies directly)에서 맨 위의 AdministratorAccess를 선택합니다.
  - AWS CLI를 통해 모든 작업을 할 것이기 때문에 admin 권한이 필요합니다.
- 6) 사용자에 대한 태그는 선택적으로 부여할 수 있습니다만, 나중에도 관리할 수 있으니 넘어갑니다.
- 7) 생성한 사용자의 권한 및 이름을 마지막으로 확인하고, 하단의 사용자 만들기를 눌러 완료합니다.
- 8) 사용자를 만든 뒤, 왼쪽 중간에 있는 csv 다운로드를 누릅니다.
  - csv 파일 하나가 다운로드 되는데, 이는 잘 저장해둡니다.
  - 이 파일에는 Access key ID와 Secret access key가 저장되어 있는데, CLI를 이용하는데 필요합니다.

3. AWS CLI 패키지 설치

터미널에서 아래 명령어를 통해 설치합니다.
pip install awscli
설치 확인
# 아래 결과가 나오면 설치 완료 aws #usage: aws [options] <command> <subcommand> [<subcommand> ...] [parameters] #To see help text, you can run: # # aws help # aws <command> help # aws <command> <subcommand> help #aws: error: the following arguments are required: command

4. AWS CLI 환경 설정 ( 자격 증명 및 구성 파일 생성)

이 단계는 위의 2단계에서 생성한 사용자 자격 증명(Access key ID와 Secret access key)을 사용하여
awscli를 통해 AWS에 자동으로 액세스할 수 있도록 설정하는 단계입니다.
순서
- 1) aws configure 명령어를 사용해 4개의 값을 등록합니다.
```
  AWS Access Key ID [None]:
  AWS Secret Access Key [None]: 
  Default region name [None]: ap-northeast-1
  Default output format [None]: text
```
  - AWS Access Key ID 와 AWS Secret Access Key 는 앞서 다운로드 받은 csv 파일 안에 있습니다.
  - Default region name
    - aws 명령어를 사용할 때 API를 호출할 기본 리전을 지정합니다.
    - 4단계의 s3 버킷과 동일한 리전을 작성합니다.
  - Default output format
    - API 호출한 결과를 출력할 포맷을 지정합니다.
    - text, json, table 중에 하나를 사용할 수 있습니다.
- aws configure
- 2) 인증 설정을 확인합니다.
  - configure 명령어로 저장한 내용은 ~/.aws/config 와 ~/.aws/credentials로 나눠서 저장됩니다.
  - credentials에는 인증과 관련된 값들이 저장되고, 그 외의 설정은 config 파일에 저장됩니다.
```
  cat ~/.aws/credentials

  #[default]
  #aws_secret_access_key = ~
  #aws_access_key_id = ~
```
  - cat ~/.aws/config #[default] #region = ~
- 3) 간단한 awscli 명령어를 통해 성공적으로 설정했는지 확인
- # AWS에 있는 모든 s3 버킷 나열 aws s3 ls

출처 : https://wooono.tistory.com/188

[AWS CLI] EC2 에서 AWS CLI (Command Line Interface) 사용하는 방법

Lifelong Study — Tue, 12 Jul 2022 18:41:46 +0900

AWS CLI (Command Line Interface) 란?

AWS CLI (Command Line Interface) 는 terminal 환경에서 아마존 웹 서비스를 이용할 수 있도록 도와주는 기능입니다.
- ubuntu 에서 파일 복사, 폴더 생성, 이동, 삭제 등에 이용되는 ls, rm, cp 와 같은 기능을 제공합니다.
이를 이용하려면 먼저 AWS IAM 을 등록해야 합니다.
- AWS 계정 안에서 각 목적에 따라 이용하는 사용자 계정이라 생각하면 됩니다.

IAM 사용자 생성 (액세스 키 발급)

AWS CLI를 통해 AWS의 Service를 이용하기 위해선 AWS 계정의 액세스 키가 필요합니다.
순서
- 1) AWS console 상단의 Service 탭에서 IAM 서비스를 찾아 접속합니다.
- 2) 사용자(Users) 탭 → 사용자추가(Add user)를 클릭합니다.
- 4) 사용자 이름(User name)을 작성하고 액세스 유형(Access type)에서 프로그래밍 방식 액세스를 활성화합니다.
  - AWS CLI를 이용할 수 있도록 사용자 기능을 등록하는 것입니다.
- 5) 기존 정책 직접 연결(Attach existing policies directly)에서 맨 위의 AdministratorAccess를 선택합니다.
  - AWS CLI를 통해 모든 작업을 할 것이기 때문에 admin 권한이 필요합니다.
- 6) 사용자에 대한 태그는 선택적으로 부여할 수 있습니다만, 나중에도 관리할 수 있으니 넘어갑니다.
- 7) 생성한 사용자의 권한 및 이름을 마지막으로 확인하고, 하단의 사용자 만들기를 눌러 완료합니다.
- 8) 사용자를 만든 뒤, 왼쪽 중간에 있는 csv 다운로드를 누릅니다.
  - csv 파일 하나가 다운로드 되는데, 이는 잘 저장해둡니다.
  - 이 파일에는 Access key ID와 Secret access key가 저장되어 있는데, CLI를 이용하는데 필요합니다.

AWS CLI 설치

AWS에서 제공하는 아마존 리눅스의 경우 awscli가 미리 설치되어있습니다.

AWS CLI 환경 설정 ( 자격 증명 및 구성 파일 생성)

이 단계는 위의 2단계에서 생성한 사용자 자격 증명(Access key ID와 Secret access key)을 사용하여
awscli를 통해 AWS에 자동으로 액세스할 수 있도록 설정하는 단계입니다.
순서
- 1) aws configure 명령어를 사용해 4개의 값을 등록합니다.
```
  AWS Access Key ID [None]:
  AWS Secret Access Key [None]: 
  Default region name [None]: ap-northeast-1
  Default output format [None]: text
```
  - AWS Access Key ID 와 AWS Secret Access Key 는 앞서 다운로드 받은 csv 파일 안에 있습니다.
  - Default region name
    - aws 명령어를 사용할 때 API를 호출할 기본 리전을 지정합니다.
    - 4단계의 s3 버킷과 동일한 리전을 작성합니다.
  - Default output format
    - API 호출한 결과를 출력할 포맷을 지정합니다.
    - text, json, table 중에 하나를 사용할 수 있습니다.
- aws configure
- 2) 인증 설정을 확인합니다.
  - configure 명령어로 저장한 내용은 ~/.aws/config 와 ~/.aws/credentials로 나눠서 저장됩니다.
  - credentials에는 인증과 관련된 값들이 저장되고, 그 외의 설정은 config 파일에 저장됩니다.
```
  cat ~/.aws/credentials

  #[default]
  #aws_secret_access_key = ~
  #aws_access_key_id = ~
```
  - cat ~/.aws/config #[default] #region = ~
- 3) 간단한 awscli 명령어를 통해 성공적으로 설정했는지 확인
- # AWS에 있는 모든 s3 버킷 나열 aws s3 ls

출처 : https://wooono.tistory.com/155

[AWS] AWS CodeDeploy 에이전트 설치

Lifelong Study — Tue, 12 Jul 2022 17:15:12 +0900

CodeDeploy의 요청을 받을 수 있도록 에이전트를 설치하는 과정이다.

1. EC2에 접속하여 명령어 입력

aws s3 cp s3://aws-codedeploy-ap-northeast-2.s3.amazonaws.com/latest/install . --region ap-northeast-2

2. install에 실행 권한을 추가

chmod +x ./install

3. install 파일로 설치 진행

sudo ./install auto

이 때, /usr/bin/env: ruby: No such file or directory 라는 오류가 발생한다면 ruby를 인스턴스에 설치해주면 된다.

sudo apt-get install ruby

sudo: apt-get : command not found 가 뜬다면 해당 리눅스에서 지원하는 패키지 관리자를 이용하면 된다.

sudo yum install

설치 완료 후 에이전트가 정상적으로 실행되고 있는지 상태 검사를 해보자.

sudo service codedeploy-agent status

The AWS CodeDeploy agent is running as PID XXXX

성공!

출처 : https://velog.io/@yrkim/AWS-AWS-CodeDeploy-%EC%97%90%EC%9D%B4%EC%A0%84%ED%8A%B8-%EC%84%A4%EC%B9%98

엑셀 VBA를 이용해서 다른 프로그램 실행시키기

Lifelong Study — Thu, 30 Jun 2022 11:51:56 +0900

Excel VBA를 이용해서 다른 외부 프로그램을 실행시키는 법입니다.

아래와 같이 따라하면 간단!

------------------------------------------------------
sProgPath = "D:\TestPorg.exe"                  '실행시킬 파일 경로입니다.
Proc = Shell(sProgPath, vbNormalFocus)     '파일 실행!!
------------------------------------------------------

실행과 동시에 어떤 파일을 읽어드리는 작업을 하고 싶다하시면 아래와 같이 해주세요.
'notepad로 테스트 텍스트 파일을 읽고 싶다' 할 때는 아래와 같이 해주세요.

---------------------------------------------------------
sProgPath = "notepad.exe"       '실행시킬 파일 경로입니다.
sFileName = "test.txt"                      '실행할 파일입니다.
sFilePath = "D:\"                            '실행할 파일 경로입니다.

Proc = Shell(sProgPath & sFilePath & sFileName, vbNormalFocus)
---------------------------------------------------------

엑셀로 작업하면서 외부 툴을 열거나 오픈할 때에 귀찮으므로
따로 버튼들을 만들어 놓고 누를 때마다 열리게 하면
좀 더 파일을 쉽게 관리할 수 있어요

아래와 같이 특정 셀 영역을 참조하게 해서 열리게 하는 것도 편리하죠!

----------------------------------------------------------
sProgPath = Range("ToolFilePath").Value()
sFilePath = Range("BinFilePath").Value() & "\"
sFileName = Range("BinFileName").Value()

Proc = Shell(sProgPath & sFilePath & sFileName, vbNormalFocus)
----------------------------------------------------------

출처: https://it205.tistory.com/36?category=340238 [얼음가득:티스토리]