1. 전체 연계 흐름 (Scenario)
데이터 발생
: DB(MySQL)에 유저 정보나 결제 로그가 쌓입니다.
스케줄링
:
EventBridge
가 약속된 시간(예: 1시간마다)에 Lambda를 깨웁니다.
데이터 추출 및 변환 (Lambda)
:
Lambda가
Secrets Manager
에서 안전하게 DB 정보를 가져와 MySQL에 접속합니다.
데이터를 뽑아서 Athena가 읽기 좋은
CSV
형식으로 바꿉니다.
보안 저장 (S3 + KMS)
:
Lambda가 변환된 파일을 S3(Shared Network Storage)에 업로드합니다.
이때
KMS 키
를 사용하여 파일을 즉시 암호화합니다. (버킷 정책에 의해 암호화 없이는 업로드 불가)
데이터 분석 (Athena)
:
관리자가 Athena를 통해 S3에 쌓인 암호화된 데이터를 SQL로 조회합니다.
이때 Athena용 IAM 정책이
KMS 복호화 권한
을 가지고 있어 분석이 가능해집니다.
단계
서비스
역할
1. 트리거
CloudWatch (EventBridge)
설정된 주기(Cron/Rate)에 따라 Lambda 호출 신호를 보냄
2. 실행
Lambda
신호를 받자마자 잠에서 깨어나 MySQL 접속 및 S3 업로드 로직 수행
3. 권한 확인
IAM & KMS
Lambda가 S3에 저장할 때 KMS로 암호화할 권한이 있는지 체크
4. 저장
S3
암호화된 상태로 데이터(Shared storage)가 안전하게 저장됨