배경

운영 중인 서비스의 DB FailOver (약 20분 간 지속) 현상으로, 서비스 불가 현상 (5/9 금)
추후 파악한 원인은 AWS RDS 엔진 버전 (3.04.0) 의 내부 logic 결함으로 확인되었지만, 서비스 장애 시점에 고객보다 운영팀의 장애 상황 인지 및 전파가 늦어지는 이슈 발생

목적

DB FailOver 현상의 인지가 늦어진 원인 확인 및 개선 필요

원인 확인

DB FailOver 인지를 위한 모니터링 알람: Datadog 의 AWS Integration 방식의 알람 설정 방식
AWS CloudWatch Metric (aws.rds.engine_uptime) 을 크롤링하여 데이터독으로 메트릭 전송하는 과정에서, 10~15분 delay 발생함. (AWS CW 크롤링 수집주기: 10m)

개선 방향

서비스 운영에 critical 한 관제 목록 중 Datadog 의 AWS Integration 방식의 알람은 AWS EventBridge Rule / AWS CloudWatch Alarm 에서 직접 발송하는 방식으로 변경이 필요하다는 판단
참고로 Datadog 의 Agent 방식은 15s 간격으로 메트릭 전송되어, Delay 로 인한 특이사항 없음

구분	AS-IS	TO-BE
모니터링 방식	Datadog 에서 AWS Integration 을 통해 CloudWatch Metric 크롤링하여 수집한 지표 monitor → Webhook (Teams, AlertNow 등) → 알람 발송	AWS EventBridge Rule → AWS SNS Topic → AmazonQ (Teams), AlertNow 구독 → 알람 발송
**aws metric or
event pattern**	avg(last_5m):avg:aws.rds.engine_uptime{aws_account:514738259429} by {aws_account,availability-zone,dbinstanceidentifier} <= 60	AWS EventBridge Rule

RDS Cluster: "maintenance", "failover”
RDS Instance: "availability", "creation", "deletion", "failover", "failure", "maintenance", "recovery” | | Trigger Delay | aws 크롤링 수집주기(10m) 으로 인해, 10~15m 간 delay (cloudwatch 에서 5m 지표를 수집하는 경우, 지표 수신에 약 15~20m delay 발생가능) | 10s 내외 |

추가 작업대상

구분	AS-IS	TO-BE
모니터링 방식	Datadog 에서 AWS Integration 을 통해 CloudWatch Metric 크롤링하여 수집한 지표 monitor → Webhook (Teams, AlertNow 등) → 알람 발송	AWS CloudWatch Alarm → AWS SNS Topic → AmazonQ (Teams), AlertNow 구독 → 알람 발송

| 구분 | AWS Integration 방식 관제 대상 중 서비스에 Critical 한 관제 목록 | Metric | | --- | --- | --- | | aws metric 1 | EC2_StatusCheckFailed | aws.ec2.status_check_failed | | aws metric 2 | LB_UnhealthyHostCount | aws.applicationelb.un_healthy_host_count aws.networkelb.un_healthy_host_count | | aws metric 3 | ElastiCache CPUUtilization | aws.elasticache.cpuutilization | | aws metric 4 | ElastiCache EngineCPUUtilization | aws.elasticache.engine_cpuutilization | | aws metric 5 | ElastiCache DatabaseMemoryUsagePercentage | aws.elasticache.database_memory_usage_percentage | | aws metric 6 | MemoryDB CPUUtilization | aws.memorydb.cpuutilization | | aws metric 7 | MemoryDB EngineCPUUtilization | aws.memorydb.engine_cpuutilization | | aws metric 8 | MemoryDB DatabaseMemoryUsagePercentage | aws.memorydb.database_memory_usage_percentage | | aws metric 9 | MemoryDB KeyspaceMisses | aws.memorydb.KeyspaceMisses_Count |