이번에 공부한 주제는 외부 서비스(API) 장애가 전체 시스템에 미치는 영향과 이를 막기 위한 **세 가지 핵심 전략(Timeout, Bulkhead, Circuit Breaker)**이다. 단순히 "에러 처리를 잘하면 된다"는 막연한 답변에서 벗어나, 왜 이런 장애가 발생하고 어떤 방법으로 대응할 수 있는지를 체계적으로 이해했다.

1. 문제 제기

외부 API를 호출할 때, 그 서비스가 장애를 일으키면 단순히 응답이 느려지는 수준이 아니라 우리 서버의 자원을 고갈시키고 전체 서비스로 장애가 확산될 수 있다는 점을 알게 되었다.

예를 들어 결제 API가 10초 동안 응답하지 않으면, 서버의 커넥션 풀과 스레드가 점점 잠기게 되고, 같은 자원을 공유하는 다른 기능까지 대기하게 된다. 이처럼 작은 장애가 “도미노 효과”로 번져 사용자 경험 전반을 해칠 수 있다는 사실을 배웠다.

2. 배경 개념

동기 vs 비동기

• 동기(Synchronous): 요청이 끝날 때까지 대기하는 방식으로, 직렬 실행이므로 장애 전파에 취약하다.
• 비동기(Asynchronous): Non-block I/O 기반으로, 요청 후 다른 작업을 계속할 수 있으며 이벤트/콜백으로 결과를 받는다. 적은 스레드로도 높은 성능을 발휘한다.

Block I/O vs Non-block I/O

• Block I/O: 작업이 완료될 때까지 호출한 코드가 멈춘다 → CPU가 낭비된다.
• Non-block I/O: 요청 즉시 제어를 반환하고, 완료되면 이벤트나 콜백으로 알려준다 → CPU 활용을 극대화할 수 있다.

👉 여기서 중요한 점은 동기/비동기와 Block/Non-block은 동일 개념이 아니며, “흐름 제어 방식”과 “호출자의 대기 여부”라는 서로 다른 기준이라는 것이다.

3. 문제 상황 분석

외부 API 장애가 발생하면, 서버 내부에서 다음과 같은 문제가 발생한다.

1. 응답 지연 → 커넥션 풀 고갈
2. 동일 풀을 공유하는 다른 서비스까지 대기
3. 결국 전체 서비스 성능 저하