동시성 - 애플리케이션 하나가 동시에 처리할 수 있는 요청의 수

Knative에서는 이를 Soft Limit과 Hard Limit 두 가지 방식으로 제어

구분 Soft Limit (Target) Hard Limit (ContainerConcurrency)
성격 목표치 (Targeted limit) 강제 상한선 (Enforced bound)
동작 방식 오토스케일러가 파드 수를 조절할 때 기준으로 삼는 값 파드 하나가 물리적으로 받을 수 있는 요청 수를 강제 제한
초과 시 트래픽 폭주(Burst) 시 일시적으로 초과 절대 초과 X. 제한에 도달하면 초과 요청은 큐에 쌓여 대기
용도 스케일링 민감도 조절 애플리케이션 보호 (OOM 방지 등)

Soft limit

Hard limit

만약 Soft Limit과 Hard Limit을 동시에 설정했다면?

둘 중 더 작은 값이 적용

정해진 시간 동안(Stable Window)의 초당 평균 요청 수가 target concurrency 초과 → Pod 증가 증가 및 감소는 Scale up rate와 Scale down rate로 결정