IPv6 에 진심인 Netflix with AWS

<aside> 🤔 [필자의 사견] 2010년 정도에 ‘곧 IPv6 시대가 온다’며 IPv6 공부를 한지 10년이 넘은 지금, ‘22년은 국내 회사들도 IPv6 전환을 검토해보시길 바랍니다!

</aside>

Netflix 현황 및 요구사항 : 100k+ 인스턴스를 사용 중

(현재 Public & Private IPv4) NAT 로 인한 비효율 비용 제거를 위해서 Flat network 필요함 → 100+ VPCs 환경에서 NAT 없이 Full IP 라우팅 필요
(현재 AWS Limits, EIP update lag) 점점 증가하는 컨테이너 애플리케이션에 따른 ENI density 증가가 필요함 → AWS 와 협력하여 Prefix delegation 으로 해결!
(현재 AWS 라우팅 Limits, Private IPv4 고갈) 향후 성장을 고려 → 1000+ VPCs 환경에서 라우팅 제약 없이, NAT 없이 Full IP 라우팅 필요
(현재 AWS 라우팅 Limits, Private IPv4 고갈) 온프레미스 환경과 라우팅 제약 없이, NAT 없이 Full IP 라우팅 필요

다수의 리전과 온프레미스 환경에서 EC2/컨테이너 사용 증가, 100k+ EC2 인스턴스 사용 중

얼마의 IP 주소 공간이 필요한가? → A lot

Untitled

Untitled

IPv6 Only 컨테이너가 IPv4 Only 서비스와 통신 시 이슈 발생

일반적으로 IPv6 → IPv4 통신을 위해서는 DNS64 와 NAT64 가 필요함
결국 NAT장비(NAT64)를 거치는 것(오버헤드와 레이턴시 증가)과, NAT64로 인해 보안그룹(SecurityGroup)에서 클라이언트의 IPv6 를 알수 없게 되어 완벽하지 않다

TSA Intercept syscalls 로 해결 - 링크

Titus (Netflix’s Multi-tenant Container Platform) : Netflix 가 개발한 컨테이너 관리 플랫폼 - 링크
Titus 에 TSA 를 통해서 보안그룹도 사용하면서, 효율적인 통신이 가능하게 아이디어를 구현
아래 처럼 워커 노드에 Titus Agent 에 TSA 가 동작하여 syscall() 를 통해 IPv4 와 연결을 생성, 연결 이후에는 다시 TSA 호출 불필요

https://youtu.be/ZEd0ZAskY7E?t=504
TSA 가 Seccomp Notifiler + add_fd support 를 통해서 syscalls() 호출 ← Cilium eBPF 도 그렇치만 기존 ‘TCP/IP, 라우팅’ 문법을 무시(?)한 최적 방법들이 핫하네요!

IPv6 사용률이 2021 년 초 1% 미만에서 → 25% 로 대폭 늘어남

Untitled

어떻게 IPv6 전환을 시작해야 될까?