K8S & Multus CNI

<aside> 🧑🏻‍🏫 쿠버네티스 사용 확대에 따라서 파드에 복수개의 NIC 제공 환경이 요구되고 있습니다. 다수의 NIC 제공으로 트래픽 경로 분리하여, 보안성을 강화하고, 특정 NIC 은 성능 최적화를 위해서 하드웨어 가속(SR-IOV 등)을 설정할 수 있습니다.

</aside>

참고 링크

Multus 소개

Multus 소개 : 파드에 다수의 네트워크 인터페이스 연결, NIC 하드웨어 가속 기능(DPDK, SR-IOV) 적용 가능

Untitled

CNI Meta Plugin
Utilizes other CNI plugins like ipvlan, macvlan, ptp etc
POD multiple interfaces
Hardware acceleration (DPDK, SR-IOV)

Multi-Homed pod : 아래 그림 처럼, eth0 이외에 net0, net1 추가 인터페이스(다른 CNI plugin)를 사용

https://github.com/k8snetworkplumbingwg/multus-cni

Multus Plugin 구성 예시

Untitled

파드의 첫번째 NIC(eth0) : 현재 기본 사용 CNI 는 Flannel 로 Flannel CNI(podCIDR) IP 대역을 할당 받고, vxlan overlay 통신을 사용, 노드의 enp0s8 과 맵핑
파드의 두번째 NIC(net1) : IPVLAN plugin 사용으로 net-attach-def 설정한 IP 대역을 할당 받고, VLAN L2 통신을 사용, 노드의 enp0s9 과 맵핑

지원되는 CNI Plugin - 링크

bridge plugin : 브릿지 환경 제공
host-device : dpdk driver 를 컨테이너에 binding
ipvlan plugin : L2/L3 모드 제공, 노드에 파드들은 모두 동일한 MAC 주소 사용, DHCP 사용 불가
macvlan plugin : L2 모드 제공, 노드에 파드별로 각기 다른 MAC 주소 사용, DHCP 사용 적합
ptp plugin : 컨테이너 끼리 1:1 연결
win-bridge plugin (windows specific) : 브릿지 환경 제공
win-overlay plugin (windows specific) : 오버레이 환경 제공

IPAM Plugin (파드에 IP 주소 할당 관리) - 링크

dhcp plugin : DHCP 데몬(서비스)를 통해서 파드에 IP를 자동 할당
host-local IP address management plugin : host-local databases 에서 파드에 IP 할당
static IP address management plugin : 컨테이너에 IPv4/IPv6 를 직접 설정

→ 3rd party IPAM 사용 가능 : Whereabout IPAM 등

(Other) Meta Plugin - 링크

tuning : sysctl parameters 값 변경 설정
portmap : An iptables-based portmapping plugin , 컨테이너의 통신에 관련하는 일부 iptables rules 설정
bandwidth : traffic control tbf (ingress/egress) 를 통한 대역폭 제한(bandwidth-limiting)
sbr : source based routing, 소스 기반 라우팅 관련 설정 → 트래픽 통신 경로 분리에 유리 ⇒ 추후에는 VRF 기능으로 발전 예정
firewall : iptables or firewalld 에 rules 추가를 통한 컨테이너 in/out 트래픽 통제

Multus 실습 환경

실습 구성 : 쿠버네티스 클러스터(k8s-m, k8s-w1, k8s-w2) , 리눅스 라우터(k8s-rtr)

Untitled

vagrant 배포

# 배포
curl -O <https://raw.githubusercontent.com/gasida/KANS/main/multus/Vagrantfile>
vagrant up
vagrant status

# 접속
vagrant ssh k8s-m
vagrant ssh k8s-w1
vagrant ssh k8s-w2
vagrant ssh k8s-rtr

Multus CNI 설치

설치 전 확인

# cni 바이러니 파일 확인
**ls -ltrh /opt/cni/bin**
total 70M
-rwxr-xr-x 1 root root 4.0M May 13  2020 bandwidth
-rwxr-xr-x 1 root root 5.7M May 13  2020 firewall
-rwxr-xr-x 1 root root 3.3M May 13  2020 sbr
-rwxr-xr-x 1 root root 3.8M May 13  2020 portmap
-rwxr-xr-x 1 root root 3.3M May 13  2020 tuning
-rwxr-xr-x 1 root root 4.5M May 13  2020 bridge
-rwxr-xr-x 1 root root 4.0M May 13  2020 host-device
-rwxr-xr-x 1 root root 4.2M May 13  2020 ipvlan
-rwxr-xr-x 1 root root 3.1M May 13  2020 loopback
-rwxr-xr-x 1 root root 4.2M May 13  2020 macvlan
-rwxr-xr-x 1 root root 4.4M May 13  2020 ptp
-rwxr-xr-x 1 root root 4.2M May 13  2020 vlan
-rwxr-xr-x 1 root root  12M May 13  2020 dhcp
-rwxr-xr-x 1 root root 2.8M May 13  2020 static
-rwxr-xr-x 1 root root 3.5M May 13  2020 host-local
-rwxr-xr-x 1 root root 3.3M Jan  8 03:57 **flannel**

# cni 정보 확인
**ls -ltrh /etc/cni/net.d/**
total 4.0K
-rw-r--r-- 1 root root 292 Jan  8 03:57 **10-flannel.conflist**

**cat /etc/cni/net.d/10-flannel.conflist**
{
  "name": "**cbr0**",
  "**cniVersion**": "**0.3.1**",
  "**plugins**": [
    {
      "**type**": "**flannel**",
      "delegate": {
        "hairpinMode": true,
        "isDefaultGateway": true
      }
    },
    {
      "type": "portmap",
      "capabilities": {
        "portMappings": true
      }
    }
  ]
}