Large and Fast: Exploiting Memory Hierarchy

• memory technology

  • Main Memory
    • static RAM (SRAM) : 작고 빠르다.
    • dynamic RAM (DRAM) : 크고 느리다.
  • Secondary Storage (Disk)
    • Flash storage
    • Magnetic disk
    • DRAM ↔ Secondary Storage(memory mapping 통해 상호작용)

• Memory Hierarchy Levels

  • Cpu가 자주 사용하는 데이터인지 check해서 자주 사용하는 데이터를 Cache에 저장해둠
    • Cache : 작고 빠른 메모리
    • Block(line) : 메모리 전송의 단위
  • 접근된 data가 캐시에 있으면 → Hit / 없으면 Miss
    • Miss가 발생하면 miss panelty만큼 시간이 소모되고, cache에 없기에 memory로 가서 가져옴(cache에 등록까지 진행)

  

• 지역성의 원리 (vs randomly하게 데이터 갖고오기)

  • temporal locality 시간적 지역성
    • 최근에 접근된 주소의 내용을 다시 접근할 것 같은 것까지 같이 가져옴(Loop, index 변수)
  • spatial locality 공간적 지역성
    • 메모리 주소 근처에 있는 것까지 같이 가져옴(array, stackframe)
      • 특히 Jump같은 것은 전체의 구조를 같이 가져옴
    • Large block size로 만든다.

• Inst, Data의 Hit/miss

  • I-cache : Instruction Cache / D-cache : Data cache
  • Inst Hit : Fetch / Miss : Fill(main mem으로부터)
  • Data Hit : Load, Store / Miss : Fill(Load), Write through/Back(Store)

  

  이게 하나의 chip이다.

  • Multi level cache
    • L1 → L3 로 갈수록 크기는 커지고 느려진다. L1이 제일 빠름!
    • 그림을 보면 이해가 되겠지만, L1, L2는 각각의 cpu에 사유되어있다.
      • L3은 shared cache

  

  • CPU die image

    • Skylake core

      

    • Skylake quad-core CPU

    

• Cache Memory

  • 우리는 data가 주어져 있는지 어떻게 알 수 있을까?

  • Direct Mapped Cache

    • 주소에 의해 위치가 정해진다.
    • direct mapped : 오직 하나의 선택밖에 없다.
      • 하나의 선택 : 블럭의 주소 modulo 캐시에 들어있는 블록수
      • Block개수는 2의 거듭제곱 → 위의 식에 쉬프트 연산을 이용
        • 왼쪽 쉬프트 한 결과값 = 몫
        • 버리는 값(낮은 bit) = 나머지
          • 주소의 낮은 bit를 사용하면 된다!

    

• Tags and Valid Bits

  • high-order bits(block address 번호를 나타냄) 이용해서 tag를 표현
  • data가 위치에 없다면 → Valid bit = 0 / 있다면 → Valid bit = 1(초기 0)

• 1word Cache 예시

• 1word/block ⇒ block1개 = word1개 즉 block 1개가 4Byte라는 얘기다.
• log2 4B ⇒ 2 bit offset (하위 비트) block address(몇 번째 블럭인지?)
  • 그림보고 이해하자!

• address = Block address + offset (0x8 = 0x2 << offset bit + offset)

  • offset bit = log2 4 = 2bit, offset 4Byte중에 1번째 bit(00) 가리키므로

• 2word Cache 예시

• 1개의 Block = 2개의 word = 8Byte → offset bit = 3bit (3bit로 8을 표현할 수 있으므로)

• address표현 방식은 똑같음 → address = Block address + offset

• 4word Cache 예시