Avro Schema 도입 이유

Avro 특징

1. Avro 는 JSON 형식의 스키마를 사용하여 데이터 구조를 정의하고, 스키마를 기반으로 직렬화한다.
   • 예시
2. 데이터를 바이너리 형식으로 직렬화하여 저장 공간을 아끼고 처리 속도를 향상 시킬 수 있다. (바이너리 형식이므로 사람이 읽기는 어려움)

\\x04user123\\x08order456\\x10Test Order\\xA0\\x0C\\xF6\\x01\\xA0\\x0C\\xB8\\x01\\x88\\x13

• Json 과 Avro 형식 데이터는 개당 2.9배 정도 차이가 난다. ⇒ 즉, JSON 형식 대비 컴팩트하다. (1번 예시로 보여준 필드 7개를 가진 객체를 가지고 테스트 했습니다.)

  • Avro (95 Bytes)

  

  • JSON (276 Bytes)

  

1. Avro 는 JSON 보다 다양한 데이터 타입을 지원한다. (ex: enum, int, long, float,,) https://www.w3schools.com/js/js_json_datatypes.asp https://avro.apache.org/docs/1.11.1/specification/