Bash에서 랜덤 값 생성

Bash에서는 $RANDOM 변수를 사용하여 0~32767 사이의 랜덤한 정수를 생성할 수 있습니다.

• 기본 사용법: echo $RANDOM - 0~32767 사이의 무작위 값 출력
• 범위 지정 방법:
  • 0~9 사이 랜덤 값: echo $(( $RANDOM % 10 ))
  • 1~50 사이 랜덤 값: echo $(( $RANDOM % 50 + 1 ))
• 배열에서 랜덤 요소 선택: ${array[$((RANDOM % ${#array[@]}))]}

dataGen.sh 스크립트 설명

이 스크립트는 학생 성적 데이터를 랜덤하게 생성하는 배시 스크립트입니다:

• 세 개의 배열(팀, 학생, 과목)을 정의하고 있습니다.
• CSV 형식으로 출력 파일(hakjum.dat)을 생성합니다.
• 첫 번째 인자($1)로 지정한 수만큼 랜덤 데이터를 생성합니다.
• 각 행은 랜덤하게 선택된 팀, 이름, 과목과 50~99 사이의 점수로 구성됩니다.

하둡(Hadoop)에 대한 정리

하둡은 대용량 데이터를 분산 처리하기 위한 오픈소스 프레임워크입니다:

하둡의 주요 특징

• 분산 파일 시스템(HDFS): 데이터를 여러 서버에 분산 저장하여 안정성과 확장성을 높입니다.
• 맵리듀스(MapReduce): 대용량 데이터 처리를 위한 프로그래밍 모델로, 데이터를 분할하여 병렬 처리합니다.
• 확장성: 서버를 추가하여 쉽게 스토리지와 컴퓨팅 능력을 확장할 수 있습니다.
• 내결함성: 데이터 복제와 작업 재시도 메커니즘으로 장애에 강합니다.

하둡 에코시스템

• Hive: SQL과 유사한 HiveQL을 사용해 데이터를 쿼리할 수 있는 데이터 웨어하우스