1. 부품 데이터

① 현기스토어 (부품몰)

• 크롤링/파싱 Feature

  • category, name, part_code, price

• ETL 주기: 1주일

• Raw 스키마 (Parquet)

  category: string
  name: string
  part_code: string
  price: int32
  

• DW 변환 예시

  source | category_raw | name_raw       | vendor_code | price | tag
  -------+--------------+----------------+-------------+-------+-----
  hyunki | 엔진         | 커버 로커 중앙 | 2240526620  | 7170  | 기타
  

• DM 제공 예시

  id | category_raw | name_raw   | vendor_code | avg_price | tag
  ---+--------------+------------+-------------+-----------+-----
  0  | 샤시         | 캡-휠 액센트 | 529733N600 | 3370      | 기타
  

② 파츠로 (부품몰)

• 크롤링/파싱 Feature

  • category, name, product_code, price

• ETL 주기: 1주일

• Raw 스키마 (Parquet)

  category: string
  name: string
  product_code: string
  price: int32
  

• 특징

  • 가격 변동이 잦음 → 주기적 수집
  • 각 도메인별 DAG 실행 → 센싱 DAG가 두 소스가 모두 끝날 때까지 대기 후 DW 변환

③ 모비스 (공식 스토어)

• 크롤링/파싱 Feature

  • 가격, 검색키워드, 모델, 부품번호, 영문부품명, 제조사, 차량구분, 한글부품명

• ETL 주기: 1달 (신차/신규부품 반영)

• Raw 스키마 (Parquet)

  가격: string
  검색키워드: string
  모델: string
  부품번호: string
  영문부품명: string
  제조사: string
  차량구분: string
  한글부품명: string
  

• DM 제공 예시

  id   | manufacturer | vehicle_type | model             | part_no     | name_ko            | name_en          | price | tag
  -----+--------------+--------------+-------------------+-------------+--------------------+-----------------+-------+---------
  8914 | 현대         | 승용         | 그랜드 스타렉스15 | 811803E000KD| 핸들 어셈블리-후드 | HANDLE ASSY-HOOD | 1276  | 차체/외부