Data Engineer
-
주요 업무
- 웹 크롤링을 및 API 통한 데이터 수집
- 수집된 데이터 가공 및 기본적인 정제를 통한 DB화
- 대규모 병렬 데이터 파이프라인 구축 및 관리
- NoSQL, RDB 인프라 구축 및 관리, 리소스 모니터링
- 데이터 오류 검증을 위한 데이터 시각화 및 분석
-
자격 요건 및 우대 사항
- RDB(ex. oracle), NoSQL(ex. mongodb), Spark, Airflow 사용 경력 최소 1년 이상
- python 능숙 (node.js 가능)
- 데이터 크롤링 경험이 있으신분
- 대용량 & 실시간 데이터 인프라 구축 및 운영 경험