<aside>

프로젝트 간단 설명

• 클라이언트 → BC카드
• 근무기간 → 2023.06 ~ 2025.02 (약 1년 9개월)
• 팀 규모 → 서버관리 1명, DB관리 1명, 백엔드 1명
• 역할 → 데이터 파이프라인 구축 · 적재 담당 / 서버 운영
• 개발환경 → CentOS(Linux) / Python / PostgreSQL / KT Cloud </aside>

1. 프로젝트 개요

금융 빅데이터 플랫폼은 다수의 외부 데이터 센터로부터 수집한 금융·상권 데이터를 처리·가공하여 기업·기관 사용자에게 제공하는 B2B 빅데이터 플랫폼입니다. FTP/ESB 방식으로 수신된 원천 데이터를 자동화 파이프라인으로 정제·적재하고, 배치 서비스 및 GIS 분석 결과를 실시간 포털에 반영하는 End-to-End 데이터 운영 환경을 담당하였습니다.

2. 당담 업무 상세

자동화 데이터 수집 파이프라인

<aside>

• FTP / ESB 방식으로 수신된 CSV 데이터를 파이썬 코드로 자동 처리
• 수집 → 검증 → 적재 전 과정을 스케줄 자동화
• 데이터 품질 검사 후 PostgreSQL 메타저장소 적재
• 비정기성 외부 데이터는 SCP 서버 간 전송 후 동일 파이프라인 연결하여 처리 </aside>

배치 서비스 운영 및 로그 분석

<aside>

• 상권 분석·GIS 분석 서비스의 월·분기·일 배치 스케줄링 및 로그 검증
• DB 저장 로그 기반 비정상 트래픽 패턴·사용자 활동 이상 징후 분석
• 매월 수작업으로 약 2시간 소요되던 플랫폼 이용 통계 보고서(월간/누적) 작성을 Python(pandas, sqlalchemy, openpyxl)으로 자동화하여 작업 시간을 약 10분으로 단축 (약 92% 감소) </aside>

서버 운영 및 플랫폼 관리

<aside>

• KT Cloud VM / 베어메탈 혼합 인프라 운영 및 SSH Key 기반 서버 간 접근 통제
• 사용자 계정·데이터셋 등록 관리 및 클라우드 SSL 인증서·라이선스 연간 갱신 관리
• 서버 장애시 대응 </aside>

3. 기술 스택