1. 프로젝트 개요

• 목표: 총 14개 유형의 위반사항(표절, 블라인드 위반, 복사 붙여넣기, 문항 무관 응답 등)을 자동으로 검출하는 시스템 구축

• 기여: 모델 설계 및 각 과업별 api 개발

• 주요 과업 설명 :

  아래 이외의 과업은 단순 로직으로 처리 가능한 과업으로 본 페이지에서는 생략

  • 표절 위반 : 특정 2인의 자기소개서 속 연속 된 6어절을 동일하게 보유할 시 해당 인원은 표절로 정의
  • 타기업명 언급 : 실수로 타기업명을 언급한 문장 vs 본인의 이력을 소개하는 상황에서의 언급 분류
  • 자사명 오기재 : 지원 기업명에 대해 오타를 발생시켰는지
  • 문항 무관 응답 탐지 : 질문 문항과 상관없는 답변을 작성하였는지
  • 비속어 사용 : 자기소개서 응답에 비속어가 포함 되었거나 or 그에 준하는 표현을 하였는지 분류
  • 블라인드 위반 : 학력/지역/나이/가족관계 등을 은근슬쩍 언급하며 본인 특정 힌트를 주었는지

2. 구현

• 표절 위반
  • 표절 정의 : 연속 된 6어절을 동일하게 포함한 두 문장은 서로 표절로 정의한다.
  • 15000명 6개 항목 기준 표절 검출 소요시간 하루 이상 소요(브루트포스 기준)
  • 검출 소요 시간 감소를 위한 방안:
    • 완전 탐색 피하기 위해 토큰(어절)별 역인덱스 진행. 1차적으로 비교 대상 문장 선정
    • 모든 문장의 6어절을 해시값으로 변경. 비교 대상 문장 내 발생하는 모든 해시값 조합을 비교.
  • 특정 어절이 존재하는 두 문장 인덱스 파싱 → 두 문장 속 해시값 같은지 비교 → 해시값 같을 경우 실제 문자열 비교 검출
• 타기업명 언급
  • 준비 된 문장별 라벨 데이터를 활용, KLUE/Roberta-Large 모델 파인튜닝 하여 분류 진행
• 자사명 오기재
  • 고객사가 지정한 기업명 대비 오타의 비율에 따른 오타 여부를 판정
  • 자모 단위의 Levenshtein distance를 활용. 기업명의 문자열 길이(2 ~ 10)에 따른 edit distance 비율로 분류 진행
• 문항 무관 응답 탐지
  • KorSTS, KorNLI로 학습한 SimCSE 모델을 활용. query 문장과 의미적으로 유사할수록 가까이 임베딩 되도록 학습
  • 자기소개서의 문장 벡터를 pooling → 문항 벡터 생성
  • 특정 문항에 대하여 각 지원자별로 ***“해당 지원자의 문항 벡터”***와, ***“해당 지원자를 뺀 나머지 모든 지원자의 문항 벡터 평균”***의 코사인 유사도를 계산
    • 특정 지원자가 나머지 지원자들에 비해 얼마나 문항과 무관한 글을 작성했는지 고객사가 정한 threshold로 분류
• 비속어 사용 분류
  • 혐오표현 데이터셋으로 KLUE/Roberta-Large 모델 파인튜닝
  • 세 종류의 데이터셋 취합하여 혐오 및 비속어 표현 데이터 셋 생성
    • https://github.com/kocohub/korean-hate-speech
    • https://github.com/2runo/Curse-detection-data
    • https://github.com/ZIZUN/korean-malicious-comments-dataset
  • 고객사가 사전 보유한 비속어 스크리닝 ⇒ 문장 내 욕설 포함 시 비속어 검출 모델로 추론하여 진짜 욕설인지 분류
    • ex) ‘시발’ vs ‘시발점’
• 블라인드 위반
  • 기존 고객사에서 사용 중이던 스크리닝 vocab 및 개인정보 언급 데이터(문장, 언급유무 pair)를 활용하여 마찬가지로 파인튜닝 진행
  • 1차 스크리닝 → 2차 모델 분류

3. 성과 요약

• 속도 개선:
  • 토큰 역인덱스와 해시값 기반 표절 탐지 스크립트로 기존 2일 소요 작업을 2시간으로 단축(클라이언트 요구 조건 : 24시간 이내)
• 정확도 및 휴먼 리소스 절감:
  • SimCSE 기반 문장 임베딩 + leave-one-out 방식으로 문항과 상관없는 응답 탐지하고, 휴먼 리소스 98% 이상 절감
    • 기존 : 5만개 항목(10000명 x 5개 항목) 기준 채점 소요시간 3일 이상
    • 모델 적용 후 : 30분 이내로 완료
• 정량적 성능 평가:
  • 전체 14개 위반 유형에 대해 recall > 0.95, F1-score를 기존 대비 0.2 이상 향상
  • 표절 검출 정확도 100%(고객사 보유 정답 레퍼런스 기준)
  • 블라인드 위반: Precision 0.99, Recall 0.91, F1 0.95
  • 자사명 오기재: Precision 0.99, F1 0.96
• 세분화된 모델 적용:
  • 블라인드 위반, 자사명 오기재, 욕설 탐지 등 AI task에 KLUE/RoBERTa-large 기반 fine-tuning 적용
  • 모델 기반 탐지 외에도 banword 스크리닝 + threshold 조합으로 precision 최적화 수행

4. 결론

• 성과 요약:
  • 속도 크게 단축, 휴먼 리소스 절감, 정확도 크게 향상 → 자동화 적용 타당성 입증
  • AI + Rule 기반 하이브리드 접근 방식의 실용적인 효용 확인