프로젝트 개요

안녕하세요, 곰파다입니다. 👋

곰파다 : 사물이나 일의 속내를 알려고 자세히 찾아보고 따지다.

곰파다는 학생들의 서술형 답안을 자동으로 채점해 선생님들의 반복적 채점 작업을 효율적으로 줄여주는 프로젝트입니다. 교육기관에서 사용하는 AI 자동 채점 시스템이 기존의 단점(띄어쓰기, 유사어 등을 판별하지 못하는 것)으로 인해 실제로 사용하기 어렵다는 사실을 바탕으로, 단점들을 개선하고 더욱 정밀한 채점 보조 서비스를 만들고자 했습니다.

프로젝트 팀 구성 및 역할

김상렬 : Frontend 개발, Backend API 설계, 프로젝트 배포 및 관리

김소연 : Product Manager, 문맥 유사도 채점 모델 구현

김은기 : 모델 엔지니어링, 문맥 유사도 프로토타입 모델 제작, 키워드 모델 제작

박세연 : 데이터 증강, 웹/로고 디자인, 모델-서비스 파이프라인 연결

임수정 : 데이터 수집, 문맥 유사도 예측 모델 평가 데이터셋 제작, SBERT 모델 성능 실험

프로젝트 수행 절차 및 방법

사전조사 단계

1. 자료 조사

   • 곰파다는 초기에 “수능을 AI가 풀 수 있는가?”를 컨셉으로 진척되어 왔습니다. 해외 AI를 사용해서 수능 문제를 풀었을 때 거의 풀지 못했다는 결과를 바탕으로, 수능이 국내에서 중요한 시험이니만큼 맞춤형 AI가 필요하다고 생각했습니다. 따라서 비슷한 시도를 한 것으로 보이는 한국교육과정평가원의 데이터 조사와, 수능 문제 유형 정리를 진행했습니다. 그러나 단기간 안에 문제를 풀어내기에는 너무나 넓고 방대했습니다.
   • 왜 우리가 이 프로젝트 주제를 설정했는지 파고드는 과정에서 수능에 서술형을 도입하려는 시도가 있었다는 사실과, 도입시 가장 큰 문제로 채점에 드는 인력과 명확한 채점 기준이 언급되고 있다는 상황을 알게 되었습니다. 그리고 이 서술형 채점이라는 문제가 비단 수능에만 국한된 것이 아니라는 사실도 주변 인터뷰를 통해 알 수 있었습니다.
   • 따라서 저희는 노동력이 가장 많이 드는 서술형 채점 과정에 AI가 개입하는 것이 가장 바람직하다고 생각하고, 이를 위한 자료를 조사했습니다. 그 중에서도 선생님이 제안한 논리와 가장 비슷하게 푼 학생을 찾는데에 text similarity가 가장 효율적이라고 생각했습니다.
   • 기존에 연구되어온 한국어 서답형 문항에 대한 비즈니스 모델과 text similarity를 수행하는 모델, 한국어로 학습할 수 있는 데이터(open benchmark dataset과 raw data, 실제 채점 데이터 등)을 모색했습니다.

2. 현업 인터뷰

   • 대학 교수, 초중고 교사를 대상으로 서술형 채점에서 힘들었던 부분을 설문조사(2022)로 진행했고, 모호한 채점기준과 채점에 걸리는 시간, 그 중에서도 모호한 채점기준을 가장 큰 문제로 삼았습니다.

     요소	인원수
     채점 기준이 모호해서 몇점을 줘야 할 지 고민을 많이 했다	9
     채점하는 데 시간이 너무 오래 걸렸다	6
     뒤로 갈수록 내가 앞에서 어떻게 채점했는지 까먹었다	5
     채점해야 하는 학생의 답안이 너무 많았다	3
     학생 답안들이 너무 이상해서 채점하기 힘들었다	4

   • 인터뷰

     • 설문조사 외에도 대학 교수님께 인터뷰를 진행한 결과, 비대면 전환에 따라 학교에 채점 보조 프로그램이 도입되기는 했지만, 해당 프로그램은 교사/교수가 작성한 단어와 학생이 사용한 단어가 완전히 일치하는 경우에만 맞게 채점을 하고 그 외에는 모두 0점으로 채점을 한다고 설명해주셨습니다. 그렇기 때문에 단답형은 도움이 되지만 서술형은 그냥 교수/교사가 처음부터 채점한다고 생각하고 사용한다고 답변을 주셨습니다.
     • 인터뷰를 통해 동일 단어가 아닌 유의어와, 문장 형식이 달라도 의미가 유사한 경우를 잡아낼 수 있는 채점 보조 프로그램이 필요하다고 판단되었습니다.

3. 관련 선행 연구를 진행하신 교수님들과의 면담

   서술형 채점 관련 선행 연구 및 적용 사례를 찾아보던 중, 한국어 서술형 데이터를 활용하여 채점 보조 프로그램을 만들고자 먼저 시도했었던 선행연구(wai)를 찾을 수 있었습니다. 따라서 연구 책임자인 하민수 교수님과 , 함께 연구를 진행해주신 최성철 교수님을 만나 선행연구의 구체적인 방향과 조언을 들을 수 있었습니다.

   • 하민수 교수님(사범대 교수님)
     • 연구의 방향성 : 서술형 문제를 평가한다는것은 맞다 틀리다 보다는 이 학생은 어떤 방식으로 접근을 하는지를 중점적으로 봄
       • 접근 방식이 옳은데 정답도 옳은경우, 틀린경우
       • 접근 방식이 틀린데 정답이 옳은경우, 틀린경우
       • 분석채점 방식
     • 데이터 수집 방법
       • 문제를 직접 제작 및 학교에 공유하여 학생들에게 답변을 하게 함
       • 학생들의 답 중에 제대로된 답이 많지 않기 때문에, 키워드에 대한 교사들의 정답도 수집하여 데이터를 만듦
       • 서술형 채점 및 서술형 문제 학습이 가능한 홈페이지를 만들어 추가 데이터 수집
   • 최성철 교수님
     • 교육계에서 하는 AI는 사실 복잡한 것 보다는, 교사가 얼마나 납득할 수 있는지가 더 중요하다고 생각한다.
     • 따라서 교육 분야에서는 사실상 사람이 이해할 수 있고 설명이 가능한 rule-based나 ML을 더 선호하는 경욷도 있기 때문에, 딥러닝을 사용한다면 교사들이 납득할 수 있는 결과를 내는 게 중요할 것 같다.

   두 교수님과의 면담을 통해 저희는 이전 연구들의 목표와 한계점을 이해할 수 있었고, 선행 연구들의 한계를 보완하고 교육 분야의 특성을 반영하는 것을 목표로 프로젝트 방향을 정할 수 있었습니다.

데이터 준비

1. 서술형 답안 데이터 수집

   먼저 모델 평가 및 실제 구현 성능 확인을 위한 서술형 문제 및 답안을 수집했습니다. 이 때 정확한 키워드가 존재하고, 옳고 그름이 명확한 초/중학교 사회, 과학 서술형 문제로 범위를 명확히하고 수집을 진행했습니다.

   또한 충분한 데이터 확보를 위해 문제와 문제에 대한 여러가지의 답안이 있는 형태의 데이터는 모두 후보로 두고 다양한 방식으로 수집을 시도했습니다. 후보로 생각했던 데이터 수집 경로는 세가지로, 아래와 같습니다.

   1. 서술형 평가 관련 선행 연구에서 사용되었던 데이터

   2. 네이버 지식인의 중학교 사회, 과학 Q&A 데이터
   3. 초중학교 과학 학원의 실제 서술형 시험 데이터 및 학생 답안

   세 가지 후보 중, 먼저 과학 학원의 서술형 시험 데이터는 대부분 온라인이 아닌 종이에 학생이 직접 필기로 작성한 데이터가 많았고, 이 경우 OCR 과정까지 포함되어 기한 내에 데이터를 정리하기 어려울 것이라 판단했습니다.

   네이버 지식인의 경우 실제로 크롤링을 진행하고 사회, 과학 과목의 질문과 답변들을 모았습니다.그러나 질문이 서술형 문제와 완전히 일치하지는 않았고, 한 문제당 답변의 개수가 적었기 때문에 우선순위에서는 뒤로 밀리게 되었습니다.

   마지막으로 선행 연구 데이터는 저작권 문제와 공개 가능성이 낮았기 때문에 우선 한국 교육 과정 평가원을 포함한 3곳 정도에 컨택을 시도했고, 다행히 한 곳에서 답변을 받을 수 있었습니다.

   수집한 데이터는 “교육부와 한국과학 창의 재단이 지원한 서술형 평가 지원프로그램(연구책임:하민수 교수)” 연구에서 사용되었던 데이터이고, 문제, 학생 답안, 키워드 및 학생 답안 별 키워드 존재여부로 구성되어있습니다. 이러한 문제가 총 64문제, 한 문제당 학생 답안 수는 850~1000개 정도 되었습니다.

   

2. 키워드 채점 Dataset

   • 훈련 데이터(train)

     키워드 채점의 경우 모델링을 진행하기 전에는 어떤 모델을 사용할 지 확정이 되지 않았던 상태였기 때문에, 우선 OOV를 막고자 문맥 유사도를 위해 수집한 데이터의 모든 학생 답안이 포함된 corpus를 만들어두었습니다.

   • 평가 데이터(validation)

     키워드 채점의 평가 데이터는 수집한 서술형 데이터에 포함된 학생 답안과, 문제별 키워드를 참고하여 테스트셋을 만들었습니다.

     이 때, Exact Match가 아닌 유의어까지 잡는 모델을 사용하기로 방향을 정하고 나서는 특히 키워드의 유의어가 학생 답에 포함되면 모델이 이를 잡아낼 수 있는지를 확인하기 위한 다양한 예시를 만들어 테스트했습니다.