국내 AI, 수능 수학에 도전하다: 처참한 결과와 미래를 위한 노력

AI, 수능 수학을 풀다: 충격적인 현실

국내 AI 모델들이 수학 수능 및 논술 문제 풀이에서 해외 모델에 비해 현저히 낮은 성능을 보였다는 연구 결과가 발표되었습니다. 김종락 서강대 교수 연구팀은 국내 국가대표 AI 5개 팀과 챗GPT 등 해외 5개 모델을 대상으로 수능 수학 및 논술 문제를 풀게 했습니다.

 

 

 

 

실험 개요: 수능, 논술, 그리고 엔트로피매스

수능 수학 20문제(공통과목, 확률과 통계, 미적분, 기하 각 5문제), 논술 30문제(국내 10개 대학, 인도 대학, 일본 도쿄대 기출), 그리고 자체 개발한 엔트로피매스 100문제 중 10문제를 포함하여 총 50문제를 10개 모델에 풀도록 했습니다. 이는 AI의 수학적 능력을 다각도로 평가하기 위한 시도였습니다.

 

 

 

 

참여 모델: 국내외 AI들의 격돌

국내 모델로는 업스테이지의 ‘솔라 프로-2’, LG AI연구원의 ‘엑사원 4.0.1’, 네이버의 ‘HCX-007’, SK텔레콤의 ‘A.X 4.0(72B)’, 엔씨소프트 경량모델 ‘라마 바르코 8B 인스트럭트’가 참여했습니다. 해외 모델은 GPT-5.1, 제미니 3 프로 프리뷰, 클라우드 오푸스 4.5, 그록 4.1 패스트, 딥시크 V3.2 등이 투입되어 치열한 경쟁을 벌였습니다.

 

 

 

 

참혹한 성적표: 국내 AI의 현실

해외 모델은 76~92점을 받은 반면, 국내 모델 중 가장 높은 점수를 받은 솔라 프로-2는 58점에 그쳤습니다. 나머지 국내 모델들은 20점대에 머물렀으며, 라마 바르코 8B 인스트럭트는 2점으로 최저 점수를 기록했습니다. 이는 국내 AI의 현주소를 보여주는 씁쓸한 결과입니다.

 

 

 

 

파이썬 툴 활용에도 불구하고…

연구팀은 국내 5개 모델의 문제 해결 능력을 향상시키기 위해 파이썬 툴을 사용하도록 설계했지만, 예상보다 낮은 문제 적중률을 보였습니다. 이는 단순 추론만으로는 어려운 수학 문제 해결에 있어 AI가 아직 갈 길이 멀다는 것을 의미합니다.

 

 

 

 

엔트로피매스에서의 재도전: 희망의 불씨

대학교 수준부터 교수급 논문 연구 수준까지 난이도를 세분화한 자체 문제 세트인 ‘엔트로피매스’를 활용한 실험에서도 해외 모델이 82.8~90점을 기록한 반면, 국내 모델은 7.1~53.3점으로 저조한 성적을 보였습니다. 3번의 기회를 주는 방식으로 진행된 실험에서는 그록이 만점을 받았지만, 국내 모델은 솔라 프로-2가 70점, 엑사원이 60점을 받는 데 그쳤습니다.

 

 

 

 

미래를 위한 노력: 데이터세트 구축과 리더보드 개설

김 교수는 엔트로피매스 데이터세트를 기반으로 수학 리더보드를 개설하고, 이를 국제적인 수준으로 발전시킬 계획이라고 밝혔습니다. 또한, 자체 개발 문제 생성 알고리즘과 파이프라인을 개선하여 수학뿐 아니라 과학, 제조, 문화 도메인 데이터세트를 생성하고 도메인 특화 모델 성능 개선에 기여할 것이라고 강조했습니다.

 

 

 

 

AI, 수능 수학을 풀다: 현재와 미래

이번 연구는 국내 AI의 수학 능력 부족을 여실히 드러냈지만, 동시에 미래를 위한 가능성을 제시했습니다. 데이터세트 구축, 알고리즘 개선, 그리고 지속적인 연구 개발을 통해 국내 AI는 더 발전할 수 있을 것입니다.

 

 

 

 

자주 묻는 질문

Q.왜 국내 AI 모델의 성능이 이렇게 낮게 나왔나요?

A.단순 추론 능력 부족, 데이터 부족, 그리고 문제 해결을 위한 툴 활용의 어려움 등이 복합적으로 작용한 것으로 보입니다.

 

Q.앞으로 국내 AI의 발전 가능성은 얼마나 될까요?

A.김 교수의 노력과 데이터세트 구축, 알고리즘 개선 등을 통해 긍정적인 발전을 기대할 수 있습니다. 지속적인 연구 개발이 중요한 시점입니다.

 

Q.이번 연구가 갖는 의미는 무엇인가요?

A.AI 기술 발전에 대한 경각심을 일깨우고, 앞으로 나아가야 할 방향을 제시했다는 점에서 의미가 있습니다.