매일일보 = 오시내 기자 | 자연어를 이해하는 실용 AI 기술 기업 무하유는 GPT-4o 생성 문장까지 탐지할 수 있도록 ‘GPT킬러’ 기능을 업데이트했다고 26일 밝혔다.
GPT킬러는 무하유가 지난해 9월에 선보인 디텍트(Detect) GPT 솔루션이다. 문서를 검토하는 과정에서 챗GPT가 작성했다고 의심되는 부분을 탐지해 준다. 지난 12년간 AI 표절검사 서비스 카피킬러를 운영하며 축적해 온 문서 데이터와 한국어 자연어 이해(NLU) 노하우, 운영 철학을 접목시켰다.
이번 업데이트를 통해 가장 최신의 챗GPT 버전인 GPT-4o에서 생성한 문장까지 탐지할 수 있도록 기능을 고도화했다. 탐지 정확도 향상을 위해 챗GPT 각 버전에서 실제 학생들이 과제물을 생성할 때 사용하는 것과 유사한 프롬프트를 활용해 대량의 과제물 및 자기소개서를 생성했다. 또한, GPT-4o로 생성한 과제물 데이터를 내부적으로 구축한 후 기존 챗GPT 모델에 대해서도 추가학습을 진행해 모든 버전에 대한 정확도를 크게 향상시켰다.
실제 무하유의 자체 성능 테스트 결과, GPT4-o가 쓴 문장에 대한 탐지 정확도는 0.9695로 나타났다. GPT3.5 터보 및 GPT-4 터보가 쓴 문장에 대해서도 각각 0.9807, 0.9824의 높은 정확도를 보였다. 숫자가 1에 가까울수록 오류 없이 높은 정확도로 탐지해 냄을 의미한다.
신규 버전의 챗GPT가 출시되면 즉각적으로 대응할 수 있도록 자동화 파이프라인도 구축했다. 챗GPT 모델들의 업데이트에 따른 GPT킬러의 성능 하락을 자동 감지하고 보완할 수 있도록 모델 성능 변화를 지속적으로 관찰하고, 필요한 일련의 과정을 자동화했다.
한편 GPT킬러는 무하유의 AI 표절검사 서비스 ‘카피킬러’, AI 서류 평가 서비스 ‘프리즘’ 등에 적용돼 있다. 학생들의 논문 및 과제물, 취업 준비생의 자기소개서 등에 GPT 생성문이 포함돼 있는지 판단한다. 현재 중앙대학교, 서울시립대학교, 성균관대학교, 세종대학교, 동덕여자대학교, 순천향대학교를 포함한 대학교 및 한국연구재단, 한국건설기술연구원, 충남연구원, 한국고용정보원, 한국지방행정연구원 등의 연구기관에서 활발히 활용 중이다.
신동호 무하유 대표는 “해외에서는 디텍트GPT 솔루션으로 교사가 AI로 생성된 학생 작업을 감지하도록 돕는 것은 물론, 최근에는 정부 조달 기관, 보조금 작성 기관, 채용 관리자, AI 교육 데이터 라벨러 등으로 영역을 확장하고 있다”며 “GPT킬러 역시 유즈케이스를 다양하게 확장함으로써 생성형 AI의 무분별한 사용을 막고, 올바르게 활용할 수 있도록 하는 길잡이 역할을 수행할 것”이라고 밝혔다.
