[메가경제=김민준 기자] 생성형 AI가 의학 교육자료를 대량으로 제작할 수 있는 가능성을 보여줬지만, AI 자동검증을 통과한 자료에서도 오류가 남는 것으로 나타났다. 의료교육에서 생성형 AI를 활용할 수는 있지만 최종 배포 전에는 전문가의 직접 검증이 필요하다는 것이 연구팀 견해다.

 

서울아산병원은 김남국 융합의학과 교수·남유진 연구원과 홍파 삼성창원병원 영상의학과 교수 연구팀이 생성형 AI 기반 교육 콘텐츠 제작 시스템을 개발하고 영상의학 전문의 시험 대비용 플래시카드와 인포그래픽을 제작해 정확성을 검증했다고 24일 밝혔다.

 

▲ 김남국 교수, 남유진 연구원, 홍파 교수. [사진=서울아산병원]

 

연구팀은 총 6단계로 구성된 시스템을 통해 플래시카드 6000개와 인포그래픽 833개를 만들었다. 이 과정에서 AI 자체 품질검증을 거쳐 교육자료를 걸러냈지만, 실제 의료진 평가에서는 자동검증만으로 오류를 완전히 제거하지 못한 것으로 확인됐다.

 

연구팀은 다른 의료 분야의 오류 기준을 참고해 허용 가능한 오류 비율을 0.3% 이하로 설정했다. 1000개 자료 가운데 중대한 오류가 3개 미만이어야 한다는 기준이다.

 

이후 자동검증을 통과한 플래시카드 1284개를 대상으로 영상의학 전공의 9명과 전문의 11명 등 총 20명이 사실 정확성과 교육적 적절성, 오류 여부 등을 평가했다.

 

그 결과, 약 1.0%의 오류가 발견됐다. 연구팀이 사전에 설정한 0.3% 기준을 웃돈 수치다. AI가 1차적으로 문제가 없다고 판단한 자료라도 실제 교육 현장에서 그대로 사용하기에는 추가 검증이 필요하다는 의미다.

 

반면 생성형 AI의 활용 가치 자체가 부정된 것은 아니다. 연구팀은 이번 연구를 통해 AI가 전문 의료교육 콘텐츠를 대량으로 제작하는 데 활용될 수 있다는 가능성을 확인했다.

 

다만, 생성과 검증, 배포 전 과정을 완전히 자동화하기보다 최종 단계에 전문가가 개입하는 ‘휴먼 인 더 루프’ 방식이 필요하다고 분석했다.

 

흥미로운 점은 AI 피드백이 사람의 검증 능력을 보조하는 효과도 나타났다는 것이다. 평가자에게 AI의 피드백을 함께 제공했을 때 더 많은 오류를 찾아내고 교육 품질도 보다 엄격하게 평가하는 경향이 나타났다.

 

연구팀은 의료진이 자신의 전문지식과 AI 판단이 다를 경우 AI 결과를 그대로 받아들이지 않고 다시 검토하면서 오류 탐지 능력이 높아진 것으로 해석했다.

 

결국 현재 수준의 생성형 AI는 의료교육 콘텐츠 제작 속도를 높이는 도구로 활용할 수 있지만, 정확성 확보를 위해서는 전문가의 최종 판단이 필수적이라는 게 연구의 결론이다.

 

연구팀 관계자는 “생성형 AI를 의료교육에 활용할 수 있는 가능성과 함께 자동검증만으로는 남는 오류를 완전히 제거하기 어렵다는 점을 동시에 확인했다”며 “AI의 대량 제작 능력과 전문가 검증을 결합하는 방식이 의료교육 현장에서 보다 안전한 활용 모델이 될 수 있다”고 말했다.

 

한편, 이번 연구 결과는 국제학술지 ‘npj Digital Medicine’에 게재됐다.

 

[ⓒ 메가경제. 무단전재-재배포 금지]