ChatGPT 4.5, 의사 시험 통과 여부

결론부터 말하면, ChatGPT 4.5(및 이전 버전)는 미국 의사 국가시험(USMLE) 등에서 ‘합격선’에 도달하거나 근접한 성적을 기록한 것은 사실이지만, 이를 ‘의사 시험을 통과했다’고 단정적으로 보기는 어렵습니다.

미국 의사 국가시험(USMLE) 성적

• 여러 연구와 보도에 따르면, ChatGPT-4는 미국 의사 국가시험(USMLE) 세 단계에서 50~60% 이상의 정확도를 기록하며 ‘무난하게 합격점’을 받은 것으로 보고되었습니다[2][5].
• 일부 사례에서는 98%의 높은 정답률을 기록했다는 주장도 있으나, 이는 특정 조건이나 제한된 문항에서의 결과일 가능성이 높습니다[1].
• 실제 논문에서는 ChatGPT가 USMLE에서 합격선(약 60%)에 근접하거나 도달했으나, 모든 시험에서 일관되게 높은 성적을 낸 것은 아니며, 일부 영역에서는 평균 이하의 성적을 보이기도 했습니다[3][5].

한의사 국가시험 등 국내 사례

• ChatGPT-4가 2022년 한의사 국가시험을 풀었을 때, 평균 57.29%의 정답률로 합격선에 근접하는 성적을 냈으나, ‘합격’ 기준에는 살짝 미치지 못했습니다[4].
• 별도의 의료 분야 특화 훈련 없이 이 정도 성적을 낸 것은 주목할 만하지만, 실제 인간 수험생과 동일한 평가를 받았다고 보기는 어렵습니다.

한계와 주의점

• ChatGPT는 이미지 기반 문제(예: 영상 판독) 등에서는 성능이 떨어지며, 임상적 맥락이나 실제 진료 상황에서의 신뢰성, 일관성, 안전성 등에서 아직 한계가 있습니다[3].
• 실제로 의사 면허를 취득하거나 환자를 진료할 수 있는 자격을 부여받은 것은 아니며, 단순히 객관식 시험에서 합격선에 도달했다는 의미입니다.

“ChatGPT는 3단계에 걸친 미국 의사시험(USMLE)을 50% 이상의 정확도로 무난하게 통과했다. 하지만 실제 환경에서 쓸 수 있는지에 대한 연구가 진행 중이다.”

• 메디칼타임즈[2]

요약

• ChatGPT 4.5(및 4)는 미국 의사 국가시험 등에서 ‘합격선’에 도달하거나 근접한 성적을 기록한 것은 사실임[2][5].
• 하지만, 이를 인간과 동일하게 ‘의사 시험을 통과했다’고 보기에는 한계가 있으며, 임상적 활용이나 자격 부여와는 별개의 문제임[3][4].
• 즉, “ChatGPT 4.5가 의사 시험을 통과했다”고 말할 수는 있지만, 실제 의사와 동일한 자격이나 역할을 갖는 것은 아님.

출처
[1] ChatGPT aces the US Medical Licensing Exam, answering 98 … https://www.reddit.com/r/singularity/comments/1e6wgbs/chatgpt_aces_the_us_medical_licensing_exam/
[2] 의사 시험까지 통과한 Chat GPT 진료 활용 가능할까? – 메디칼타임즈 https://www.medicaltimes.com/Mobile/News/NewsView.html?ID=1152709
[3] Can ChatGPT-3.5 Pass a Medical Exam? A Systematic Review of … https://pmc.ncbi.nlm.nih.gov/articles/PMC10938614/
[4] ChatGPT, 의사 국가시험까지 정복? 한의사 국가시험에서 합격선에 … https://sciencemanager.tistory.com/32
[5] ChatGPT Can (Almost) Pass the US Medical Licensing Exam https://www.labmanager.com/chatgpt-can-almost-pass-the-us-medical-licensing-exam-29754
[6] Reactions: ChatGPT could pass US medical licensing exams https://sciencemediacentre.es/en/reactions-chatgpt-could-pass-us-medical-licensing-exams
[7] 챗GPT, 美 의사 면허 시험도 통과했다 – 지디넷코리아 https://zdnet.co.kr/view/?no=20230210072505
[8] Introducing GPT-4.5 – OpenAI https://openai.com/index/introducing-gpt-4-5/
[9] AI 챗봇, 미·영 이어 한국 치의 국시도 ‘합격’ https://www.dailydental.co.kr/news/article.html?no=131382
[10] Performance of ChatGPT in emergency medicine residency exams … https://pmc.ncbi.nlm.nih.gov/articles/PMC11568194/
[11] ChatGPT, 미국 의사 면허 시험(USMLE)을 통과할 수 있다! – 최윤섭 https://www.yoonsupchoi.com/2023/01/24/chatgpt-usmle/
[12] GPT-4.5 is Here, But is it Really an Upgrade? My Extensive Testing … https://www.reddit.com/r/ChatGPTPro/comments/1j55h6m/gpt45_is_here_but_is_it_really_an_upgrade_my/
[13] “우수하진 않은 성적으로”… 인공지능 GPT-4, 일본 의사국가시험 합격 https://www.chosun.com/international/japan/2023/05/10/E2GIWFJWTRBR7J4Q5EZWRTPD2I/
[14] Can ChatGPT-3.5 Pass a Medical Exam? A Systematic Review of … https://journals.sagepub.com/doi/10.1177/23821205241238641
[15] [창간 22주년] 의사면허시험 통과한 챗GPT, 진단에 도움 줄까? https://www.monews.co.kr/news/articleView.html?idxno=325075
[16] [PDF] OpenAI GPT-4.5 System Card https://cdn.openai.com/gpt-4-5-system-card-2272025.pdf
[17] 의사 시험까지 합격한 chatGPT 과한 기대는 금물 – 메디칼타임즈 https://www.medicaltimes.com/Mobile/News/NewsView.html?ID=1152232
[18] Performance of ChatGPT on the Peruvian National Licensing … https://pmc.ncbi.nlm.nih.gov/articles/PMC10570896/
[19] ChatGPT (GPT- 4) versus doctors on complex cases of … – BMJ Open https://bmjopen.bmj.com/content/bmjopen/14/12/e086148.full.pdf
[20] expert reaction to study on ChatGPT almost passing the US Medical … https://www.sciencemediacentre.org/expert-reaction-to-study-on-chatgpt-almost-passing-the-us-medical-licensing-exam/