지원자가 ChatGPT로 답한다면, AI 면접은 무엇을 평가해야 할까?

2026-09-29

42fd1902e8f22.png


지원자가 노트북 앞에서 AI 면접을 보고 있습니다. 화면에는 면접 질문이 떠 있고, 바로 옆에는 스마트폰이 놓여 있습니다. 질문이 나오자 지원자는 스마트폰에서 ChatGPT가 만들어준 답변을 확인한 뒤 다시 카메라를 바라보며 답합니다.


기업이 보고 있는 면접 결과는 정말 지원자의 역량일까요?


AI 면접을 채용 평가에 활용하고 있는 기업이라면 한 번쯤 고민해 봤을 문제입니다. 실제로 영상 면접에서 ChatGPT를 활용한 집단이 그렇지 않은 집단보다 더 높은 면접 수행 점수와 답변 내용 점수를 받았다는 연구도 있습니다. 기존 초안에서 인용한 연구에서는 ChatGPT의 답변을 그대로 읽거나 개인화해 활용한 집단이 비사용 집단보다 높은 평가를 받았습니다. (출처: ChatGPT, can you take my job interview? Examining artificial intelligence cheating in the asynchronous video interview)


그렇다면 생성형 AI 시대에 AI 면접은 더 이상 유효하지 않은 걸까요?


코로나 시국에 AI 면접이 대중화되고, 4년 전 챗GPT 출시로 생성형 AI 시대를 맞이한 지금, AI면접으로 채용을 운영했던 기업들의 공통적인 답은 "아니다" 입니다. 생성형 AI 시대에도 AI 면접은 유효합니다. 다만 정해진 질문에 대한 ‘첫 답변의 완성도’만 평가하는 방식으로는 충분하지 않습니다.

앞으로 AI 면접의 경쟁력은 좋은 답변을 골라내는 기술보다, 지원자가 한 주장을 얼마나 깊이 검증할 수 있는가가 중요해진 것입니다.


문제는 AI 사용 자체보다 ‘무엇을 평가했는가’입니다

지원자가 면접 전에 AI로 예상 질문을 만들고 답변을 연습하는 것과 실제 평가 중 생성형 AI가 만든 답변을 자신의 경험인 것처럼 전달하는 것은 같은 문제일까요?


기업마다 생성형 AI 활용에 대한 기준은 다를 수 있습니다. 다만 후자의 경우에는 단순한 AI 사용 여부를 넘어 평가 타당도(Validity) 문제가 발생합니다. 예를 들어 기업이 면접에서 지원자의 문제해결력을 평가하려고 했다고 가정해 보겠습니다. 기업이 알고 싶은 것은 지원자가 실제 상황에서 문제를 어떻게 정의했고, 어떤 대안을 검토했으며, 어떤 기준으로 최종 판단을 내렸는지일 겁니다. 


그런데 평가 점수에 실제 문제해결력보다 생성형 AI가 만들어낸 답변의 완성도가 더 크게 반영됐다면 어떨까요? 기업은 문제해결력을 평가한다고 생각했지만 실제로는 ‘잘 만들어진 답변을 얼마나 자연스럽게 전달했는가’를 평가한 셈이 될 수 있습니다. 실제로 앞서 소개한 연구에서도 5점 만점 기준 전체 수행 평균은 AI 답변을 그대로 읽은 집단 3.78점, 개인화한 집단 3.62점, ChatGPT를 사용하지 않은 집단 2.52점으로 나타났습니다. (출처: ChatGPT, can you take my job interview? Examining artificial intelligence cheating in the asynchronous video interview)


면접관 입장에서 중요한 지점은 여기입니다. 말을 잘했다는 것과, 그 사람이 실제로 해당 역량을 갖고 있다는 것은 다릅니다. 생성형 AI 시대의 면접에서는 답변의 완성도보다 그 답변에 담긴 경험과 판단이 실제 지원자의 것인지를 검증하는 평가 구조가 중요해집니다.


AI 부정응시는 ‘잡아내는 기능’ 하나로 해결되지 않습니다


AI 면접 부정응시를 이야기하면 흔히 감시 기능부터 떠올립니다. 다른 탭으로 이동하지 못하게 하고, 복사/붙여넣기를 제한하고, 화면을 벗어나면 이를 확인하는 방식입니다. 


물론 이런 기능은 필요합니다. 현재 몬스터에도 응시 과정에서 다른 탭 이동 차단, 복사/붙여넣기 제한, 전체화면 유지 등의 브라우저 통제 기능을 제공하고 있으며, 사용 장치와 카메라, 마이크, 접속 브라우저 등을 확인할 수 있습니다. 


하지만 브라우저를 통제한다고 해서 지원자가 옆에 둔 스마트폰이나 태블릿까지 완벽하게 통제할 수 있는 것은 아닙니다. 반대로 지원자가 화면 밖을 여러 차례 바라봤다는 이유만으로 AI를 사용했다고 단정해서도 안 됩니다. 생각을 정리하느라 시선을 돌렸을 수도 있고, 주변 소음에 반응했을 수도 있기 때문입니다.


그래서 생성형 AI 시대의 부정응시 대응은 세 단계로 볼 필요가 있습니다.

Prevent → Detect → Validate

  • Prevent는 부정응시를 어렵게 만드는 것입니다.
  • Detect는 응시 과정에서 이상신호를 발견하는 것입니다.
  • Validate는 결국 그 지원자가 주장한 경험과 역량이 실제로 존재하는지를 검증하는 것입니다.

이 세 단계가 유기적으로 연결되어 있어야 평가 결과의 신뢰성을 높일 수 있습니다.


① Prevent: 부정응시를 어렵게 만들어야 합니다

a234fa35bcd93.png

Prevent의 역할은 명확합니다. 면접 중 다른 탭으로 이동하거나 질문을 복사해 생성형 AI에 붙여넣는 등 시스템 안에서 통제 가능한 행동을 제한해 부정응시의 난이도를 높이는 것입니다. 온라인 평가 환경에서는 별도의 기기를 사용할 수도 있고, 생성형 AI를 활용하는 방법 역시 계속 달라질 수 있기 때문입니다. 응시 환경 통제는 평가 결과의 신뢰성을 확보하기 위한 첫 번째 방어선이지, 그 자체가 부정행위를 판단하는 기준은 아닙니다.


② Detect: 이상신호는 ‘판정’이 아니라 ‘판단 근거’입니다

dc0fb9ac1966d.png

다음은 응시 과정에서 발생하는 이상신호를 확인하는 단계입니다. 지원자가 반복적으로 화면 밖을 바라보거나, 면접 도중 카메라에서 사라지거나, 응시 과정에서 평소와 다른 행동이 지속된다면 평가 결과를 다시 살펴봐야 할 신호가 될 수 있습니다. 몬스터에서는 현재 시선 추적을 통해 응시자의 시선이 화면에서 벗어나는 상황을 확인할 수 있습니다.


다만 여기서 가장 중요한 원칙은 하나입니다. 이상신호를 발견했다는 것과 부정응시를 확정했다는 것은 다릅니다. 시선이 화면 밖으로 이동했다는 이유만으로 “스마트폰으로 생성형 AI를 봤다”고 판단할 수는 없습니다. 따라서 부정응시 탐지는 지원자를 자동 탈락시키는 판단 기준으로 생각하기보다, 면접관이 해당 응시자의 평가 결과를 한 번 더 확인해야 할 근거를 제공하는 방향으로 활용하는 것이 적절합니다.


하나의 신호를 곧바로 판정으로 사용하는 것과 여러 신호를 종합적인 판단 자료로 활용하는 것은 전혀 다른 접근입니다.


③ Validate: 결국 검증해야 하는 것은 ‘지원자의 주장’입니다

가장 중요한 단계입니다. 생성형 AI가 발전할수록 단순히 AI 사용을 기술적으로 막는 것만으로는 한계가 있습니다. ChatGPT도 질문에 답할 수 있고, 꼬리질문에도 다시 답할 수 있기 때문입니다.  그렇기 때문에 단순히 “꼬리질문을 한다”는 것만으로도 충분하지 않습니다. 중요한 것은 무엇을 검증하도록 질문하느냐입니다.


예를 들어 지원자가 이렇게 답했다고 하겠습니다. “프로젝트 진행 중 팀원 간 역할 분담 문제로 갈등이 있었지만 제가 적극적으로 의견을 조율해 해결했습니다.” 문장만 지원자의 갈등 관리 역량이 뛰어나다고 평가할 수도 있습니다. 하지만 이 답변에서 면접관이 실제로 확인해야 할 것은 훨씬 많습니다. 

  • 본인이 실제로 맡았던 역할은 무엇이었는가?
  • 팀 전체의 성과와 본인의 기여는 어디에서 구분되는가?
  • 왜 그 방법을 선택했는가?
  • 고려했지만 선택하지 않은 대안은 무엇이었는가?
  • 당시 본인이 양보하거나 실패했던 부분은 없었는가?
  • 같은 상황을 다시 겪는다면 무엇을 다르게 하겠는가?

좋은 꼬리 질문은 단순히 지원자에게 더 많은 말을 시키는 질문이 아닙니다. 첫 답변에 들어 있는 ‘주장’을 분해하고, 실제 행동과 판단의 근거를 확인하는 질문이어야 합니다.


“갈등을 해결했다”는 답변이 있다면 단순히 해결 방법을 한 번 더 묻는 것이 아니라,

  • 어떤 갈등이었는지
  • 지원자가 실제로 한 행동은 무엇인지
  • 다른 구성원은 어떤 역할을 했는지
  • 어떤 판단 기준으로 그 행동을 선택했는지
  • 그 행동이 실제 결과와 어떻게 연결됐는지

를 확인하는 것입니다.


몬스터의 AI 인터뷰는 이미 지원자의 답변에서 유의미한 내용을 파악하고 그에 따라 후속 질문을 이어가는 대화형 구조를 활용하여 완전한 대화형 면접이 가능합니다. 하지만 AI 시대에는 여기서 한 단계 더 나아가야 합니다. 후속 질문의 목적은 좋은 대화를 만드는 것이 아니라, 지원자가 한 주장의 실재성을 검증하는 데 있어야 합니다.


한 번의 면접 답변보다 ‘전형 전체의 일관성’을 봐야 합니다

지원자의 주장을 검증하는 과정은 면접 안에서만 이루어질 필요도 없습니다. 지원자는 면접 전에 이미 지원서와 자기소개서를 통해 자신의 경험과 역량을 이야기합니다. 그렇기 때문에 서류와 면접을 각각 분리된 평가로 보기보다, 지원자가 전형 전반에서 한 주장들이 얼마나 일관된지를 함께 살펴보는 방식이 중요해졌습니다.


9da3a5313c901.png

프리즘은 자기소개서를 분석하고 기업이 설정한 평가 항목에 따라 지원자의 역량을 평가하며, 몬스터의 AI 인터뷰·역량검사 결과와 함께 교차검증할 수 있는 구조를 지원합니다. 


이 과정에서 중요한 것은 AI가 지원자를 대신해 “진짜다, 가짜다”를 판정하는 것이 아닙니다. AI가 여러 평가 정보를 연결해 면접관이 판단할 수 있는 근거를 제공하는 것입니다. 예를 들어 자기소개서에서는 “갈등 상황에서 주도적으로 조율했다”고 강조했지만 면접에서 자신의 구체적인 역할이나 판단 근거를 설명하지 못한다면, 단순 면접 점수 하나보다 더 많은 평가 정보를 얻을 수 있습니다. 


반대로 면접 중 시선 이탈 같은 이상신호가 있었다고 해도 서류와 답변의 맥락, 후속 질문에서 드러난 경험의 구체성 등을 함께 확인한다면 하나의 행동만으로 지원자를 판단하는 오류를 줄일 수 있습니다.


생성형 AI 시대, AI 면접은 여전히 유효할까요?

처음의 질문으로 돌아가겠습니다. 지원자가 옆에 ChatGPT를 켜놓고 답변할 수 있다면 AI 면접은 더 이상 의미가 없는 걸까요? 


생성형 AI 시대에도 AI 면접은 유효합니다. 다만 정해진 질문에 대한 첫 답변의 완성도를 평가하는 것만으로는 더 이상 충분하지 않습니다. AI가 만든 답변도 얼마든지 그럴듯하고 논리적일 수 있기 때문입니다.


그래서 이제 기업이 확인해야 하는 것은 “지원자가 얼마나 매끄럽게 답했는가?”가 아니라 “그 답변에서 주장한 경험과 판단이 실제 지원자의 것인지 검증할 수 있는가?”입니다.


이를 위해서는 세 가지가 함께 필요합니다.

  • 부정응시를 어렵게 만드는 응시 환경 통제,
  • 평가 결과를 다시 확인할 단서를 제공하는 이상신호 탐지,
  • 그리고 지원자의 경험·행동·판단을 깊게 확인하는 주장 기반 검증입니다.


특히 AI 면접을 채용 평가에 활용하고 있다면 다음과 같은 질문을 해볼 필요가 있습니다.

□우리 기업이 평가하려는 역량에 맞게 질문이 구성되어 있는가?
□첫 답변의 완성도만 보고 평가하지는 않는가?
□후속 질문이 지원자의 역할과 행동, 판단 근거까지 확인하는가?
□서류에서 한 주장과 면접 답변을 함께 살펴볼 수 있는가?
□응시 과정의 이상신호를 곧바로 부정행위로 단정하지 않고 판단 근거로 활용할 수 있는가?



생성형 AI가 발전할수록 AI 면접 역시 달라져야 합니다. 좋은 답변을 골라내는 AI 면접에서, 지원자의 주장을 검증하는 AI 면접으로. 이것이 생성형 AI 시대에 무하유가 바라보는 AI 채용 평가의 방향입니다.




AI가 만든 답변까지 그럴듯해진 지금, AI 면접을 평가에 활용하는 방법도 달라져야 합니다.


서류에서 확인한 역량부터 AI 인터뷰의 답변과 후속 질문, 응시 과정의 이상신호까지.

프리즘X몬스터가 어떻게 더 신뢰할 수 있는 채용 평가를 지원하는지 확인해 보세요.


AI 인터뷰 서비스 몬스터 데모 신청하기 >