일본은 AI 도입이 상대적으로 느린 나라로 꼽힙니다. 마이크로소프트가 지난 5월 발표한 조사에서 일본의 생성형 AI 보급률은 22.5%로 세계 48위에 그쳤습니다. UAE(70.1%), 프랑스(47.8%), 미국(31.3%)과 비교하면 격차가 뚜렷합니다.
그런데 그렇게 보수적인 일본 기업들조차 최근 직원들의 AI 활용을 적극적으로 독려하고 나섰습니다. 니혼게이자이신문 보도에 따르면, 혼다는 AI 활용 능력이 뛰어난 직원에게 기본급과 별도로 월 최대 15만엔(약 139만원)의 수당을 지급하는 인증 제도를 운영하고 있습니다. 필기시험과 면접을 거쳐 3단계로 역량을 인증하며, 올해 7월 기준 인증자는 280명, 앞으로 수년 안에 1000명까지 늘릴 계획입니다. 편의점 체인 패밀리마트는 올해 4월부터 전 직원 4500명의 인사 목표에 AI 활용 계획을 포함시켜 실제 성과를 인사평가에 반영하기로 했고, 전일본공수(ANA)는 이미 2024년부터 AI 활용 성과를 급여와 연계하고 있습니다. (출처: 파이낸셜뉴스)
"AI를 잘 쓰는 것"이 더 이상 개인의 선택이나 취향이 아니라, 보상과 평가로 직접 연결되는 역량이 되고 있다는 뜻입니다. 한국도 크게 다르지 않습니다. 생성형 AI가 실무 곳곳에 스며들면서, 같은 업무를 맡아도 AI를 어떻게 다루느냐에 따라 결과물의 속도와 완성도가 크게 벌어지기 시작했고, 기업들은 "이 사람이 AI를 실제로 얼마나 잘 활용하는가"를 궁금해하기 시작했습니다. 신입 채용은 물론, 기존 임직원의 재교육, 재배치를 고민하는 자리에서도 같은 질문이 나옵니다.
문제는 이 질문에 답할 만한 검증된 방법이 아직 많지 않다는 점입니다. 앞서 언급한 일본 기업들도 저마다 필기시험, 실적 심사, 정성적 목표 관리 등 서로 다른 방식으로 AI 활용도를 확인하고 있습니다. 최근 AI 리터러시를 평가하려는 몇몇 기업에서는 프롬프트를 직접 입력하게 하는 실습형 평가를 채용 전형에 포함하고 있지만, 아직 AI 리터러시 평가로 자리 잡은 "표준"이라 할 만한 방식은 없습니다. 실습형 평가를 운영 중인 기업에서도 이 결과를 신뢰할 수 있는지, 그리고 이 결과를 어떻게 활용할 수 있는지에 대한 뚜렷한 정책을 수립하지는 못했죠. AI 리터러시라는 개념 자체가 등장한 지 얼마 되지 않았고, 그만큼 "무엇을 어떻게 봐야 제대로 평가한 것인가"에 대한 합의도 이제 막 만들어지는 중입니다.
AI 리터러시란 무엇인가: 지식, 실행, 판단력
여기서 한 걸음 더 들어가 보면, "AI 리터러시"라는 말 자체가 생각보다 여러 층위를 담고 있다는 걸 알 수 있습니다.
| 아는 것 | 지식 | AI가 어떻게 작동하는지, 어떤 한계와 오류 가능성이 있는지 이해하고 있는가 |
하는 것 | 실행 | 실제 업무 상황에서 AI에게 무엇을 맡기고, 어떤 지시를 내려야 원하는 결과가 나오는지 아는가 |
판단하는 것 | 사고력 | AI가 내놓은 결과를 그대로 받아들이지 않고, 맞는지 틀린지, 써도 되는지 검증할 수 있는가 |
셋 중 하나만 잘한다고 해서 "AI를 잘 쓰는 사람"이라고 말하기는 어렵습니다. AI 개념을 줄줄 설명할 수 있어도 실제 업무에 적용해본 적이 없다면 실무형 역량과는 거리가 있고, 반대로 프롬프트를 그럴듯하게 쓸 줄 알아도 결과를 검증하지 않고 그대로 쓴다면 오히려 위험한 습관일 수 있습니다.
그래서 "AI 리터러시를 평가한다"는 건 사실 이 세 층위를 동시에, 그리고 각각 구분해서 들여다보는 일에 가깝습니다. 말은 간단하지만, 실제로 이 세 가지를 한 번의 평가에서 다 확인하려면 생각보다 까다로운 설계가 필요합니다.
기존 AI 리터러시 평가 방법의 한계: 자격증부터 실습형까지
지금 시장에서 시도되고 있는 방식들을 살펴보면 대략 두 갈래로 나뉩니다.
자기 신고형 (설문/자격증 기반)
"AI를 얼마나 잘 쓰나요?"라는 질문에 스스로 답하게 하거나, AI 관련 교육 이수/자격증 보유 여부를 확인하는 방식입니다. 운영이 간단하다는 장점이 있지만, 본인이 스스로를 평가하는 구조인 만큼 실제 역량과 자기 인식 사이의 간극을 그대로 남겨둔다는 한계가 있습니다.
여기에는 조금 더 근본적인 문제도 있습니다. 어학 영역에는 토익/오픽처럼 오랜 기간 축적된 데이터와 공인된 채점 기준을 갖춘 시험이 있어서, 점수 하나로도 어느 정도 신뢰할 만한 기준선을 제시할 수 있습니다. 하지만 AI 활용 역량에는 아직 역량을 검증할 수 있는 자격증이 없습니다. 관련 교육/인증 과정이 여기저기 생겨나고 있지만, 저마다 다른 기준으로 평가하다 보니 "이 자격증이 실제 역량을 얼마나 정확히 반영하는가"를 판단하기 어렵습니다. 게다가 AI 기술과 도구는 몇 달 단위로 빠르게 바뀌는데, 한 번 발급된 자격증이 그 변화를 계속 따라가고 있다는 보장도 없습니다. 결국 "자격증이 없어서 못 믿겠다"는 문제와 "자격증이 있어도 무엇을 검증한 것인지 알기 어렵다"는 문제가 동시에 남아 있는 셈입니다.
실습형 (과제 제출/프롬프트 직접 입력)
지원자에게 실제 프롬프트를 입력하게 하거나 과제를 수행하게 해서 결과물을 받아보는 방식입니다. "실제로 해보게 한다"는 점에서 자기 신고형보다 한 단계 나아간 접근이지만, 여기에도 사각지대가 있습니다. 결과물이 좋아 보여도 그 사람이 어떤 사고 과정을 거쳐 그 결과에 도달했는지는 보이지 않습니다. 미리 준비해둔 프롬프트를 그대로 옮겨 적었을 수도 있고, 검색을 통해 답을 찾아 붙여 넣었을 수도 있습니다. 즉, 결과물은 보이지만 그 결과물이 진짜 그 사람의 역량에서 나온 것인지는 확인하기 어렵다는 문제가 남습니다.
결국 두 방식 모두 "이 사람이 실제로 이해하고, 실제로 판단해서 이렇게 했다"는 확신을 주기에는 아직 부족한 지점이 있는 셈입니다. 그렇다면 질문이 하나 남습니다. 결과물이 아니라 그 사람의 사고 과정 자체를 들여다보려면, 어떤 방식이 필요할까요?
AI 리터러시를 제대로 평가하려면 필요한 것
무하유는 오랫동안 AI 기술을 활용해 사람의 글과 역량을 분석하고 평가하는 일을 해왔습니다. 자기소개서의 표절/AI작성 여부를 판별하는 일부터 그 내용을 평가하는 일, AI 기반 구술 면접으로 지원자의 실제 역량을 확인하는 일까지 결국 무하유가 계속 마주해온 질문은 하나였습니다. "눈에 보이는 결과물이 아니라, 그 사람의 진짜 역량을 어떻게 확인할 수 있을까."
AI 리터러시라는 새로운 역량 앞에서도 같은 고민을 하게 됐습니다. 프롬프트 결과물 하나만으로는 판단하기 어려운 부분들, 왜 그런 방식으로 접근했는지, 결과를 어떻게 검증했는지, 한계를 인지하고 있는지를 확인하려면 결과물 너머의 사고 과정을 들여다볼 방법이 필요하다는 결론에 도달했습니다.
그래서 무하유는 이미 운영 중인 몬스터 구술평가에 AI 리터러시 평가 문항을 더했습니다. 지원자가 프롬프트를 입력하고 결과물만 제출하는 방식이 아니라, AI를 왜 그렇게 활용했는지, 어떤 판단으로 결과를 검증했는지를 직접 말하게 하고 꼬리질문으로 파고드는 방식입니다. 준비된 답이나 검색으로 방어할 수 없는 구조이기 때문에, 결과물 너머의 진짜 사고 과정 (이해, 실행, 판단력) 을 동시에 확인할 수 있습니다.
몬스터 구술평가가 AI 리터러시를 어떻게 평가하는지, 직접 확인해보고 싶으신가요?
AI 리터러시 평가 문의하기 >
일본은 AI 도입이 상대적으로 느린 나라로 꼽힙니다. 마이크로소프트가 지난 5월 발표한 조사에서 일본의 생성형 AI 보급률은 22.5%로 세계 48위에 그쳤습니다. UAE(70.1%), 프랑스(47.8%), 미국(31.3%)과 비교하면 격차가 뚜렷합니다.
그런데 그렇게 보수적인 일본 기업들조차 최근 직원들의 AI 활용을 적극적으로 독려하고 나섰습니다. 니혼게이자이신문 보도에 따르면, 혼다는 AI 활용 능력이 뛰어난 직원에게 기본급과 별도로 월 최대 15만엔(약 139만원)의 수당을 지급하는 인증 제도를 운영하고 있습니다. 필기시험과 면접을 거쳐 3단계로 역량을 인증하며, 올해 7월 기준 인증자는 280명, 앞으로 수년 안에 1000명까지 늘릴 계획입니다. 편의점 체인 패밀리마트는 올해 4월부터 전 직원 4500명의 인사 목표에 AI 활용 계획을 포함시켜 실제 성과를 인사평가에 반영하기로 했고, 전일본공수(ANA)는 이미 2024년부터 AI 활용 성과를 급여와 연계하고 있습니다. (출처: 파이낸셜뉴스)
"AI를 잘 쓰는 것"이 더 이상 개인의 선택이나 취향이 아니라, 보상과 평가로 직접 연결되는 역량이 되고 있다는 뜻입니다. 한국도 크게 다르지 않습니다. 생성형 AI가 실무 곳곳에 스며들면서, 같은 업무를 맡아도 AI를 어떻게 다루느냐에 따라 결과물의 속도와 완성도가 크게 벌어지기 시작했고, 기업들은 "이 사람이 AI를 실제로 얼마나 잘 활용하는가"를 궁금해하기 시작했습니다. 신입 채용은 물론, 기존 임직원의 재교육, 재배치를 고민하는 자리에서도 같은 질문이 나옵니다.
문제는 이 질문에 답할 만한 검증된 방법이 아직 많지 않다는 점입니다. 앞서 언급한 일본 기업들도 저마다 필기시험, 실적 심사, 정성적 목표 관리 등 서로 다른 방식으로 AI 활용도를 확인하고 있습니다. 최근 AI 리터러시를 평가하려는 몇몇 기업에서는 프롬프트를 직접 입력하게 하는 실습형 평가를 채용 전형에 포함하고 있지만, 아직 AI 리터러시 평가로 자리 잡은 "표준"이라 할 만한 방식은 없습니다. 실습형 평가를 운영 중인 기업에서도 이 결과를 신뢰할 수 있는지, 그리고 이 결과를 어떻게 활용할 수 있는지에 대한 뚜렷한 정책을 수립하지는 못했죠. AI 리터러시라는 개념 자체가 등장한 지 얼마 되지 않았고, 그만큼 "무엇을 어떻게 봐야 제대로 평가한 것인가"에 대한 합의도 이제 막 만들어지는 중입니다.
AI 리터러시란 무엇인가: 지식, 실행, 판단력
여기서 한 걸음 더 들어가 보면, "AI 리터러시"라는 말 자체가 생각보다 여러 층위를 담고 있다는 걸 알 수 있습니다.
셋 중 하나만 잘한다고 해서 "AI를 잘 쓰는 사람"이라고 말하기는 어렵습니다. AI 개념을 줄줄 설명할 수 있어도 실제 업무에 적용해본 적이 없다면 실무형 역량과는 거리가 있고, 반대로 프롬프트를 그럴듯하게 쓸 줄 알아도 결과를 검증하지 않고 그대로 쓴다면 오히려 위험한 습관일 수 있습니다.
그래서 "AI 리터러시를 평가한다"는 건 사실 이 세 층위를 동시에, 그리고 각각 구분해서 들여다보는 일에 가깝습니다. 말은 간단하지만, 실제로 이 세 가지를 한 번의 평가에서 다 확인하려면 생각보다 까다로운 설계가 필요합니다.
기존 AI 리터러시 평가 방법의 한계: 자격증부터 실습형까지
지금 시장에서 시도되고 있는 방식들을 살펴보면 대략 두 갈래로 나뉩니다.
자기 신고형 (설문/자격증 기반)
"AI를 얼마나 잘 쓰나요?"라는 질문에 스스로 답하게 하거나, AI 관련 교육 이수/자격증 보유 여부를 확인하는 방식입니다. 운영이 간단하다는 장점이 있지만, 본인이 스스로를 평가하는 구조인 만큼 실제 역량과 자기 인식 사이의 간극을 그대로 남겨둔다는 한계가 있습니다.
여기에는 조금 더 근본적인 문제도 있습니다. 어학 영역에는 토익/오픽처럼 오랜 기간 축적된 데이터와 공인된 채점 기준을 갖춘 시험이 있어서, 점수 하나로도 어느 정도 신뢰할 만한 기준선을 제시할 수 있습니다. 하지만 AI 활용 역량에는 아직 역량을 검증할 수 있는 자격증이 없습니다. 관련 교육/인증 과정이 여기저기 생겨나고 있지만, 저마다 다른 기준으로 평가하다 보니 "이 자격증이 실제 역량을 얼마나 정확히 반영하는가"를 판단하기 어렵습니다. 게다가 AI 기술과 도구는 몇 달 단위로 빠르게 바뀌는데, 한 번 발급된 자격증이 그 변화를 계속 따라가고 있다는 보장도 없습니다. 결국 "자격증이 없어서 못 믿겠다"는 문제와 "자격증이 있어도 무엇을 검증한 것인지 알기 어렵다"는 문제가 동시에 남아 있는 셈입니다.
실습형 (과제 제출/프롬프트 직접 입력)
지원자에게 실제 프롬프트를 입력하게 하거나 과제를 수행하게 해서 결과물을 받아보는 방식입니다. "실제로 해보게 한다"는 점에서 자기 신고형보다 한 단계 나아간 접근이지만, 여기에도 사각지대가 있습니다. 결과물이 좋아 보여도 그 사람이 어떤 사고 과정을 거쳐 그 결과에 도달했는지는 보이지 않습니다. 미리 준비해둔 프롬프트를 그대로 옮겨 적었을 수도 있고, 검색을 통해 답을 찾아 붙여 넣었을 수도 있습니다. 즉, 결과물은 보이지만 그 결과물이 진짜 그 사람의 역량에서 나온 것인지는 확인하기 어렵다는 문제가 남습니다.
결국 두 방식 모두 "이 사람이 실제로 이해하고, 실제로 판단해서 이렇게 했다"는 확신을 주기에는 아직 부족한 지점이 있는 셈입니다. 그렇다면 질문이 하나 남습니다. 결과물이 아니라 그 사람의 사고 과정 자체를 들여다보려면, 어떤 방식이 필요할까요?
AI 리터러시를 제대로 평가하려면 필요한 것
무하유는 오랫동안 AI 기술을 활용해 사람의 글과 역량을 분석하고 평가하는 일을 해왔습니다. 자기소개서의 표절/AI작성 여부를 판별하는 일부터 그 내용을 평가하는 일, AI 기반 구술 면접으로 지원자의 실제 역량을 확인하는 일까지 결국 무하유가 계속 마주해온 질문은 하나였습니다. "눈에 보이는 결과물이 아니라, 그 사람의 진짜 역량을 어떻게 확인할 수 있을까."
AI 리터러시라는 새로운 역량 앞에서도 같은 고민을 하게 됐습니다. 프롬프트 결과물 하나만으로는 판단하기 어려운 부분들, 왜 그런 방식으로 접근했는지, 결과를 어떻게 검증했는지, 한계를 인지하고 있는지를 확인하려면 결과물 너머의 사고 과정을 들여다볼 방법이 필요하다는 결론에 도달했습니다.
그래서 무하유는 이미 운영 중인 몬스터 구술평가에 AI 리터러시 평가 문항을 더했습니다. 지원자가 프롬프트를 입력하고 결과물만 제출하는 방식이 아니라, AI를 왜 그렇게 활용했는지, 어떤 판단으로 결과를 검증했는지를 직접 말하게 하고 꼬리질문으로 파고드는 방식입니다. 준비된 답이나 검색으로 방어할 수 없는 구조이기 때문에, 결과물 너머의 진짜 사고 과정 (이해, 실행, 판단력) 을 동시에 확인할 수 있습니다.
몬스터 구술평가가 AI 리터러시를 어떻게 평가하는지, 직접 확인해보고 싶으신가요?
AI 리터러시 평가 문의하기 >