AI로 재직자 고과 평가 & 인턴 과제 평가 자동화 가능?
챗지피티(Chat GPT)가 출시된 후 사람들은 챗지피티로 어떤 것까지 할 수 있는지 테스트했고 그 결과 지금은 다양한 분야에서 활용하고 있습니다. 처음엔 단순히 검색을 대신했지만 최근엔 자기소개서를 작성시킨다거나, 논문을 쓰게 한다거나, 책을 출판하고 심지어는 업무 중에도 활용하고 있죠.
AI 서류평가 서비스 프리즘도 챗지피티처럼 활용성을 넓혀가고 있습니다. 처음엔 채용 서류, 자기소개서 평가를 위해 활용됐지만 최근엔 인턴 평가와 재직자 승진 평가에서도 활용되고 있습니다. 서류 평가 과정에서 단순 표절검사, 결함검사도 가능하지만 무엇보다 내용 평가가 가능했기 때문에 이 기술을 활용해 재직자 고과 평가와 인턴 과제 평가도 할 수 있는 것이죠.
실제 프리즘으로 재직자 고과 평가와 인턴 평가를 진행했던 이마트와 LH 한국토지주택공사가 왜, 어떻게 AI로 평가를 자동화했는지 살펴보겠습니다.
AI로 재직자 고과 평가한 이마트
이마트에서는 승진을 위한 재직자 고과 평가를 프리즘으로 진행했습니다.
아직까지 국내에서는 AI로 재직자의 고과 평가를 한 사례가 없다고 알려져 있는데요. 이마트 외에도 평가 공정성과 업무 자동화의 중요성을 알고 AI를 적극적으로 도입한 기업에서는 이전부터 프리즘을 활용하여 재직자의 고과 평가를 하고 있었습니다.
💦 기존 재직자 고과 평가의 문제
지금까지는 승진을 위한 재직자 평가를 모두 사람이 했습니다. 하지만 사람이 했던 평가, 정말 공정했을까요?
2월 한 기사에서 정작 성과주의 임금체계의 대표격인 삼성전자와 SDI 직원들이 “성과급제는 불공정하다”는 목소리를 내고 있다고 합니다. 직원들이 고과 평가를 강하게 불신하고 있기 때문이죠. 실제 설문 결과에서도 76%가 ‘고과 평가가 개인의 노력을 정확하게 반영하지 못한다’고 했습니다. 반면 ‘개인의 노력을 정확히 반영한다’는 응답은 9.3%에 불과했죠. 고과 평가 시 ‘관리자들이 학연이나 지연에 영향을 받는다’는 응답이 49.3%, ‘친분을 중요하게 고려한다’는 응답도 66.3%로 나타났습니다. 승격이 투명하게 이뤄지는지를 두고도 부정 응답이 70.3%로 긍정 응답(8.2%)을 훨씬 웃돈 결과가 나왔습니다.
이와 관련된 자세한 내용은 기사를 참고해 주세요.
> [경향신문] 성과연봉이 공정하다고? ‘성과급제 끝판왕’ 삼성 직원들에 물어보니…
아직까지도 많은 기업이 재직자 고과 평가에 어려움을 느끼고 있습니다. 동일한 직원을 두고도 관리자마다 다른 평가 결과가 나오기 때문이죠. 아무리 기준을 명확하게 제시한다고 해도 사람이 평가한다면 관리자의 주관을 배제하기 어렵다는 것은 모두가 알고 있는 사실입니다.
✅ 재직자 고과 평가를 AI로
AI는 인사담당자의 평가 기준을 학습하여 빠르고 공정한 평가 결과를 제공하기 때문에 사람 평가의 어려움을 해결할 수 있습니다. 비단 문제 해결 뿐 아니라 AI로 평가할 경우 직장 문화 개선에도 도움이 될 거라는 시각도 있습니다.
인사관리를 제대로 하려면 엄청난 정보가 필요한데, 이제껏 담당자의 직관에 의존해왔다.
관리자가 AI를 활용하면 객관적 데이터를 토대로 좀 더 합당하게 의사결정할 수 있을 것이다.
- 오계택 한국노동연구원 임금직무혁신센터 소장
오계택 한국노동연구원 임금직무혁신센터 소장은 "인사관리를 제대로 하려면 엄청난 정보가 필요한데, 이제껏 담당자의 직관에 의존해왔다"고 지적하며 "관리자가 AI를 활용하면 객관적 데이터를 토대로 좀 더 합당하게 의사결정할 수 있을 것"이라고 설명했습니다.
프리즘은 설명 가능한 AI로 평가 결과에 대한 의문이 있다면 어떤 기준에서 왜 그런 결과가 나왔는지를 바로 확인할 수 있습니다. AI로 평가한다면 자연히 데이터가 쌓이게 되고 그렇게 쌓인 데이터는 객관적인 평가를 할 수 있도록 도와줄 수 있다는 것이죠.
🖥️ 프리즘 점수와 사람 평가 간 상관성 분석
대체 가능성 검토를 위해 프리즘 도입 전 실제 사람이 했을 때의 평가 점수와 프리즘이 했을 때의 평가 점수 사이의 상관성을 분석했는데요.
그 결과 이마트의 인재상, 평가 기준에서 사람 평가와 AI 평가 점수 간 상관성이 0.320 ~ 0.463으로 통계적으로 유의미한 결과가 나왔습니다. 특히나 평가자 중 평가 경향성이 편향/이질적인 일부 평가자 데이터를 제외하면 상관성이 더 높아졌죠. 종합 평가점수가 0.374에서 0.407로 상관계수가 상승했습니다.
* 미국 노동부는 채용 검사 활용 가이드에서 상관계수 값이 0.2를 넘는 경우 선발 도구로 ‘유용’, 0.35 이상이면 ‘매우 유용’하다고 보고 있습니다.
인턴 과제 평가 자동화에 성공한 LH 한국토지주택공사
공기업인 LH는 2022년 하반기 체험형 인턴 과제 평가를 프리즘으로 진행했습니다.
LH에서는 체험형 인턴 중 평가를 통해 우수 인턴을 선발하는데요. 이때 선발된 우수 인턴에게는 혜택이 부여되기 때문에 공정하고 객관적인 평가가 중요했습니다.
인턴 평가는 2가지로 이뤄졌는데요. 함께 근무한 실무자가 직접 평가하는다면 형 역량 평가와 주차별 과제를 평가하는 문제 해결 과제 평가의 점수를 합산하여 평가합니다. 다면형 역량 평가는 인턴과 함께 근무하며 근무 역량을 평가해야 했기에 실무자가 평가하는 것이 좋지만 문제 해결 과제 평가는 다릅니다. 500명의 인턴이 매주 작성한 과제를 평가해야 했기 때문이죠.
💦인턴 과제 평가의 어려움 (기존 방식)
인턴 과제를 사람이 하나하나 읽으며 평가하기에는 3가지 어려움이 있었습니다.
첫째, 실무자 입장에서는 일하면서 인턴 교육하기도 바쁜데 과제까지 평가하기 힘들다는 것이죠. 실무자의 업무 부담이 너무 늘어나게 됩니다.
둘째, 실무자마다 평가 기준이 다릅니다. 아무리 평가 기준을 제공하고 교육을 하더라도 동일한 과제물을 두고 평가자마다 다른 점수를 부여하는 것은 사람이기에 어쩔 수 없는 부분이죠.
셋째, 인사팀에서 일괄 평가하기엔 그 수가 너무 많습니다. 공정한 평가를 위해 인사팀이 모두 취합하여 평가하는 방법도 있지만, 한두 명도 아니고 단기간에 500명의 인턴 과제를 평가한다는 것은 어려운 일입니다.
✅ 인턴 과제 평가 자동화
LH는 업무를 효율적으로, 그리고 모든 인턴들에게 공정한 결과를 제공하기 위해 AI 서류평가 서비스 프리즘으로 자동화했습니다.
문제 해결형 과제 평가는 4가지 기준으로 평가됐습니다.
과제 세부 평가 항목인 정보 수집 능력, 문제해결능력, 의사소통 능력, 문장 구성력을 기준으로 평가했는데요.
먼저, 서류평가의 가장 기본이 되는 표절검사입니다. 인터넷에 있는 자료를 단순 복붙했는지 확인하는 것인데요. 이는 인턴의 성실성과 윤리성을 확인할 수 있는 부분이기도 합니다. 프리즘은 국내 유일의 표절검사 서비스 카피킬러의 개발사 무하유에서 개발한 AI 서류평가 서비스기에 카피킬러와 동일한 비교 DB를 보유하고 있어 정확한 표절검사가 가능합니다.
그리고 결함검사를 진행합니다. 결함검사 결과는 LH의 과제 평가 기준 중 하나인 문장 구성 능력 평가를 위해 활용됐는데요. 무의미한 단어/문장, 맞춤법, 비속어, 반복 작성 등 판단하여 점검했습니다.
마지막으로 내용 평가입니다. LH에서 과제 평가 기준 중 3가지인 정보 수집 능력, 문제해결능력, 의사소통 능력을 사람 평가 기준에 맞춰 평가한 것입니다. 단순히 키워드 기준으로 문서를 평가하는 것이 아닌 문맥을 이해하여 내용을 평가하기 때문에 사람과 같은 기준으로 평가가 가능합니다.
그 결과 사람이라면 몇 날 며칠이 걸렸을 평가를 단기간에 끝냈고 모든 인턴에게 공정한 평가 결과를 제공할 수 있었습니다.
프리즘은 단순 키워드가 아닌 문맥을 이해하는 AI로 텍스트 기반의 평가가 필요한 곳이라면 어디든 활용성이 다양합니다.
공정한 서류 평가 자동화는 프리즘입니다.
> 관련 기사
[경향신문] 성과연봉이 공정하다고? ‘성과급제 끝판왕’ 삼성 직원들에 물어보니…
[중앙일보] "AI가 날 자르라고 지목했다" 구글서 잘린 직원들 폭로 파문
[프리즘] AI 채용 문제점 ② AI 면접 결과에 대한 설명이 불가능하다
AI로 재직자 고과 평가 & 인턴 과제 평가 자동화 가능?
챗지피티(Chat GPT)가 출시된 후 사람들은 챗지피티로 어떤 것까지 할 수 있는지 테스트했고 그 결과 지금은 다양한 분야에서 활용하고 있습니다. 처음엔 단순히 검색을 대신했지만 최근엔 자기소개서를 작성시킨다거나, 논문을 쓰게 한다거나, 책을 출판하고 심지어는 업무 중에도 활용하고 있죠.
AI 서류평가 서비스 프리즘도 챗지피티처럼 활용성을 넓혀가고 있습니다. 처음엔 채용 서류, 자기소개서 평가를 위해 활용됐지만 최근엔 인턴 평가와 재직자 승진 평가에서도 활용되고 있습니다. 서류 평가 과정에서 단순 표절검사, 결함검사도 가능하지만 무엇보다 내용 평가가 가능했기 때문에 이 기술을 활용해 재직자 고과 평가와 인턴 과제 평가도 할 수 있는 것이죠.
실제 프리즘으로 재직자 고과 평가와 인턴 평가를 진행했던 이마트와 LH 한국토지주택공사가 왜, 어떻게 AI로 평가를 자동화했는지 살펴보겠습니다.
AI로 재직자 고과 평가한 이마트
이마트에서는 승진을 위한 재직자 고과 평가를 프리즘으로 진행했습니다.
아직까지 국내에서는 AI로 재직자의 고과 평가를 한 사례가 없다고 알려져 있는데요. 이마트 외에도 평가 공정성과 업무 자동화의 중요성을 알고 AI를 적극적으로 도입한 기업에서는 이전부터 프리즘을 활용하여 재직자의 고과 평가를 하고 있었습니다.
💦 기존 재직자 고과 평가의 문제
지금까지는 승진을 위한 재직자 평가를 모두 사람이 했습니다. 하지만 사람이 했던 평가, 정말 공정했을까요?
2월 한 기사에서 정작 성과주의 임금체계의 대표격인 삼성전자와 SDI 직원들이 “성과급제는 불공정하다”는 목소리를 내고 있다고 합니다. 직원들이 고과 평가를 강하게 불신하고 있기 때문이죠. 실제 설문 결과에서도 76%가 ‘고과 평가가 개인의 노력을 정확하게 반영하지 못한다’고 했습니다. 반면 ‘개인의 노력을 정확히 반영한다’는 응답은 9.3%에 불과했죠. 고과 평가 시 ‘관리자들이 학연이나 지연에 영향을 받는다’는 응답이 49.3%, ‘친분을 중요하게 고려한다’는 응답도 66.3%로 나타났습니다. 승격이 투명하게 이뤄지는지를 두고도 부정 응답이 70.3%로 긍정 응답(8.2%)을 훨씬 웃돈 결과가 나왔습니다.
이와 관련된 자세한 내용은 기사를 참고해 주세요.
> [경향신문] 성과연봉이 공정하다고? ‘성과급제 끝판왕’ 삼성 직원들에 물어보니…
아직까지도 많은 기업이 재직자 고과 평가에 어려움을 느끼고 있습니다. 동일한 직원을 두고도 관리자마다 다른 평가 결과가 나오기 때문이죠. 아무리 기준을 명확하게 제시한다고 해도 사람이 평가한다면 관리자의 주관을 배제하기 어렵다는 것은 모두가 알고 있는 사실입니다.
✅ 재직자 고과 평가를 AI로
AI는 인사담당자의 평가 기준을 학습하여 빠르고 공정한 평가 결과를 제공하기 때문에 사람 평가의 어려움을 해결할 수 있습니다. 비단 문제 해결 뿐 아니라 AI로 평가할 경우 직장 문화 개선에도 도움이 될 거라는 시각도 있습니다.
오계택 한국노동연구원 임금직무혁신센터 소장은 "인사관리를 제대로 하려면 엄청난 정보가 필요한데, 이제껏 담당자의 직관에 의존해왔다"고 지적하며 "관리자가 AI를 활용하면 객관적 데이터를 토대로 좀 더 합당하게 의사결정할 수 있을 것"이라고 설명했습니다.
프리즘은 설명 가능한 AI로 평가 결과에 대한 의문이 있다면 어떤 기준에서 왜 그런 결과가 나왔는지를 바로 확인할 수 있습니다. AI로 평가한다면 자연히 데이터가 쌓이게 되고 그렇게 쌓인 데이터는 객관적인 평가를 할 수 있도록 도와줄 수 있다는 것이죠.
🖥️ 프리즘 점수와 사람 평가 간 상관성 분석
대체 가능성 검토를 위해 프리즘 도입 전 실제 사람이 했을 때의 평가 점수와 프리즘이 했을 때의 평가 점수 사이의 상관성을 분석했는데요.
그 결과 이마트의 인재상, 평가 기준에서 사람 평가와 AI 평가 점수 간 상관성이 0.320 ~ 0.463으로 통계적으로 유의미한 결과가 나왔습니다. 특히나 평가자 중 평가 경향성이 편향/이질적인 일부 평가자 데이터를 제외하면 상관성이 더 높아졌죠. 종합 평가점수가 0.374에서 0.407로 상관계수가 상승했습니다.
* 미국 노동부는 채용 검사 활용 가이드에서 상관계수 값이 0.2를 넘는 경우 선발 도구로 ‘유용’, 0.35 이상이면 ‘매우 유용’하다고 보고 있습니다.
인턴 과제 평가 자동화에 성공한 LH 한국토지주택공사
공기업인 LH는 2022년 하반기 체험형 인턴 과제 평가를 프리즘으로 진행했습니다.
LH에서는 체험형 인턴 중 평가를 통해 우수 인턴을 선발하는데요. 이때 선발된 우수 인턴에게는 혜택이 부여되기 때문에 공정하고 객관적인 평가가 중요했습니다.
인턴 평가는 2가지로 이뤄졌는데요. 함께 근무한 실무자가 직접 평가하는다면 형 역량 평가와 주차별 과제를 평가하는 문제 해결 과제 평가의 점수를 합산하여 평가합니다. 다면형 역량 평가는 인턴과 함께 근무하며 근무 역량을 평가해야 했기에 실무자가 평가하는 것이 좋지만 문제 해결 과제 평가는 다릅니다. 500명의 인턴이 매주 작성한 과제를 평가해야 했기 때문이죠.
💦인턴 과제 평가의 어려움 (기존 방식)
인턴 과제를 사람이 하나하나 읽으며 평가하기에는 3가지 어려움이 있었습니다.
첫째, 실무자 입장에서는 일하면서 인턴 교육하기도 바쁜데 과제까지 평가하기 힘들다는 것이죠. 실무자의 업무 부담이 너무 늘어나게 됩니다.
둘째, 실무자마다 평가 기준이 다릅니다. 아무리 평가 기준을 제공하고 교육을 하더라도 동일한 과제물을 두고 평가자마다 다른 점수를 부여하는 것은 사람이기에 어쩔 수 없는 부분이죠.
셋째, 인사팀에서 일괄 평가하기엔 그 수가 너무 많습니다. 공정한 평가를 위해 인사팀이 모두 취합하여 평가하는 방법도 있지만, 한두 명도 아니고 단기간에 500명의 인턴 과제를 평가한다는 것은 어려운 일입니다.
✅ 인턴 과제 평가 자동화
LH는 업무를 효율적으로, 그리고 모든 인턴들에게 공정한 결과를 제공하기 위해 AI 서류평가 서비스 프리즘으로 자동화했습니다.
문제 해결형 과제 평가는 4가지 기준으로 평가됐습니다.
과제 세부 평가 항목인 정보 수집 능력, 문제해결능력, 의사소통 능력, 문장 구성력을 기준으로 평가했는데요.
먼저, 서류평가의 가장 기본이 되는 표절검사입니다. 인터넷에 있는 자료를 단순 복붙했는지 확인하는 것인데요. 이는 인턴의 성실성과 윤리성을 확인할 수 있는 부분이기도 합니다. 프리즘은 국내 유일의 표절검사 서비스 카피킬러의 개발사 무하유에서 개발한 AI 서류평가 서비스기에 카피킬러와 동일한 비교 DB를 보유하고 있어 정확한 표절검사가 가능합니다.
그리고 결함검사를 진행합니다. 결함검사 결과는 LH의 과제 평가 기준 중 하나인 문장 구성 능력 평가를 위해 활용됐는데요. 무의미한 단어/문장, 맞춤법, 비속어, 반복 작성 등 판단하여 점검했습니다.
마지막으로 내용 평가입니다. LH에서 과제 평가 기준 중 3가지인 정보 수집 능력, 문제해결능력, 의사소통 능력을 사람 평가 기준에 맞춰 평가한 것입니다. 단순히 키워드 기준으로 문서를 평가하는 것이 아닌 문맥을 이해하여 내용을 평가하기 때문에 사람과 같은 기준으로 평가가 가능합니다.
그 결과 사람이라면 몇 날 며칠이 걸렸을 평가를 단기간에 끝냈고 모든 인턴에게 공정한 평가 결과를 제공할 수 있었습니다.
프리즘은 단순 키워드가 아닌 문맥을 이해하는 AI로 텍스트 기반의 평가가 필요한 곳이라면 어디든 활용성이 다양합니다.
공정한 서류 평가 자동화는 프리즘입니다.
> 관련 기사
[경향신문] 성과연봉이 공정하다고? ‘성과급제 끝판왕’ 삼성 직원들에 물어보니…
[중앙일보] "AI가 날 자르라고 지목했다" 구글서 잘린 직원들 폭로 파문
[프리즘] AI 채용 문제점 ② AI 면접 결과에 대한 설명이 불가능하다