AI로 재직자 고과 평가 & 인턴 과제 평가 자동화 가능?
챗지피티(Chat GPT)가 출시된 후 사람들은 챗지피티로 어떤 것까지 할 수 있는지 테스트했고 그 결과 지금은 다양한 분야에서 활용하고 있습니다. 처음엔 단순히 검색을 대신했지만 최근엔 자기소개서를 작성시킨다거나, 논문을 쓰게 한다거나, 책을 출판하고 심지어는 업무 중에도 활용하고 있죠.
AI 서류평가 서비스 프리즘도 챗지피티처럼 활용성을 넓혀가고 있습니다. 처음엔 채용 서류, 자기소개서 평가를 위해 활용됐지만 최근엔 인턴 평가와 재직자 승진 평가에서도 활용되고 있습니다. 서류 평가 과정에서 단순 표절검사, 결함검사도 가능하지만 무엇보다 내용 평가가 가능했기 때문에 이 기술을 활용해 재직자 고과 평가와 인턴 과제 평가도 할 수 있는 것이죠.
실제 프리즘으로 인턴 평가를 진행했던 LH 한국토지주택공사가 왜, 어떻게 AI로 평가를 자동화했는지 살펴보겠습니다.
인턴 과제 평가 자동화에 성공한 LH 한국토지주택공사
공기업인 LH는 2022년 하반기 체험형 인턴 과제 평가를 프리즘으로 진행했습니다.
LH에서는 체험형 인턴 중 평가를 통해 우수 인턴을 선발하는데요. 이때 선발된 우수 인턴에게는 혜택이 부여되기 때문에 공정하고 객관적인 평가가 중요했습니다.
인턴 평가는 2가지로 이뤄졌는데요. 함께 근무한 실무자가 직접 평가하는다면 형 역량 평가와 주차별 과제를 평가하는 문제 해결 과제 평가의 점수를 합산하여 평가합니다. 다면형 역량 평가는 인턴과 함께 근무하며 근무 역량을 평가해야 했기에 실무자가 평가하는 것이 좋지만 문제 해결 과제 평가는 다릅니다. 500명의 인턴이 매주 작성한 과제를 평가해야 했기 때문이죠.
💦인턴 과제 평가의 어려움 (기존 방식)
인턴 과제를 사람이 하나하나 읽으며 평가하기에는 3가지 어려움이 있었습니다.
첫째, 실무자 입장에서는 일하면서 인턴 교육하기도 바쁜데 과제까지 평가하기 힘들다는 것이죠. 실무자의 업무 부담이 너무 늘어나게 됩니다.
둘째, 실무자마다 평가 기준이 다릅니다. 아무리 평가 기준을 제공하고 교육을 하더라도 동일한 과제물을 두고 평가자마다 다른 점수를 부여하는 것은 사람이기에 어쩔 수 없는 부분이죠.
셋째, 인사팀에서 일괄 평가하기엔 그 수가 너무 많습니다. 공정한 평가를 위해 인사팀이 모두 취합하여 평가하는 방법도 있지만, 한두 명도 아니고 단기간에 500명의 인턴 과제를 평가한다는 것은 어려운 일입니다.
✅ 인턴 과제 평가 자동화
LH는 업무를 효율적으로, 그리고 모든 인턴들에게 공정한 결과를 제공하기 위해 AI 서류평가 서비스 프리즘으로 자동화했습니다.
문제 해결형 과제 평가는 4가지 기준으로 평가됐습니다.
과제 세부 평가 항목인 정보 수집 능력, 문제해결능력, 의사소통 능력, 문장 구성력을 기준으로 평가했는데요.
먼저, 서류평가의 가장 기본이 되는 표절검사입니다. 인터넷에 있는 자료를 단순 복붙했는지 확인하는 것인데요. 이는 인턴의 성실성과 윤리성을 확인할 수 있는 부분이기도 합니다. 프리즘은 국내 유일의 표절검사 서비스 카피킬러의 개발사 무하유에서 개발한 AI 서류평가 서비스기에 카피킬러와 동일한 비교 DB를 보유하고 있어 정확한 표절검사가 가능합니다.
그리고 결함검사를 진행합니다. 결함검사 결과는 LH의 과제 평가 기준 중 하나인 문장 구성 능력 평가를 위해 활용됐는데요. 무의미한 단어/문장, 맞춤법, 비속어, 반복 작성 등 판단하여 점검했습니다.
마지막으로 내용 평가입니다. LH에서 과제 평가 기준 중 3가지인 정보 수집 능력, 문제해결능력, 의사소통 능력을 사람 평가 기준에 맞춰 평가한 것입니다. 단순히 키워드 기준으로 문서를 평가하는 것이 아닌 문맥을 이해하여 내용을 평가하기 때문에 사람과 같은 기준으로 평가가 가능합니다.
그 결과 사람이라면 몇 날 며칠이 걸렸을 평가를 단기간에 끝냈고 모든 인턴에게 공정한 평가 결과를 제공할 수 있었습니다.
프리즘은 단순 키워드가 아닌 문맥을 이해하는 AI로 텍스트 기반의 평가가 필요한 곳이라면 어디든 활용성이 다양합니다.
공정한 서류 평가 자동화는 프리즘입니다.
> 관련 기사
[경향신문] 성과연봉이 공정하다고? ‘성과급제 끝판왕’ 삼성 직원들에 물어보니…
[중앙일보] "AI가 날 자르라고 지목했다" 구글서 잘린 직원들 폭로 파문
[프리즘] AI 채용 문제점 ② AI 면접 결과에 대한 설명이 불가능하다
AI로 재직자 고과 평가 & 인턴 과제 평가 자동화 가능?
챗지피티(Chat GPT)가 출시된 후 사람들은 챗지피티로 어떤 것까지 할 수 있는지 테스트했고 그 결과 지금은 다양한 분야에서 활용하고 있습니다. 처음엔 단순히 검색을 대신했지만 최근엔 자기소개서를 작성시킨다거나, 논문을 쓰게 한다거나, 책을 출판하고 심지어는 업무 중에도 활용하고 있죠.
AI 서류평가 서비스 프리즘도 챗지피티처럼 활용성을 넓혀가고 있습니다. 처음엔 채용 서류, 자기소개서 평가를 위해 활용됐지만 최근엔 인턴 평가와 재직자 승진 평가에서도 활용되고 있습니다. 서류 평가 과정에서 단순 표절검사, 결함검사도 가능하지만 무엇보다 내용 평가가 가능했기 때문에 이 기술을 활용해 재직자 고과 평가와 인턴 과제 평가도 할 수 있는 것이죠.
실제 프리즘으로 인턴 평가를 진행했던 LH 한국토지주택공사가 왜, 어떻게 AI로 평가를 자동화했는지 살펴보겠습니다.
인턴 과제 평가 자동화에 성공한 LH 한국토지주택공사
공기업인 LH는 2022년 하반기 체험형 인턴 과제 평가를 프리즘으로 진행했습니다.
LH에서는 체험형 인턴 중 평가를 통해 우수 인턴을 선발하는데요. 이때 선발된 우수 인턴에게는 혜택이 부여되기 때문에 공정하고 객관적인 평가가 중요했습니다.
인턴 평가는 2가지로 이뤄졌는데요. 함께 근무한 실무자가 직접 평가하는다면 형 역량 평가와 주차별 과제를 평가하는 문제 해결 과제 평가의 점수를 합산하여 평가합니다. 다면형 역량 평가는 인턴과 함께 근무하며 근무 역량을 평가해야 했기에 실무자가 평가하는 것이 좋지만 문제 해결 과제 평가는 다릅니다. 500명의 인턴이 매주 작성한 과제를 평가해야 했기 때문이죠.
💦인턴 과제 평가의 어려움 (기존 방식)
인턴 과제를 사람이 하나하나 읽으며 평가하기에는 3가지 어려움이 있었습니다.
첫째, 실무자 입장에서는 일하면서 인턴 교육하기도 바쁜데 과제까지 평가하기 힘들다는 것이죠. 실무자의 업무 부담이 너무 늘어나게 됩니다.
둘째, 실무자마다 평가 기준이 다릅니다. 아무리 평가 기준을 제공하고 교육을 하더라도 동일한 과제물을 두고 평가자마다 다른 점수를 부여하는 것은 사람이기에 어쩔 수 없는 부분이죠.
셋째, 인사팀에서 일괄 평가하기엔 그 수가 너무 많습니다. 공정한 평가를 위해 인사팀이 모두 취합하여 평가하는 방법도 있지만, 한두 명도 아니고 단기간에 500명의 인턴 과제를 평가한다는 것은 어려운 일입니다.
✅ 인턴 과제 평가 자동화
LH는 업무를 효율적으로, 그리고 모든 인턴들에게 공정한 결과를 제공하기 위해 AI 서류평가 서비스 프리즘으로 자동화했습니다.
문제 해결형 과제 평가는 4가지 기준으로 평가됐습니다.
과제 세부 평가 항목인 정보 수집 능력, 문제해결능력, 의사소통 능력, 문장 구성력을 기준으로 평가했는데요.
먼저, 서류평가의 가장 기본이 되는 표절검사입니다. 인터넷에 있는 자료를 단순 복붙했는지 확인하는 것인데요. 이는 인턴의 성실성과 윤리성을 확인할 수 있는 부분이기도 합니다. 프리즘은 국내 유일의 표절검사 서비스 카피킬러의 개발사 무하유에서 개발한 AI 서류평가 서비스기에 카피킬러와 동일한 비교 DB를 보유하고 있어 정확한 표절검사가 가능합니다.
그리고 결함검사를 진행합니다. 결함검사 결과는 LH의 과제 평가 기준 중 하나인 문장 구성 능력 평가를 위해 활용됐는데요. 무의미한 단어/문장, 맞춤법, 비속어, 반복 작성 등 판단하여 점검했습니다.
마지막으로 내용 평가입니다. LH에서 과제 평가 기준 중 3가지인 정보 수집 능력, 문제해결능력, 의사소통 능력을 사람 평가 기준에 맞춰 평가한 것입니다. 단순히 키워드 기준으로 문서를 평가하는 것이 아닌 문맥을 이해하여 내용을 평가하기 때문에 사람과 같은 기준으로 평가가 가능합니다.
그 결과 사람이라면 몇 날 며칠이 걸렸을 평가를 단기간에 끝냈고 모든 인턴에게 공정한 평가 결과를 제공할 수 있었습니다.
프리즘은 단순 키워드가 아닌 문맥을 이해하는 AI로 텍스트 기반의 평가가 필요한 곳이라면 어디든 활용성이 다양합니다.
공정한 서류 평가 자동화는 프리즘입니다.
> 관련 기사
[경향신문] 성과연봉이 공정하다고? ‘성과급제 끝판왕’ 삼성 직원들에 물어보니…
[중앙일보] "AI가 날 자르라고 지목했다" 구글서 잘린 직원들 폭로 파문
[프리즘] AI 채용 문제점 ② AI 면접 결과에 대한 설명이 불가능하다