[오늘의 AI] AI 리터러시 평가, 무엇을 어떻게 측정해야 하는가?

AI는 도입보다 어려운 것이 내재화다.오늘은 직원들의 AI 활용 수준을 단순한 툴 사용 빈도가 아닌, 실질적인 업무 역량 향상의 관점에서 설계하는 평가 프레임워크에 대해 얘기해 보고자 한다.

 

왜 평가가 어려운가

많은 기업이 AI 도입을 선언하고 교육을 진행하지만, 정작 "우리 직원들이 AI를 얼마나 잘 쓰고 있는가"를 묻는 순간 막히는 경우가 많다. 이유는 단순하다. 기존의 역량 평가 틀이 AI 활용이라는 새로운 차원을 담지 못하기 때문이다.

엑셀 활용 능력은 수식 입력 여부로 측정할 수 있다. PPT 역량은 슬라이드 완성도로 판단할 수 있다. 그렇다면 AI 리터러시는? 단순히 ChatGPT를 몇 번 썼는가? 프롬프트를 작성할 수 있는가? 이것만으로는 턱없이 부족하다.

 

AI 리터러시란 무엇인가

AI 리터러시(AI Literacy)는 단순한 AI 도구 사용 능력이 아니다. UNESCO와 OECD의 정의를 종합하면, AI 리터러시는 AI의 원리를 이해하고, 비판적으로 활용하며, 윤리적·사회적 영향을 판단할 수 있는 복합 역량이다.

기업 맥락에서는 여기에 업무 생산성 연결이라는 차원이 더해진다. 이론적 이해에 그치지 않고 실제 업무에서 AI를 도구로 활용해 성과를 만들어내는 능력까지 포함해야 한다.

 

AI 리터러시의 4가지 구성 차원

 

이해력 (Comprehension)

• AI·LLM의 작동 원리 기초 이해
• 할루시네이션, 편향 등 한계 인식
• 생성형 AI vs 예측 AI 구분
• 데이터·프라이버시 기본 개념

활용력 (Application)

• 프롬프트 설계 및 반복 개선 능력
• 업무별 AI 도구 선택 및 적용
• AI 출력물 검증 및 편집 역량
• 워크플로우 내 AI 통합

판단력 (Judgment)

• 언제 AI를 써야 하고 쓰지 말아야 하는지
• AI 결과물 신뢰 수준 평가
• 저작권·정보보안 리스크 판단
• 업무 맥락에 따른 윤리적 판단

전파력 (Diffusion)

• 팀 내 AI 활용 사례 공유
• 동료 온보딩 및 멘토링
• 조직 내 AI 활용 문화 조성
• 개선 피드백 생성 및 기여

이 4가지 차원은 독립적이지 않다. 이해력이 없으면 활용력은 피상적이 되고, 판단력이 없으면 리스크가 커지며, 전파력이 없으면 조직의 AI 역량은 개인 수준에 머문다.

 

AI 역량 수준을 어떻게 분류할 것인가

 

평가의 전제는 수준 체계(Leveling Framework)의 설계다. 절대적 점수보다 "어느 단계에 있는가"를 명확히 정의해야 교육 경로와 인사 연계가 가능해진다.

 

Level 1 : 인식 단계

AI가 무엇인지 개념적으로 알고 있으나 업무에 적용하지 못하는 수준. 교육 이수 단계

 

Level 2 : 도구 활용 단계

제공된 AI 도구를 정해진 방식으로 사용할 수 있음. 단순 반복 업무에 AI를 적용

 

Level 3 : 창의적 활용 단계

업무 맥락에 맞게 프롬프트를 설계하고, AI 출력물을 비판적으로 편집하며 성과를 창출

 

Level 4 : 전파·설계 단계

팀의 AI 활용 방식을 설계하고 동료를 이끄는 내부 챔피언. AI 네이티브 업무 방식 구축

 

 

 

어떤 방식으로 측정할 것인가

AI 리터러시 평가에는 단일한 방법이 존재하지 않는다. 4가지 차원 각각에 맞는 방법론을 병행해야 실질적인 역량 수준을 파악할 수 있다.

 

1. 지식 평가 (Knowledge Assessment)

AI의 원리, 한계, 윤리 등 이해력 차원을 측정한다. 분기 1회 온라인 테스트 방식이 가장 효율적이다. 단, 암기식 문제보다는 시나리오 기반 판단 문제를 출제해야 한다.

 

좋은 문제의 예시

 - 나쁜 문제: "LLM의 할루시네이션이란 무엇인가?"
 - 좋은 문제: "AI가 생성한 법률 조문 요약을 고객에게 그대로 제공하기 전에 확인해야 할 사항은?"  이 방식이 실제 판단력을 측정한다.

 

2. 실기 평가 (Performance Assessment)

활용력 차원의 핵심 평가 방법이다. 실제 업무 시나리오를 주고 AI 도구를 활용해 과제를 수행하게 한다. 평가 기준은 다음 3가지다.

평가 기준	측정 내용	배점	수준
프롬프트 품질	명확성, 맥락 제공, 조건 설정, 반복 개선 과정	40%	이해+활용
결과물 완성도	업무 목적 달성도, 정확성, 편집 수준	35%	활용+판단
시간 효율성	AI 미활용 대비 소요 시간 단축 정도	25%	활용

 

3. 포트폴리오 / 사례 제출 (Portfolio Evidence)

AI를 실제 업무에 활용한 사례를 정기적으로 제출하게 한다. 사례에는 ① 업무 배경, ② 사용한 AI 도구와 프롬프트, ③ 결과물과 성과, ④ 학습 포인트를 포함해야 한다. 이 방식은 평가와 동시에 조직 내 지식 자산화의 역할을 한다.

 

4. 동료 및 리더 평가 (360° Observation)

전파력 차원은 자기평가나 시험으로 측정하기 어렵다. 팀 내에서 AI 활용 방법을 공유했는지, 동료의 학습을 도왔는지, AI 도입 제안을 했는지를 리더와 동료가 함께 평가한다.

 

평가 사이클을 어떻게 설계할 것인가

일회성 평가는 의미가 없다. AI 역량은 기술 변화 속도와 함께 지속적으로 갱신되어야 하므로, 연간 평가 사이클을 구조화해야 한다.

 

Q1 기준선 진단 및 목표 설정

연초 전 직원 대상 AI 리터러시 진단 평가 실시. 현재 레벨을 확인하고, 연간 목표 레벨을 직원-리더 간 합의로 설정한다. 직군별 기대 레벨을 명확히 공표

 

Q2 실기 평가 및 사례 공모

실제 업무 시나리오 기반 실기 테스트 진행. 상반기 AI 활용 우수 사례 공모 및 공유회 개최. 우수 사례는 조직 내부 AI 플레이북에 수록

 

Q3 중간 점검 및 코칭

레벨 목표 달성 현황 중간 점검. 목표 대비 격차가 큰 직원 대상 집중 코칭 또는 팀 내 AI 챔피언 멘토링 연결. 신규 AI 도구 도입 시 추가 평가 모듈 운영

 

Q4 연간 종합 평가 및 인사 연계

지식·실기·포트폴리오·360° 평가 통합. 최종 레벨 인정 및 인사 평가 반영. 차년도 교육 과정·평가 기준 개선안 도출. AI 챔피언 공식 인증

 

모두에게 같은 기준을 적용할 수 없다

보험사를 예로 들면, 계리사·언더라이터·클레임 담당자·영업 설계사·IT 개발자가 AI를 사용하는 맥락은 전혀 다르다. 직군별 기대 레벨과 평가 시나리오를 차별화해야 한다.

 

 

직군별 기대 레벨은 조직의 AI 전략 단계에 따라 매년 상향 조정되어야 한다. 올해의 Lv.2가 내년의 기준선이 되는 방식으로 조직 전체의 역량 수준을 끌어올린다.

 

조직 수준에서 무엇을 트래킹할 것인가

개인 평가와 별개로, 조직의 AI 리터러시 성숙도를 추적하는 조직 수준의 KPI가 필요하다.

 

 

 

잘못된 평가가 더 위험하다

AI 리터러시 평가를 설계하면서 흔히 빠지는 함정들이 있다. 이를 피하는 것이 좋은 평가 체계 설계만큼 중요하다.

 

함정 1: 사용량만 측정

AI 도구를 많이 쓴다고 역량이 높은 것이 아니다. 잘못된 정보를 AI로 빠르게 많이 생산하는 것은 오히려 위험하다. 사용량과 품질을 반드시 함께 측정해야 한다.

 

함정 2: 기술 직군 편향

AI 리터러시를 IT 역량으로 오해해 기술 직군에만 높은 기준을 적용한다. 영업·인사·기획 등 비기술 직군의 AI 활용이 오히려 더 큰 생산성 임팩트를 만들 수 있다.

 

함정 3: 평가 후 방치

평가 결과를 수집해 두고 후속 교육·코칭 연계 없이 끝내는 경우. 평가는 그 자체가 목적이 아니라 성장 경로 설계의 시작점이다.

 

함정 4: 고정된 기준

AI 기술은 6개월마다 달라진다. 2년 전 기준으로 설계한 평가 체계를 변경 없이 계속 쓰는 것은 현실을 반영하지 못하는 평가를 만든다. 매년 기준을 재검토해야 한다.

 

 

평가를 설계한다는 것은 문화를 설계하는 것이다

AI 리터러시 평가 체계를 도입한다는 것은 단순히 시험지를 만드는 일이 아니다. 조직이 어떤 AI 역량을 가치 있게 여기는가를 선언하는 행위이고, 직원들이 어떤 방향으로 성장해야 하는지 신호를 보내는 과정이다.

잘 설계된 평가는 직원들에게 "AI를 써서 잡힐까 봐 걱정"이 아니라 "AI를 잘 써서 인정받고 싶다"는 동기를 만들어낸다. 그 차이가 AI 전환(AX)의 성패를 가른다. 지금 당장 완벽한 평가 체계를 만들 필요는 없다. 먼저 4가지 차원을 인식하고, 레벨 체계를 정의하고, 가장 측정하기 쉬운 것부터 시작해 반기마다 개선하는 것이 현실적인 접근이다. 평가도 결국 애자일해야 한다.