여러 차례 파일럿 거쳐 임직원 AI 활용 패턴 정량화
한국투자증권이 구름(공동대표 류성태·이상규)과 손잡고 AI 활용 역량 평가 솔루션 'AISA(AI Skills Assessment)'를 도입했다고 밝혔다. 이를 통해 임직원의 AI 사용 능력을 정량적으로 분석하고 활용 방식에 따른 성과 차이를 객관적으로 규명했다.
AISA는 2025년 7월 출시된 구름의 개발자 평가 플랫폼 Devth에서 제공하는 AI 활용 역량 평가 서비스로, ChatGPT, Claude 등 최신 생성형 AI 모델을 평가 환경에 통합해 업무 상황에서 AI 활용 능력을 정량적으로 측정한다. 또한 6가지 항목의 평가 기준을 문서화하고, 프롬프트·응답 기록과 함께 레이더 차트, 코멘트, AI 사용 패턴 분석이 포함된 리포트를 제공해 개선 방향까지 확인할 수 있다.
양사는 수개월간의 파일럿 테스트를 통해 임직원의 생성형 AI 활용 능력을 정량적으로 측정하고, 고득점자와 저득점자 간 AI 사용 패턴 차이를 규명하며 금융 실무에 최적화된 평가 체계를 구축했다.
임직원의 AI 활용 능력을 정량적으로 측정한 결과 고득점자와 저득점자 간 AI 활용 패턴에서 뚜렷한 차이가 확인됐다.
고득점자는 1질문당 평균 200토큰을 사용해 12-14점을 획득해, 1토큰당 약 0.07점의 효율을 보였다. 반면 저득점자는 최대 8,966토큰을 사용했지만 1토큰당 0.014점에 그쳐, 고득점자 대비 효율성이 약 5분의 1 수준이었다. 이는 AI를 많이 사용하는 것이 아니라, 얼마나 효과적으로 사용하는가가 성과를 결정한다는 것을 보여준다.
특히 고득점자는 △과제 요구사항을 먼저 AI에 설명하고 전략을 탐색하는 구조화된 접근 △AI 답변을 직접 검증하고 오류 발견 시 명확한 피드백 제공 △“이런 접근 시 고려사항은?” 같은 전략적 질문 설계 등의 특징을 보였다.
반면 저득점자는 △“이 과제 해결해줘” 식의 맹목적 정답 요청 △맥락 없는 반복 요청으로 토큰 낭비 △AI 답변을 검증 없이 그대로 수용 △첫 답변 실패 시 신뢰도 하락 후 사용 포기 등의 패턴을 나타냈다.
AISA 관계자는 “AISA는 단순 평가를 넘어 채용 단계에서 지원자의 AI 활용 역량을 검증하고 입사 후에는 역량 수준별 교육을 설계하며, 프로젝트 배치 시 최적 인력을 선별하는 전 주기에 활용할 수 있다”며 “프롬프트 기록 분석을 통해 'AI를 많이 쓴 사람'이 아닌 'AI를 잘 쓴 사람'을 객관적으로 식별할 수 있는 것이 핵심 가치”라고 설명했다.
류성태·이상규 구름 공동대표는 “이번 금융권 도입 사례는 국내 주요 기업이 AI 역량 평가 필요성을 인식하고 선제적으로 대응한 의미 있는 사례”라며 “2026년 본격적인 AX 전환 시대를 앞두고, AISA가 기업들의 AI 여정에 실질적인 도움이 되길 바란다”고 밝혔다.
한편 AISA는 개발자뿐만 아니라 비개발자 직군의 AI 활용 역량도 평가할 수 있도록 설계됐다. 이는 올해 상반기 마케팅, 기획, 영업, 재무 등 비개발자 직군을 위한 평가 서비스도 추가 출시할 예정이다.
AISA에 대한 자세한 정보는 Devth 공식 홈페이지에서 확인할 수 있다.
이원지 기자 news21g@etnews.com
