“98점짜리 인공지능(AI)에게 내 삶을 맡길 수 있겠습니까? 평균 점수에는 피해자의 얼굴이 없습니다. 같은 오류율이더라도 채용·복지의 2%와 영화 추천의 2%로 겪는 피해는 다릅니다.”
박지환 씽크포비엘 대표는 5일 서울 삼성동 코엑스에서 열린 '제12회 국제 품질 테스팅 콘퍼런스(BeSTCon 2026)' 기조강연에서 인공지능(AI)의 정확도만으로 신뢰성을 판단하기 어렵다는 점을 지적하며 이같이 말했다. 더나아가 사용 목적과 사회적 영향, 위험에 대응할 운영체계까지 함께 검증해야 한다는 것이다.
올해 행사는 'TRUST in AI: 보안, 신뢰성, 그리고 품질의 새로운 기준'을 주제로 열렸다. AI가 코드 작성부터 판단·실행까지 수행하는 환경에서 무엇을 검증하고, 어떤 근거로 믿고 사용할 수 있는지를 논의했다.
박 대표는 정해진 조건에서 기능을 수행하는 능력과 그 기능을 믿고 사용해도 되는 근거를 구분해야 한다고 강조했다. 그는 “잘 수행하는 능력과 수행해도 되는 정당성은 다르다”며 “고장 없이 차별하는 AI를 신뢰하지 못하는 이유도 그것”이라고 설명했다. 기능을 안정적으로 수행하는지에 더해 사용 목적의 정당성과 운영 조건을 확인해야 한다는 것이다.
AI가 정상적으로 작동할 때 발생하는 영향도 평가 대상으로 제시했다. 예를 들어 복지행정에서는 부정수급 탐지와 처분 속도가 빨라져도 설명·상담·이의신청 처리 역량이 따라가지 못하면 권리구제에 문제가 생길 수 있다고 설명했다. 영향평가에서 확인한 위험을 대응방안과 시스템 요구사항, 시험 항목으로 연결해야 한다는 제안이다.
인간감독의 실효성을 확보하기 위해 AI의 자율 실행 범위와 사람을 호출하는 기준, 응답 대기 중 동작, 개입 권한과 판단 기록 등을 구체화해야 한다고 강조했다.
박 대표는 “사람을 불렀다는 기록만으로 끝낼 수는 없다”며 “담당자가 응답하지 않거나 경보가 한꺼번에 몰리는 상황은 물론, 통신이 끊기거나 중단 명령이 작동하지 않는 상황까지 시험해야 한다”고 말했다.
이어 “운영 중 데이터와 사용 목적, AI의 권한이 달라지면 기존 검증 근거도 재평가해야 한다”며 “이를 수행할 전문인력을 확보하고, 교육·자격을 실제 직무역량 평가와 연결할 기준도 마련해야 한다”고 덧붙였다.
두 번째 기조강연에 나선 김용덕 IBM 전문위원은 'AI를 잘 만드는 시대에서, AI를 믿고 사용할 수 있음을 증명하는 시대로'라는 주제로, AI의 데이터·모델·운영을 연결하는 검증체계를 제시했다.
김 전문위원은 “AI 시대의 품질은 단순히 테스트를 통과하거나 올바른 결과를 생성하는 것만으로 보장되지 않는다”며 “신뢰할 수 있는 데이터를 바탕으로 필요한 시간 안에 안전하게 판단하고 행동한다는 사실을 입증할 수 있어야 한다”고 말했다.
또한 AI가 코드를 만들고 스스로 판단·실행하는 만큼 검증 범위도 넓어져야 한다고 봤다.
그는 “AI를 활용한 테스트 자동화는 새로운 가능성을 열고 있다”며 “AI가 생성한 결과의 정확성뿐 아니라 판단의 근거, 보안 위험, 운영 환경에서의 신뢰성까지 검증해야 한다”고 설명했다.
이를 위해 개발 단계에서 정한 요구사항과 시험 결과를 연결하는 '추적성'을 강조했다. 어떤 기준을 어떤 시험으로 확인했고 결과는 어땠는지 기록으로 남기는 방식이다. 개발·배포 과정에 보안 검사와 담당자의 검토·승인을 연결하는 구성도 제시했다.
김 전문위원은 “테스트는 시간이 지나면 효과가 떨어진다”며 “데이터·모델·프롬프트 설계 단계부터 품질을 검증하고, 테스트에 쓰는 데이터를 갱신하면서 지속적으로 평가해야 한다”고 말했다. 서비스 운영 중에도 데이터와 성능 변화, 새로운 보안 위험을 살피고 필요하면 다시 검증해야 한다는 것이다.
우수사례 특별강연에서는 박상률 스패로우 이사가 AI와 소프트웨어 자재명세서(SBOM)를 활용한 자동 점검 사례를 소개했다. SBOM은 SW에 쓰인 구성요소를 정리한 목록이다.
코드를 수정할 때마다 결함과 보안상 허점을 찾고, AI가 원인과 수정안을 제시하면 개발자가 확인해 반영한다. 이후 다시 검사해 문제가 해결됐는지 확인하는 방식이다.
SW에 들어간 오픈소스와 취약점을 파악하고, 외부에서 오픈소스를 가져오거나 SW를 배포할 때 기준에 맞지 않으면 차단한다. 예외적으로 허용할 때는 사유와 승인 이력, 후속 조치를 관리한다. 이미 운영 중인 서버와 웹 서비스도 점검 대상에 포함했다.
배현철 한국AI·SW테스팅협회장은 개회사에서 올해 논의의 축을 △AI를 어떻게 신뢰할 것인가 △AI로 어떻게 테스트할 것인가 △AI 시대에 무엇을 어디까지 검증할 것인가 등 세 가지로 제시했다.
배 회장은 “AI가 목표를 어떻게 이해하고 어떤 도구로 판단하고 실행하는지까지 확인해야 한다”며 “AI가 만든 결과는 검증 도구와 사람이 다시 확인하고, 피지컬 AI는 센서와 실제 기기의 동작까지 함께 검증해야 한다”고 말했다.
강성전 기자 castlekang@etnews.com
