“산업현장의 명장들은 기계에서 나는 소리나 진동, 색깔이 평소와 조금만 달라도 이상을 알아챕니다. 문제는 이런 판단 기준이 매뉴얼에는 없다는 겁니다. 이분들이 퇴직하면 20~30년 동안 쌓은 경험도 같이 사라집니다. 저희는 그 경험을 데이터로 만들어 인공지능(AI)과 로봇이 활용할 수 있도록 하려고 합니다.”
김민철 스위트케이 대표가 피지컬AI 시대 제조업 경쟁력의 핵심으로 '숙련자의 경험'을 꼽았다. 지금까지 산업현장의 AI는 매뉴얼이나 설비 데이터처럼 이미 기록된 정보를 학습하는 데 집중했다면, 앞으로는 사람이 실제 현장에서 보고 듣고 느끼며 쌓아온 노하우까지 AI가 학습해야 한다는 것이다.
스위트케이가 주목한 것은 이른바 '암묵지'다. 숙련자가 오랜 경험을 통해 자연스럽게 체득했지만 문서로 설명하기 어려운 지식이다.
스위트케이는 산업현장에서 매뉴얼과 표준작업절차(SOP), 도면 등으로 남아 있는 정보보다 숙련자의 판단 근거와 현장 맥락처럼 기록되지 않은 경험을 피지컬AI의 중요한 데이터로 보고 있다. 산업현장에서 데이터를 수집하는 데 그치지 않고 AI가 상황을 판단하고 실제 행동까지 이어지도록 만드는 기술을 개발한다. 회사는 이를 AI나 로봇이 산업현장에서 숙련자 수준으로 움직이게 만드는 '실행지능 아키텍처'로 정의한다.
이를 위해서는 스마트글라스가 필수다. 작업자가 착용한 스마트글라스를 통해 작업자의 눈높이에서 보이는 영상과 음성을 확보하고, 필요하면 3인칭 영상이나 열화상, 소음·주파수 데이터까지 함께 수집한다.
여기에 AI 에이전트가 숙련자에게 직접 질문한다. 작업자가 특정 설비를 다시 확인하면 AI가 “왜 지금 다시 봤습니까”, “평소와 무엇이 달랐습니까”라고 묻는 식이다. 숙련자의 답변에서 부족한 부분을 찾아 다시 질문하고, 답변을 장비 종류와 이상 증상, 판단 근거 등으로 정리한다.
사업은 에너지 산업에서 먼저 시작했다. 스위트케이는 한국남동발전과 스마트글라스 등을 활용한 산업현장 AI 사업을 진행하고 있다. 발전소에서 확보한 기술을 향후 소재·부품 제조업 등으로 확장한다는 계획이다.
대담=길재식 전자신문 디지털금융부 부국장
-스위트케이가 말하는 '산업 현장의 암묵지'란 무엇인가.
▲산업현장에서 명장이나 고숙련자들이 판단하는 것 중에는 매뉴얼에 없는 부분이 상당히 많다. 예를 들어 설비를 보면서 색깔이 평소와 조금 다르다거나, 소리가 다르다거나, 진동이 이상하다고 느끼는 것이다. 이런 판단은 20~30년 동안 현장에서 경험하면서 만들어진다.
기존 AI는 이미 문서나 데이터로 만들어져 있는 정보를 학습하는 데 강했다. 하지만 숙련자가 오감을 이용해 판단하는 부분은 데이터로 남아 있지 않았다. 피지컬AI가 실제 산업현장에서 고숙련자의 업무까지 수행하려면 이런 경험이 데이터가 되고 AI나 로봇으로 전달돼야 한다.
그동안에도 암묵지를 문서로 만들려는 시도가 있었다. 하지만 사람이 느끼는 미세한 색깔의 차이나 소리, 진동 등을 텍스트만으로 정확히 표현하기 어려웠다. 지금은 센서 기술이 발전했고 AI도 영상이나 음성 등 다양한 데이터를 동시에 처리할 수 있게 됐다. 이전에는 어려웠던 일을 할 수 있는 환경이 만들어진 것이다.
-숙련자의 감각을 실제로 어떻게 데이터로 만드는가.
▲먼저 인터뷰를 하고 동시에 여러 센서를 활용한다. 작업자가 스마트글라스를 쓰면 작업자 눈높이에서 보는 1인칭 영상과 음성을 얻을 수 있다. 작업 전체를 보는 3인칭 영상도 필요하고 업무에 따라 열화상이나 소음, 주파수 같은 정보도 수집한다.
중요한 것은 이 데이터들을 같은 시점에 맞추는 것이다. 숙련자가 어떤 순간에 설비에 이상이 있다고 판단했다면 그 순간 무엇을 보고 있었고 어떤 소리가 났으며 설비 상태는 어땠는지를 같이 봐야 한다.
공장이나 발전소 같은 산업시설은 기본적으로 사람이 일하는 것을 기준으로 만들어졌다. 기계의 위치나 조작부 높이도 사람 눈높이에 맞춰져 있다. 앞으로 휴머노이드가 이런 환경에 들어와 사람처럼 일하려면 사람의 시점에서 무엇을 보는지를 학습하는 것이 중요하다. 여러 종류의 스마트글라스를 활용해 현장에서 필요한 데이터를 수집하고 이를 AI가 사용할 수 있는 형태로 만드는 것이 핵심이다.
-AI는 숙련자가 무엇을 알고 있는지 어떻게 찾아내나.
▲AI 에이전트가 숙련자에게 질문한다. 작업자가 설비를 보다가 특정 부분을 다시 확인했다고 가정하면 AI가 작업 상황을 보면서 “왜 지금 이 부분을 확인했습니까”라고 묻는다. 숙련자가 “소리가 평소와 다르다”고 답하면 여기서 끝나는 것이 아니라 다시 질문한다. 어느 정도 다른지, 이전에는 어떤 상황에서 이런 소리가 났는지 등을 계속 묻는다. 이렇게 얻은 답변을 장비 종류와 이상 증상, 판단 근거 등으로 나눠 데이터로 만든다. 앞으로 사람이 일일이 인터뷰하는 부분을 줄이고 AI가 숙련자의 지식을 찾아내도록 하는 것이 목표다.
-이런 데이터는 결국 휴머노이드나 로봇을 위한 것인가.
▲로봇이 중요한 활용처 가운데 하나다. 지금 로봇이 사람의 동작을 따라 하거나 비교적 단순한 일을 하는 것은 가능하다. 하지만 산업현장에서 고숙련자가 맡고 있는 업무는 단순히 동작만 따라 한다고 되는 것이 아니다.
왜 그렇게 판단했는지를 알아야 한다. 기업의 핵심 경쟁력과 연결된 고숙련 업무를 로봇이 하려면 결국 고숙련자의 경험이 학습돼야 한다. 최근에는 언어와 영상, 행동이 빠르게 합쳐지고 있다. 과거에는 대규모언어모델(LLM)을 연구하는 사람과 컴퓨터비전을 연구하는 사람이 나뉘어 있었다. 하지만 로봇은 사람의 말을 이해하고, 주변을 보고, 판단하고, 행동해야 한다.
그래서 VLA(Vision-Language-Action)이 중요해지고 있다. 저희는 여기에 촉각까지 포함하는 방향도 준비하고 있다. 로봇이 물체를 잡을 때 어느 정도 힘을 줘야 하는지 같은 것도 결국 학습해야 하기 때문이다.
-AI와 로봇이 숙련자의 일을 배우면 결국 일자리 감소로 이어질 수 있다는 우려도 있다.
▲현장에서도 그런 우려가 크다. 하지만 반대로 보면 숙련자의 경험을 노동자에게 전달하는 방법이 될 수도 있다. 기존에는 저숙련자가 고숙련자가 되려면 도제식 교육을 통해 20년 가까운 시간이 걸렸다고 하면, 이런 지식을 데이터화했을 때는 2~3년이나 5년 등 훨씬 짧은 기간 안에 숙련도를 높일 가능성이 있다. AI가 사람을 대체하는 것만 생각할 것이 아니라 근로자의 기술 수준을 빠르게 높이는 데 활용할 수 있다. 그런 측면에서는 산업현장에서 이야기하는 '정의로운 전환'에도 기여할 수 있다고 본다.
-첫 번째 사업 분야로 에너지를 선택한 이유는.
▲우선 에너지 분야에 깊게 들어가려고 한다. 발전소는 기본적으로 거대한 플랜트다. 그 안에 제조업의 속성도 있고 설비 운영과 유지보수, 안전관리 등 다른 산업과 공통되는 부분도 많다. 발전소에서 제대로 기술을 만들면 화학 플랜트나 제조업 등 다른 분야로 확장할 수 있는 기반이 된다. 실제로 한국남동발전과 스마트글라스 등을 활용한 사업을 진행하며 경험을 쌓고 있다. 여기에서 확보한 기술을 앞으로 소재·부품 제조 분야 등으로 넓히려고 한다.
-한국남동발전에서는 어떤 방식으로 기술을 적용하고 있나.
▲현장 작업자가 스마트글라스를 활용해 설비를 점검할 때 필요한 정보를 AI와 연결하는 방식이다. 예를 들어 안전관리나 유지보수 과정에서 관련 내용을 물으면 필요한 매뉴얼 등을 바로 확인할 수 있다. 저희는 그 이전부터 발전 분야에서 AI 매뉴얼을 구축하면서 신뢰를 쌓아왔다. 이를 스마트글라스로 확장했고, 앞으로는 현장에서 작업자가 실제로 보고 판단하는 과정까지 데이터로 축적하려는 것이다.
-스위트케이는 최근 피지컬AI 스타트업과는 출발점이 다른데.
▲저희가 중요하게 생각한 것은 항상 '현장'이었다. R&D를 하더라도 연구실 안에서만 기술을 만드는 방식보다는 고객이 실제 사용할 수 있는지를 중요하게 봤다. 2019년에는 금융감독원 사모펀드 심사 업무에 당시 자연어처리 기술을 적용했다. 여러 문서를 사람이 하나씩 확인해야 했던 업무를 AI가 분석하도록 했다. 사람이 상당한 시간을 들여야 했던 업무를 몇 분 안에 처리할 수 있도록 했다.
고객은 기술에 굉장히 엄격하다. 기술이 아무리 좋아 보여도 실제 업무에서 기대에 미치지 못하면 사용하지 않는다. 그래서 처음부터 상용화와 현장을 전제로 R&D를 하는 것이 오히려 기술의 완성도를 높일 수 있다고 생각한다.
-향후 어떤 산업으로 사업을 확대할 계획인가.
▲에너지 분야를 먼저 깊게 하고 이후 소재·부품 제조업으로 확장하려 한다. 제조업은 업종이나 공장마다 상황이 다르지만 숙련자의 기술이 중요한 산업부터 접근할 생각이다. 예를 들어 용접도 숙련자가 토치를 어느 정도 각도로 움직이는지, 어느 정도 힘을 주는지 등 문서로 설명하기 어려운 기술이 많다. 피지컬AI를 만들기 위해서는 결국 이런 데이터를 어떻게 수집할 것인가가 중요해진다.
저희는 스마트글라스를 비롯한 1인칭 데이터 수집과 산업현장 데이터 처리 경험이 있기 때문에 이런 부분에서 역할을 할 수 있다고 본다.
-스위트케이가 궁극적으로 만들고 싶은 회사는 어떤 모습인가.
▲AI 기술은 너무 빠르게 변한다. 지금 세계 최고 수준의 AI 전문가들도 몇 년 뒤 어떤 모델이 주류가 될지 정확히 말하기 어렵다. 하지만 그 밑에 항상 존재하는 것은 데이터라고 생각한다. 특히 산업현장의 데이터는 쉽게 만들어지는 것이 아니다. 수십년 동안 현장에서 축적된 사람의 경험이 들어 있기 때문이다.
저희는 산업현장에서 만들어지는 데이터를 누구보다 잘 구조화하고, 그 안에서 판단에 필요한 지식을 찾아내고, 이를 AI와 로봇의 행동으로 연결하는 기업이 되고 싶다. 한국이 제조업 강국으로 성장하면서 축적한 명장과 고숙련자의 경험은 아직 AI가 제대로 학습하지 못한 영역이다. 이 데이터를 제대로 자산화한다면 산업현장의 암묵지가 피지컬AI를 완성하는 마지막 퍼즐이 될 수 있다고 생각한다.
○김민철 스위트케이 대표는
2013년 회사를 설립했다. 한국남동발전 AI자문위원(AI혁신위원회)을 맡고 있으며, 2024~2025년에는 연합학습기반 신약개발 가속화 사업 자문위원으로 활동했다. 2023~2024년 한국지능정보사회진흥원(NIA) 초거대AI·법률분과위원을 지냈다. 2022년 인공지능 과학기술정보통신부 장관상을 수상했으며, 2024년에는 한국인공지능협회가 주관하는 대한민국 인공지능대상을 받았다.
박두호 기자 walnut_park@etnews.com
