챗GPT·제미나이와 같은 대규모언어모델(LLM)을 운영할 때 필요한 서버 비용을 크게 낮추면서도 처리 성능은 오히려 높일 수 있는 길이 열렸다.
고려대학교는 안정섭 전기전자공학부 교수 연구팀이 LLM 서비스의 GPU(그래픽처리장치) 활용 효율을 높이고 병목 현상을 줄이는 혁신적인 스케줄링(작업 분배) 기술을 개발했다고 13일 밝혔다.
이번 연구 성과는 13~15일 미국 시애틀에서 개최되는 컴퓨터 시스템 분야 최고 권위의 국제 학술대회인 'OSDI(USENIX Symposium on Operating Systems Design and Implementation) 2026'에 채택됐다.
연구팀은 “고려대가 OSDI에 논문을 등재한 첫 사례로, 운영체제·시스템 연구에서 세계 최고 수준의 경쟁력을 인정받은 결과”라고 밝혔다.
챗GPT와 같은 LLM은 크기가 너무 커서 모델을 여러 대의 GPU에 나누어 작업을 처리하는 '병렬화'가 필수적이다. 현재 업계에서 널리 쓰이는 '텐서 병렬화'는 여러 GPU들이 쉴 새 없이 데이터를 주고받으며 동시에 작업을 처리하는 방식으로, NVLink와 같은 값비싼 고속 연결망이 필수적이다.
여러 GPU를 층(layer) 단위로 나누고, 이를 컨베이어 벨트처럼 순차적으로 처리하는 '파이프라인 병렬화'는 GPU 간 통신량이 적어 고속 연결망 없이 일반 표준 서버(PCIe 기반)로도 이론적으로 더 높은 처리량을 낼 수 있지만, '파이프라인 버블' 문제 때문에 실제 온라인 서비스에서는 잘 쓰이지 않았다.
연구팀은 작업의 길이와 양이 제각각인 실제 사용자 요청 환경에서도 높은 성능을 구현하는 두 가지 핵심 스케줄링 기술을 고안했다. 먼저, 시스템이 응답 속도 목표(SLO)를 실시간으로 감시하며 긴 입력 문장을 가장 최적의 크기로 나누어 처리하는 기술이다. 더불어, 단계별 부하를 점검해 특정 GPU에 과도하게 작업이 몰리거나 유휴 시간이 발생하지 않도록 분배하는 방식도 함께 제안했다.
연구팀은 개발한 두 기술을 LLM을 구동하는 핵심 추론 엔진 중 하나인 SGLang에 구현해 실제 서비스 환경과 유사한 조건에서 성능을 평가했다. 그 결과, 연구팀의 기술을 적용한 파이프라인 병렬화 방식이 업계 표준인 텐서 병렬화보다 더 높은 처리 성능을 달성했다.
사용자가 질문하고 AI가 답하는 형태인 '대화형 워크로드' 환경에서는 기존 파이프라인 병렬화 방식 대비 답변 속도가 35% 빨라졌으며, 사용자가 질문 후 최종 답변을 받기까지 기다려야 하는 대기 시간도 32% 단축됐다.
안정섭 교수는 “고가의 전용 고속 연결망(NVLink) 없이 일반 GPU 서버만으로도 현재 업계 표준인 텐서 병렬화 보다 더 높은 처리 성능을 달성했다”며 “이는 LLM 서비스의 운영 비용을 낮추고 자원 효율을 높일 수 있는 길을 열었다는 점에서 의미가 크다”고 밝혔다.
이번 연구는 정보통신기획평가원, 한국전자통신연구원(ETRI), SK하이닉스의 지원을 받아 수행됐다.
조호현 기자 hohyun@etnews.com
