MS, 팀즈·아웃룩 등 장애 촉발 원인 방치된 'SW 버그' 지목

Photo Image
마이크로소프트(MS) 홈페이지 메인화면 갈무리.

마이크로소프트(MS) 아웃룩·팀즈·코파일럿 등 주요 서비스에서 발생한 대규모 장애 원인으로 4개월간 방치된 소프트웨어(SW) 버그가 지목됐다.

데이터센터 내 장애 확산을 막기 위한 자동 트래픽 우회 시스템 등 SW 버그가 연쇄적인 서버 장애를 초래하는 시발점이 됐다는 것이다. 해당 버그는 지난 7월부터 잠복해 있던 것으로 조사됐다.

16일(현지시간) 블룸버그통신에 따르면 MS는 전날 밤 고객들에 전달한 예비 보고서를 통해 지난 11일 발생한 서비스 장애 원인에 대해 이같이 공개했다.

장애는 11일 오후 8시(미국 뉴욕시간) 직후 시작됐다. 팀즈 영상회의·채팅 서비스 트래픽이 아웃룩도 처리하는 별도 서버 시스템으로 자동 우회되는 과정에서 문제가 발생했다. 앞서 같은 주에 발생한 별개의 문제로 서버 처리 용량까지 감소하면서 기존 버그가 활성화됐다.

예상치 못한 트래픽 급증으로 서버 메모리가 고갈되면서 장애가 시작됐다. 정상 서버로 이메일과 이용자 트래픽을 우회시키는 자동화 시스템는 문제를 악화시켰다. 트래픽이 옮겨진 서버에서도 동일한 버그가 발생하며 장애가 연쇄적으로 확산된 것이다.

MS는 장애 발생 약 15시간이 지난 12일 오전 11시 30분께 사태의 심각성을 인지했다. 이후 원인을 파악하고 수정 프로그램 배포를 시작하기까지 다시 15시간이 걸렸다.

장애가 최고조에 달한 12일에는 아웃룩을 지원하는 서버의 80% 이상이 응답하지 않는 상태였다. 서버가 복구되더라도 대기 중인 트래픽이 한꺼번에 몰려 다시 마비되는 현상이 반복됐다.

MS는 최근 업데이트를 되돌려 시스템을 안정화하려 했지만 효과가 없었다. 문제가 된 버그가 수개월 전부터 존재했기 때문이다.

이번 장애로 세계 기업·정부기관 고객의 업무에도 차질이 빚어졌다. 이메일 받은편지함이 열리지 않고 팀즈 회의 초대가 누락되면서 일부 직원들은 전화와 종이·펜을 이용해 업무를 처리해야 했다.

찰스 라마나 MS 수석부사장은 소셜미디어 엑스(X)를 통해 장애에 사과하고 원인을 설명했다. MS는 네트워크 변경 사항을 실제 서비스에 적용하기 전 실험실과 소규모 네트워크에서 시험하지만 이번 버그는 발견하지 못했다. 시험 환경 트래픽 패턴과 하드웨어(HW) 구성이 실제 운영 환경과 달랐다.

특히 MS는 상대적으로 오래되고 성능이 낮은 장비를 중심으로 시험해 왔지만 이번 버그는 처리 능력이 뛰어난 최신 HW에서 더 심각한 장애를 일으키는 특성이 확인됐다.

블룸버그는 이번 사태로 클라우드 서비스의 자동화된 장애 대응 체계가 특정 조건에서 오히려 피해를 확대할 수 있다는 것이 드러났다고 지적했다.


박종진 기자 truth@etnews.com

  • 놓치면 아쉬운 정보AD

브랜드 뉴스룸