Senior Manager, Market Intelligence

객관적인 기준에서 최고 품질의 경험을 제공하는 미팅 및 통화 솔루션은 무엇일까요?

객관적인 기준에서 최고 품질의 경험을 제공하는 미팅 및 통화 솔루션은 무엇일까요?

Zoom은 지난 10년간 직관적인 사용자 환경에서 뛰어난 오디오 및 비디오를 제공하기 위해 끊임없이 노력해왔습니다. 고객은 Zoom을 선택한 이유가 고품질 미팅과 통화 때문이라고 말합니다. 하지만 품질을 어떻게 정량화할 수 있을까요?

Zoom은 이러한 질문에 대해 분석적 대답을 내놓기 위해서, Zoom 경험을 기타 클라우드 미팅 및 전화 공급자와 비교하는 평가를 독립적 제3자인 Wainhouse Research에 의뢰했습니다. Wainhouse는 오디오 및 비디오 품질 측정을 위해 현재 산업 표준에 기반하여 솔루션을 평가하는 방법론을 설계했습니다. Zoom이 연구를 의뢰했지만 Wainhouse 방법론이나 채점 시스템의 구성에 그 어떤 역할도 담당하지 않았습니다.

이 연구는 Wainhouse Research의 간단한 질문으로 시작되었습니다. 미팅과 통화의 오디오, 비디오, 성능의 품질을 객관적으로 평가할 수 있는 방법은 무엇일까요?

평가의 초점

Wainhouse Research는 6개 벤더와 10개 솔루션에 걸쳐서 미팅과 전화 품질을 평가했습니다. 2,000건이 넘는 테스트가 진행되었습니다.

평가의 초점

출처: 엔터프라이즈 미팅 & 통화의 품질 평가 보고서, Wainhouse Research, 2021년 1월

엔터프라이즈 미팅 – 비디오 품질

VMAF 점수에 초점을 맞춘 핵심 테스트 세트: 전송(참조) 및 수신(처리)된 비디오 파일 비교를 통한 비디오 인코딩 시스템의 성능 및 효과성 평가를 위해 구축된 표준. VMAF는 AI 학습 모델을 사용하여 0(나쁨)~100(훌륭함)의 척도로 사용자가 각 테스트 비디오를 어떻게 평가할지 예측했습니다.

엔터프라이즈 미팅 - 비디오 품질

출처: 엔터프라이즈 미팅 & 통화의 품질 평가 보고서, Wainhouse Research, 2021년 1월

이 차트의 Y축은 3개 참조 비디오(밝음, 어두움, 모션)의 VMAF 점수 평균을 나타내며, X축은 베이스라인(정상), 5%, 20%, 40%, 70%의 패킷 손실 단계를 나타냅니다.

Wainhouse 평가의 VMAF 원점수 평균:

VMAF 원점수 평균

출처: 엔터프라이즈 미팅 & 통화의 품질 평가 보고서, Wainhouse Research, 2021년 1월

이 표는 평균 VMAF 점수 차트와 일치합니다. 3개 참조 비디오(밝음, 어두움, 모션)의 평균과 베이스라인(정상), 5%, 20%, 40%, 70%의 패킷 손실 단계가 표시되어 있습니다.

하이라이트:

  • Zoom은 표준 서비스 기준에서 다른 공급자 대비 비디오 품질이 가장 높은 것으로 측정되었습니다.
  • 패킷 손실 20% 수준에서도 여전히 훌륭함 범위에 있습니다.
  • Zoom은 패킷 손실 40% 수준에서도 여전히 훌륭함 범위에 있지만, 그에 반해 다른 모든 공급자는 좋음 또는 그 이하로 떨어졌습니다.*
    *편집자 주: 정확성을 위해 1월 13일에 이 통계를 수정했습니다.

엔터프라이즈 통화 – 소음 억제

Wainhouse는 엔터프라이즈 통화 솔루션의 소음 억제 성능을 평가하기 위한 테스트도 진행했습니다. 회사 오피스 환경을 벗어나 근무하는 사람들이 늘어남에 따라서 소음 억제 기능의 중요성이 보다 커지고 있습니다. 많은 공급자가 소음 억제 기능을 개선하였으므로 이 연구에서는 여러 제품을 나란히 비교했습니다.

소음 억제

출처: 엔터프라이즈 미팅 & 통화의 품질 평가 보고서, Wainhouse Research, 2021년 1월

이 테스트는 심한 갈색 소음을 포함하고 있는 참조 파일로 시작했으며 이 소음은 최고 속도로 작동하는 시끄러운 에어컨 소음처럼 들립니다. 각 솔루션에서 소음 억제 기능을 활성화한 상태로 참조 소음을 발생시키고 다른 쪽에서 녹음했습니다. 그리고 원본 참조 파일 대비 녹음된 소음의 양을 측정했습니다. 주황색 파형은 각 테스트에서 확인된 갈색 소음을 나타냅니다. 위쪽에는 필터링되지 않은 소음이, 아랫쪽에는 원본 소음 파일(회색 파형) 대비 각 솔루션에서 녹음된 소음을 확인할 수 있습니다. 

실제 현실에서는 배경 소음 억제 기능이 음성을 얼마나 더 잘 듣게 해주는가에 초점을 맞추겠지만, 이 테스트는 각 통화 공급자의 소음 억제 기능을 최대치로 했을 때 소음 억제 기능이 동작하는 데 걸리는 시간을 측정하고 그 효율성을 이해하는 것을 목표로 하고 있습니다.

다음 시각 자료는 각 공급자의 통화 서비스가 원본 참조 파일의 갈색 소음을 억제한 정도를 나타냅니다.

소음 억제

출처: 엔터프라이즈 미팅 & 통화의 품질 평가 보고서, Wainhouse Research, 2021년 1월

  • Webex 통화 – 약 11초 후에 오디오에서 배경 소음을 인식하기 시작하며, 소음은 약간 축소되는 정도에 그쳤습니다.
  • 8×8 – 1초가 되기 전에 배경 소음을 인식하고 소음을 약간 억제했지만 12초 즈음에 억제 수준이 증가했습니다.
  • RingCentral – 마찬가지로 1초가 되기 전에 배경 소음을 인식했지만 좀 더 빨리 9초 즈음에 억제 수준이 증가했습니다.
  • Microsoft Teams – 앞선 공급자들과 달리 즉각 소음을 인식하고 배경 소음을 억제했지만, 전체 기간 동안 소음 억제 수준의 변동성이 매우 높습니다. 이 테스트에서는 Microsoft의 최신 소음 억제 기술 업데이트를 사용했습니다.
  • Webex Teams – 소음을 즉각 인식한다는 점은 같지만 보다 지속적으로 소음 억제 수준을 유지한다는 점에서 보다 우수합니다.
  • Zoom – 소음을 즉각 인식한다는 점은 같지만 대부분의 배경 소음을 획기적이며 최대치로 억제하고, 이 샘플 세트의 대부분의 소음 억제를 계속해서 유지합니다. 뿐만아니라 시간이 지날수록 억제 수준이 계속해서 개선됩니다.

이러한 두 가지 평가 결과는 누가 최고의 품질을 갖춘 미팅 및 통화 경험을 제공하는 솔루션 공급자인가에 대한 질문에 답하기 위해 Wainhouse Research가 진행한 수천 개의 테스트 중 일부일 뿐입니다.

Wainhouse Research가 테스트 방법을 설계하고 변수를 통제한 방법과 점수에 가중치를 두고 결과를 계산한 방법에 대해 더 자세히 알아보시려면 1월 28일 진행되는 흥미로운 Zoom 웹 세미나에 참가하세요. 이 웹 세미나에서는 엔터프라이즈 미팅 오디오 품질, 엔터프라이즈 미팅 시스템 성능, 주관적/객관적 테스트 비교, 엔터프라이즈 VoIP 오디오 품질과 같은 추가적인 평가 결과에 대한 개요도 다룰 예정입니다.

지금 바로 “서비스 품질의 중요성: 미팅과 전화에 대한 Wainhouse Research의 연구 결과 토론” 웹 세미나에 등록하세요! 1월 28일에 진행됩니다.

포스트 공유하는 것을 잊지 마십시오