Senior Manager, Market Intelligence

客观而言,哪些会议和通话解决方案可提供最优质的体验?

客观而言,哪些会议和通话解决方案可提供最优质的体验?

近十年来,Zoom 竭尽所能在直观的用户体验中提供卓越的音频和视频效果。 客户表示,他们之所以选择 Zoom,是因为看中了我们的高质量会议和通话,但又该如何将其量化?

为了认真分析并解答这一问题,我们聘请了一家独立的第三方公司 Wainhouse Research,由该公司评估 Zoom 体验与其他云会议和电话提供商的差异。 Wainhouse 基于当前衡量音频与视频质量的行业标准,设计出一种用于评估解决方案的方法。 尽管 Zoom 是这项研究的委托方,但我们并未参与设计 Wainhouse 方法或评分系统。

Wainhouse Research 的这项研究从一个简单问题开始 – 如何客观评估会议和通话音频、视频和性能的质量?

评估重点

Wainhouse Research 评估了六家供应商及 10 个解决方案的会议和电话质量。 进行了超过 2,000 次测试。

评估重点

来源:Wainhouse Research 2021 年 1 月的企业会议与通话质量评估报告

企业会议 – 视频质量

这组关键测试注重 VMAF 分数:一种通过比较已发送(参考)和已接收(已处理)视频文件来评估视频编码系统性能和成效的标准。 VMAF 使用经过 AI 训练的模型预测用户对每个测试视频的评分,分数范围为 0(极差)到 100(优秀)。

企业会议 - 视频质量

来源:Wainhouse Research 2021 年 1 月的企业会议与通话质量评估报告

上图所示为平均 VMAF 分数(Y 轴):3 个参考视频的平均值 – 亮、暗、运动 – 以及超过基准(普通)、5%、20%、40% 和 70% 丢包步骤(X 轴)。

Wainhouse 评估中的 VMAF 原始分数平均值:

VMAF 原始分数平均值

来源:Wainhouse Research 2021 年 1 月的企业会议与通话质量评估报告

上表对应 VMAF 平均分数图表:3 个参考视频的平均值 – 亮、暗、运动 – 以及超过基准(普通)、5%、20%、40% 和 70% 丢包步骤。

亮点:

  • 基于每家提供商提供的标准服务,Zoom 最初测量结果为最高视频质量。
  • 在 20% 丢包时,Zoom 仍处于 EXCELLENT(优秀)范围。
  • 在 40% 丢包时,Zoom 仍处于 EXCELLENT(优秀)范围,但所有其他提供商都降至 GOOD(良好)或更低范围。*
    *编者按:为确保准确,此统计数据于 1 月 日 13 更新。

企业通话 – 噪音抑制

Wainhouse 还进行了相关测试,评估企业通话解决方案的噪音抑制性能。 随着越来越多的人在企业办公室环境之外工作,噪音抑制的重要性与日俱增。 许多提供商已改进噪音抑制功能,因此这项研究将进行横向比较。

噪音抑制

来源:Wainhouse Research 2021 年 1 月的企业会议与通话质量评估报告

此测试从一份带有严重布朗噪音的参考文件开始,听起来像是一台正在全速运转的嘈杂的空调。 参考噪音经由启用抑制功能(如果可用)的每个解决方案发送,在另一端录制,并根据原始参考文件测量所录制的噪音量。 橙色波形表示每次测试中出现的布朗噪音 – 上方是未经过滤的噪音文件,下方是每个解决方案的录制结果与原始噪音文件(灰色波形)的比较。

真实示例会注重背景噪音抑制如何使语音更易辨别,但这项测试旨在迫使每家通话提供商的噪音抑制功能达到极限,以了解其有效性和开始抑制噪音所需的时间。

下图所示为每家提供商的通话服务对同一个参考文件的布朗噪音的抑制情况。

噪音抑制

来源:Wainhouse Research 2021 年 1 月的企业会议与通话质量评估报告

  • Webex Calling – 音频播放约 11 秒后开始识别背景噪音,仅能轻微减轻噪音。
  • 8×8 – 不到一秒即可识别背景噪音并轻微降噪,但在约 12 秒后增强抑制效果。
  • RingCentral – 同样不到一秒即可识别噪音,但抑制效果增强时间较早,大约为 9 秒。
  • Microsoft Teams – 相比上述提供商,可立即识别噪音并降低背景噪音,但在这段时间内的降噪效果浮动较大。 请注意,此测试使用 Microsoft 最新的噪音抑制技术更新。
  • Webex Teams – 同样可立即识别噪音,但是能够更好地维持一致的噪音抑制效果。
  • Zoom – 同样可立即识别噪音,但在这个样本组合中,可最大限度降低背景噪音,噪音抑制效果持续时间也最长。 随着时间推移,甚至可以进一步降噪。

为帮助解答问题“客观而言,哪个解决方案提供商可提供最优质的会议和通话体验”,Wainhouse Research 进行了数千次测试,这两项评估成果仅代表其中一小部分测试的结果。

要了解更多关于 Wainhouse Research 如何设计测试方法、控制变量、加权评分和计算答案的信息,请参加 1 月 28 日的精彩 Zoom 网络研讨会。 该网络研讨会还将概要介绍其他评估结果,例如企业会议音频质量、企业会议系统性能、主观测试与客观测试的比较以及企业 VoIP 音频质量。

立即报名参加 1 月 28 日的网络研讨会“服务质量至关重要:Wainhouse Research 探讨近期关于会议和电话的研究成果”!

记得分享本博文