Senior Manager, Market Intelligence

Какие решения для организации конференций и телефонии объективно предлагают наилучшее качество обслуживания?

Какие решения для организации конференций и телефонии объективно предлагают наилучшее качество обслуживания?

На протяжении последнего десятилетия компания Zoom неустанно работала над предоставлением высококачественного звука и видео в рамках интуитивно понятного пользовательского интерфейса. По словам клиентов, они отдают предпочтение сервису Zoom из-за высокого качества конференций и вызовов, но как можно оценить это количественно?

Чтобы ответить на этот вопрос с аналитической точки зрения, мы обратились к независимой организации Wainhouse Research для сравнения впечатления от работы сервиса Zoom с другими поставщиками услуг облачной и телефонной связи. Компания Wainhouse разработала методологию оценки решений на базе текущих отраслевых стандартов, позволяющих оценить качество звука и видео. Хотя это исследование и было заказано компанией Zoom, мы не принимали участия в разработке методологии или системы оценок компании Wainhouse.

Это исследование началось с одного вопроса в адрес Wainhouse Research — как мы можем объективно оценить качество звука, видео и производительность конференций и вызовов?

Цель оценки

Компания Wainhouse Research произвела оценку качества конференций и вызовов для шести поставщиков услуг и 10 решений. Было проведено более 2000 тестов.

Цель оценки

Источник: отчет Оценка качества корпоративных конференций и вызовов, Wainhouse Research, январь 2021 г.

Корпоративные конференции — качество видео

Один ключевой набор тестов, посвященных оценке VMAF: стандартизированный набор, позволяющий оценить производительность и эффективность систем видеокодирования за счет сравнения отправленного (эталонного) и полученного (обработанного) видеофайлов. VMAF использует модель, полученную в результате машинного обучения, которая позволяет предсказать оценку каждого тестового видео пользователем по шкале от 0 (плохо) до 100 (отлично).

Корпоративные конференции — качество видео

Источник: отчет Оценка качества корпоративных конференций и вызовов, Wainhouse Research, январь 2021 г.

На графике показаны средние оценки VMAF (ось Y): средние оценки для 3 эталонных видео — светлое, темное и движение — и по базовым показателям (нормальным), потеря пакетов с шагом 5 %, 20 %, 40 % и 70 % (ось X).

Среднее по исходным оценкам VMAF из исследования Wainhouse:

Среднее по исходным оценкам VMAF

Источник: отчет Оценка качества корпоративных конференций и вызовов, Wainhouse Research, январь 2021 г.

Таблица соответствует графику средних оценок VMAF: средние оценки для 3 эталонных видео — светлое, темное и движение — и по базовым показателям (нормальным), потеря пакетов с шагом 5 %, 20 %, 40 % и 70 % (ось X).

Основные моменты:

  • В начале Zoom демонстрирует наилучшее качество видео из измеренных в сравнении со стандартными услугами, предлагаемыми каждым из поставщиков.
  • При потере пакетов в 20 % Zoom по-прежнему находится в диапазоне «ОТЛИЧНО».
  • При потере пакетов в 40 % Zoom по-прежнему находится в диапазоне «ОТЛИЧНО», а остальные поставщики услуг переходят в диапазон «ХОРОШО» или ниже.*
    *Примечание редактора: показатель был обновлен 13 января для обеспечения точности.

Корпоративные вызовы — подавление шума

Компания Wainhouse также провела тестирование для оценки эффективности функции подавления шума корпоративными решениями телефонии. Функция подавления шума стала особенно важной, так как все больше людей работают за пределами корпоративной офисной среды. Многие поставщики услуг улучшили функционал подавления шума в своих решениях, поэтому в этом исследовании проводилось их сравнение.

Подавление шума

Источник: отчет Оценка качества корпоративных конференций и вызовов, Wainhouse Research, январь 2021 г.

Для тестирования был взят эталонный файл, который содержит тяжелый красный шум, похожий по звучанию на громкий кондиционер, работающий на полной скорости. Эталонный шум пропускался через каждое из решений с включенной функцией подавления шума (при ее наличии) и записывался на другой стороне, после чего записанный шум сравнивался с исходным эталонным файлом. Оранжевые кривые представляют собой красный шум, присутствующий в каждом тестировании, — файл с нефильтрованным шумом представлен выше, а записи каждого решения в сравнении с исходным файлом шума (серые кривые) — ниже.

Основная задача в реальных примерах использования функции подавления фонового шума — сделать голос более различимым, но этот тест накладывает максимальную нагрузку на функцию шумоподавления каждого из поставщиков услуг, чтобы понять ее эффективность и время, необходимое для начала подавления шума.

На следующей визуализации показано, как сервисы телефонии поставщиков услуг подавляют красный шум из одного и того же эталонного файла.

Подавление шума

Источник: отчет Оценка качества корпоративных конференций и вызовов, Wainhouse Research, январь 2021 г.

  • Webex Calling — начинает распознавать фоновый шум примерно на 11-й секунде аудиофайла, затем лишь слегка снижает уровень шума.
  • 8×8 — распознает фоновый шум до истечения первой секунды, уровень шума снижается незначительно, но затем эффективность подавления шума увеличивается примерно на 12-й секунде.
  • RingCentral — также распознает шум до истечения первой секунды, но эффективность подавления шума увеличивается раньше — примерно на 9-й секунде.
  • Microsoft Teams — мгновенно распознает фоновый шум и снижает его уровень эффективнее, чем другие поставщики услуг, однако качество подавления шума сильно варьируется с течением времени. Обратите внимание: тестирование проводилось с учетом последнего обновления функции подавления шума от компании Microsoft.
  • Webex Teams — также распознает шум мгновенно, но лучше справляется с задачей единообразного подавления шума.
  • Zoom — также мгновенно распознает шум и значительно снижает его уровень большую часть времени; предлагает самое эффективное подавление шума в данной выборке решений. Кроме того, эффективность подавления шума увеличивается с течением временеи.

Два этих вывода являются лишь малой частью из тысячи тестов, проведенных компанией Wainhouse Research и призванных ответить на вопрос, кто из поставщиков решений объективно предлагает наилучшее качество конференций и вызовов.

Для получения дополнительной информации о процессе проектирования методологии тестирования компанией Wainhouse Research, контролируемых переменных, взвешенных оценках и составлении ответа присоединитесь к нашему интереснейшему вебинару Zoom 28 января. На вебинаре также будут представлены другие результаты оценки, например, качество звука в корпоративных конференциях, производительность корпоративных систем для проведения конференций, сравнение субъективного и объективного тестирований и качество звука корпоративной IP-телефонии.

Зарегистрируйтесь сегодня на участие в вебинаре «Качество обслуживания имеет значение: Wainhouse Research обсуждает недавние результаты тестирования решений для конференций и телефонии», который пройдет 28 января!

Не забудьте поделиться этой публикацией