Senior Manager, Market Intelligence

Quelles solutions de réunion et d'appel offrent objectivement l'expérience de la meilleure qualité ?

Quelles solutions de réunion et d'appel offrent objectivement l'expérience de la meilleure qualité ?

Zoom travaille sans relâche depuis dix ans pour proposer des contenus audio et vidéo d'une qualité exceptionnelle, dans le cadre d'une expérience utilisateur intuitive. Les clients affirment qu'ils ont choisi Zoom en raison de la qualité de nos réunions et de nos appels, mais comment quantifier un tel indicateur ?

Pour répondre à cette question de manière analytique, nous avons embauché un tiers indépendant, Wainhouse Research, dans le but d'évaluer l'expérience Zoom par rapport aux autres fournisseurs de services de réunion et de téléphonie dans le cloud. Wainhouse a conçu une méthode d'évaluation des solution sur la base des normes actuelles du secteur en matière de mesure de la qualité de l'audio et de la vidéo. Bien que Zoom ait demandé cette étude, nous n'avons joué aucun rôle dans la conception de la méthode ou du système de notation de Wainhouse.

Cette analyse a démarré par une simple question posée à Wainhouse Research : comment pouvons-nous objectivement évaluer la qualité de l'audio, de la vidéo et les performances des réunions et des appels ?

Priorité de l'évaluation

Wainhouse Research a évalué la qualité des réunions et des appels téléphoniques de six fournisseurs et dix solutions. Plus de 2 000 tests ont été effectués.

Priorité de l'évaluation

Source : rapport Quality Evaluation Enterprise Meetings & Calling [Evaluation de la qualité des réunions et de la téléphonie professionnelles] de Wainhouse Research, janvier 2021

Réunions professionnelles – Qualité de la vidéo

L'une des séries de tests effectués s'est concentrée sur le score VMAF : une norme établie pour évaluer la performance et l'efficacité des systèmes d'encodage de vidéo au moyen de la comparaison des fichiers vidéo envoyés (référence) et reçus (traités). VMAF utilise un modèle basé sur l'intelligence artificielle pour prédire la notation qu'un utilisateur octroierait à chaque vidéo test sur une échelle de 0 (mauvaise) à 100 (excellente).

Réunions professionnelles - Qualité de la vidéo

Source : rapport Quality Evaluation Enterprise Meetings & Calling [Evaluation de la qualité des réunions et de la téléphonie professionnelles] de Wainhouse Research, janvier 2021

Ce graphique illustre les scores VMAF moyens reçus (axe Y) : moyenne de 3 vidéos de référence – claire, foncée et mouvement – pour une référence (normale), 5 %, 20 %, 40 % et 70 % de pertes de paquets (axe X).

Moyenne des scores VMAF bruts obtenus lors de l'évaluation de Wainhouse :

Moyenne des scores VMAF bruts

Source : rapport Quality Evaluation Enterprise Meetings & Calling [Evaluation de la qualité des réunions et de la téléphonie professionnelles] de Wainhouse Research, janvier 2021

Ce tableau correspond au graphique des scores VMAF : moyenne de 3 vidéos de référence – claire, foncée et mouvement – pour une référence (normale), 5 %, 20 %, 40 % et 70 % de pertes de paquets.

Points clés :

  • Zoom démarre avec la meilleure qualité de vidéo mesurée sur la base des services de base offerts par chaque fournisseur.
  • À 20 % de pertes de paquets, Zoom se trouve toujours dans la zone EXCELLENT.
  • À 40 % de pertes de paquets, Zoom se trouve toujours dans la zone EXCELLENT, quand les autres fournisseurs tombent dans la partie BON ou une zone inférieure.*
    *Note de l'éditeur : cette statistique a été actualisée le 13/01 à des fins de précision.

Appels professionnels – Suppression des bruits

Wainhouse a également effectué des tests pour évaluer la performance de suppression des bruits des solutions de téléphonie professionnelle. La supression des bruits s'impose comme toujours plus importante, dans la mesure où de plus en plus de personnes travaillent hors d'un environnement formel de bureau. La plupart des fournisseurs ont amélioré leurs fonctionnalités de suppression des bruits, l'étude propose donc une comparaison côte à côte.

Suppression des bruits

Source : rapport Quality Evaluation Enterprise Meetings & Calling [Evaluation de la qualité des réunions et de la téléphonie professionnelles] de Wainhouse Research, janvier 2021

Ce test démarre avec un fichier de référence de bruits de fond bruns, ce qui correspond à un climatisateur tournant à pleine vitesse. Les bruits de référence sont envoyés à chaque solution avec la fonctionnalité de suppression activée (le cas échéant), enregistrés de l'autre côté, et le volume de bruit enregistré est mesuré par rapport au fichier de référence original. Les longueurs d'onde orange représentent le bruit brun présent dans chaque test – vous pouvez voir le fichier de bruit non filtré ci-dessus et l'enregistrement de chaque solution comparé au fichier de bruit d'origine (en forme d'onde grise) ci-dessous.

Alors qu'un exemple réel se concentrerait sur la façon dont la suppression du bruit de fond peut rendre une voix plus audible, ce test vise à pousser la fonctionnalité de suppression du bruit de chaque fournisseur à l'extrême pour comprendre l'efficacité et le temps nécessaire pour commencer à supprimer le bruit.

Le visuel suivant montre comment le service de téléphonie de chaque fournisseur a supprimé le bruit brun dans le même fichier de référence.

Suppression des bruits

Source : rapport Quality Evaluation Enterprise Meetings & Calling [Evaluation de la qualité des réunions et de la téléphonie professionnelles] de Wainhouse Research, janvier 2021

  • Webex Calling – commence à reconnaître le bruit de fond environ 11 secondes après le début de l'audio et ne réduit que légèrement le bruit.
  • 8×8 – reconnaît le bruit de fond avant la première seconde et le réduit légèrement, mais augmente ensuite la suppression à approximativement 12 secondes.
  • RingCentral – reconnaît également le bruit avant la première seconde, mais augmente la suppression plus tôt, à environ 9 secondes.
  • Microsoft Teams – reconnaît le bruit immédiatement et réduit mieux le bruit de fond que les fournisseurs précédents, mais présente toujours une grande variabilité dans la quantité de réduction pendant toute la durée du test. Remarque : ce test utilise la dernière mise à jour de la technologie de suppression du bruit de Microsoft.
  • Webex Teams – reconnaît également le bruit immédiatement, mais parvient à mieux maintenir une suppression du bruit uniforme.
  • Zoom – reconnaît également le bruit immédiatement, mais réduit considérablement le bruit de fond et maintient la plus grande suppression du bruit de l'échantillon. Le service augmente même sa réduction au fur et à mesure du temps.

Les conclusions de ces deux évaluations ne représentent qu'une petite partie des milliers de tests menés par Wainhouse Research pour tenter de répondre à la question de savoir quel fournisseur de solutions offre objectivement les expériences de réunion et d'appel de la meilleure qualité.

Pour en savoir plus sur la façon dont Wainhouse Research a conçu sa méthodologie de test, ses variables contrôlées, sa notation pondérée, et calculé sa réponse, rejoignez-nous pour un webinaire Zoom fascinant le 28 janvier. Ce webinaire proposera également un aperçu des résultats des autres évaluations effectuées, notamment la qualité audio des réunions professionnelles, les performances du système de réunion professionnel, les comparaisons des tests subjectifs à objectifs et la qualité audio du système VoIP professionnel.

Inscrivez-vous dès aujourd'hui pour le webinaire du 28 janvier « L'importance de la qualité de service : Wainhouse Research présente ses récentes conclusions sur les réunions et la téléphonie  » !

N’oubliez pas de partager cet article