Senior Manager, Market Intelligence

Welche Meeting- und Telefonielösungen liefern, objektiv gesehen, das qualitativ beste Erlebnis?

Welche Meeting- und Telefonielösungen liefern, objektiv gesehen, das qualitativ beste Erlebnis?

In den vergangenen zehn Jahren hat Zoom unaufhörlich daran gearbeitet, außergewöhnliches Audio und Video mit einem intuitiven Benutzererlebnis zu bieten. Unsere Kunden teilen uns mit, dass es unsere hochwertigen Meetings und Anrufe sind, die sie dazu bewogen haben, sich für Zoom zu entscheiden. Doch wie lässt sich das in Zahlen ausdrücken?

Um diese Frage statistisch zu beantworten, haben wir die unabhängige Forschungsgesellschaft Wainhouse Research engagiert, um das Zoom Erlebnis mit anderen Anbietern von Cloud-Meetings und Cloud-Telefonie zu vergleichen. Wainhouse hat ein Verfahren zur Bewertung von Lösungen entwickelt, das auf aktuellen Branchenstandards zur Messung von Audio- und Videoqualität beruht. Zoom hat diese Studie zwar in Auftrag gegeben, hatte jedoch keinen Einfluss auf die Methodik oder das Bewertungssystem.

Die Untersuchung begann für Wainhouse Research mit einer einzigen Frage: Wie können die Qualität von Meetings, Audio- und Videoanrufen sowie die Anrufleistung bewertet werden?

Bewertungsschwerpunkt

Wainhouse Research bewertete die Meeting- und Anrufqualität von sechs Anbietern und zehn Lösungen. Mehr als 2 000 Tests wurden durchgeführt.

Bewertungsschwerpunkt

Quelle: Bewertung der Qualität von Unternehmensmeetings und -anrufen, Bericht von Wainhouse Research, Januar 2021

Unternehmensmeetings – Videoqualität

Ein wichtiger Teil der Tests konzentrierte sich auf den VMAF Score: Dabei handelt es sich um einen Standard, mit dem die Leistung und die Effizienz von Videokodierungssystemen anhand von gesendeten (Referenz) und empfangenen (verarbeiteten) Videodateien bewertet wird. VMAF sagt mithilfe eines mit KI trainierten Modells voraus, wie ein Benutzer ein Testvideo auf einer Skala von 0 (schlecht) bis 100 (hervorragend) bewerten würde.

Unternehmensmeetings – Videoqualität

Quelle: Bewertung der Qualität von Unternehmensmeetings und -anrufen, Bericht von Wainhouse Research, Januar 2021

Dieses Diagramm zeigt die durchschnittlichen VMAF Scores an (Y-Achse): Durchschnitt von 3 Referenzvideos – hell, dunkel, Bewegung – und entlang der Basislinie (normal) den Paketverlust in Schritten von 5 %, 20 %, 40 % und 70 % (X-Achse).

Durchschnitt der VMAF-Rohscores in der Wainhouse-Bewertung:

Durchschnitt der VMAF-Rohscores

Quelle: Bewertung der Qualität von Unternehmensmeetings und -anrufen, Bericht von Wainhouse Research, Januar 2021

Diese Tabelle stellt die durchschnittlichen VMAF Scores: Durchschnitt von 3 Referenzvideos – hell, dunkel, Bewegung – und entlang der Basislinie (normal) den Paketverlust in Schritten von 5 %, 20 %, 40 % und 70 % (X-Achse) gegenüber.

Höhepunkte:

  • Basierend auf den Standarddiensten aller Betreiber startet Zoom mit der höchsten gemessenen Videoqualität.
  • Bei 20 % Paketverlust ist Zoom weiterhin im Bereich HERVORRAGEND.
  • Bei 40 % Paketverlust ist Zoom weiterhin im Bereich HERVORRAGEND. Alle anderen fallen auf GUT oder niedriger ab.*
    *Anmerkung: Diese Angabe wurde der Genauigkeit halber am 13.1. aktualisiert.

Unternehmensanrufe – Geräuschunterdrückung

Wainhouse hat zudem Unternehmens-Anruflösungen hinsichtlich ihrer Leistung in puncto Geräuschunterdrückung getestet. Geräuschunterdrückung wird immer wichtiger, seit mehr und mehr Menschen ihre Arbeit außerhalb von Büroumgebungen tätigen. Viele Anbieter haben ihre Geräuschunterdrückungsfähigkeit verbessert. Diese Studie vergleicht sie direkt.

Geräuschunterdrückung

Quelle: Bewertung der Qualität von Unternehmensmeetings und -anrufen, Bericht von Wainhouse Research, Januar 2021

Dieser Test beginnt mit einer Referenzdatei mit starkem braunem Rauschen, das sich wie eine laute, auf Hochtouren laufende Klimaanlage anhört. Das Referenzrauschen wird durch jede Lösung gesendet. Die Geräuschunterdrückung ist dabei, sofern verfügbar, eingeschaltet. Das Rauschen wird auf der anderen Seite aufgezeichnet und dann mit der Originaldatei verglichen. Die orangefarbenen Wellenformen stehen für das braune Rauschen, das in jedem Test vorhanden ist. Sie sehen die Datei mit dem ungefilterten Rauschen oben. Die Aufnahme jeder Lösung steht im Vergleich zur Originaldatei (graue Wellenform) darunter. 

Ein praktisches Beispiel würde sich darauf konzentrieren, wie Stimmen durch eine Unterdrückung der Hintergrundgeräusche besser hörbar werden. Dieser Test hingegen legt es darauf an, die Geräuschunterdrückung jedes Anbieters an ihre Grenzen zu bringen. Dies gibt Rückschlüsse auf ihre Leistungsfähigkeit sowie die Zeit, die benötigt wird, ehe sich die Geräuschunterdrückung einschaltet.

Die folgende Abbildung zeigt, wie die Anrufdienste aller Anbieter das braune Rauschen in jeder Referenzdatei unterdrückt haben.

Geräuschunterdrückung

Quelle: Bewertung der Qualität von Unternehmensmeetings und -anrufen, Bericht von Wainhouse Research, Januar 2021

  • Webex Calling – erkennt Hintergrundgeräusche ab etwa 11 Sekunden Audio und unterdrückt das Rauschen nur geringfügig.
  • 8×8 – erkennt Hintergrundgeräusche vor der ersten Sekunde und reduziert sie leicht. Ab Sekunde 12 wird das Rauschen dann stärker unterdrückt.
  • RingCentral – erkennt das Rauschen ebenfalls vor der ersten Sekunde, aber beginnt bereits früher, ab Sekunde 9, mit der stärkeren Unterdrückung.
  • Microsoft Teams – erkennt und reduziert die Hintergrundgeräusche im Vergleich zu den anderen Anbietern sofort. Allerdings unterliegt die Unterdrückung die gesamte Zeitspanne über größeren Schwankungen. Bitte beachten Sie, dass in diesem Test die neueste Geräuschunterdrückungstechnologie von Microsoft genutzt wurde.
  • Webex Teams – erkennt das Rauschen ebenfalls sofort und schlägt sich besser darin, für eine gleichmäßige Geräuschunterdrückung zu sorgen.
  • Zoom – erkennt das Rauschen sofort, reduziert die Hintergrundgeräusche drastisch und am meisten von allen und behält dieses Niveau den ganzen Test über bei. Die Geräuschunterdrückung wird im Laufe der Zeit sogar noch stärker.

Diese beiden Bewertungsergebnisse sind nur ein Bruchteil tausender Tests, die von Wainhouse Research durchgeführt wurden, um die Frage zu beantworten, welcher Lösungsanbieter objektiv die qualitativ hochwertigsten Meeting- und Anruferlebnisse bietet.

Seien Sie am 28. Januar dabei, wenn wir in einem faszinierenden Zoom Webinar mehr darüber erzählen, wie Wainhouse Research seine Testmethodik erstellt, Variablen kontrolliert, die Bewertung gewichtet und seine Ergebnisse berechnet hat. In diesem Webinar geben wir zudem eine Übersicht über zusätzliche Bewertungsergebnisse zu Themen wie Audioqualität von Unternehmensmeetings, Systemleistung von Unternehmensmeetings, Vergleiche zwischen subjektiven und objektiven Testverfahren sowie Audioqualität von Unternehmens-VoIP.

Melden Sie sich noch heute für unser Webinar am 28. Januar an. Thema: „Servicequalität ist wichtig: Wainhouse Research stellt neue Ergebnisse über Meetings und Telefonie vor“.

Vergessen Sie nicht, diesen Post zu teilen