Benchmark-Betrug bei OnePlus Der Benchmark-König und seine Test-Tricksereien

vom 01.02.2017, 16:23
OnePlus 3T
Bildquelle: Stefan Winopal / inside-handy.de

Was Volkswagen und Fiat Chrysler können, können Handy-Hersteller schon lange: Schummeleien bei Benchmark-Tests. Nachdem sich 2013 schon Samsung und Konsorten eines Besseren belehren ließen, sieht sich nun OnePlus mit Betrugsvorwürfen konfrontiert. Ausgerechnet von diesem Hersteller kommt auch der aktuelle Benchmark-König im Datenbestand von inside-handy.de – das OnePlus 3T.

Schon vor ein paar Jahren gab es in der Tech-Welt einen Aufschrei, als bekannt wurde, dass beinahe alle großen Hersteller von Smartphones bei Benchmark-Tests schummeln. Ähnlich wie beim Emissions-Skandal, in den die Autoindustrie verwickelt ist, funktionieren auch die Benchmark-Cheats der Smartphone-Macher. Erkennt das Smartphone die Test-Situation – meistens reicht schon der Name der App aus – wird die CPU künstlich zu Höchstleistungen getrieben. Die Palette der verdeckten "Optimierungen" reicht vom anheben des Grundtakts über das künstliche Zuschalten weiterer, eigentlich nicht benötigter CPU-Kerne oder das regelrechte Übertakten des Prozessors. Dabei werden die realen Gefahren für Smartphone und Nutzer nicht selten in Kauf genommen, um am Ende nur einige lächerliche Prozentpunkte an Boden gut zu machen.

Nachdem der Benchmark-Betrug öffentlich zum Thema und kontrovers diskutiert wurde, gelobten die Hersteller – unter anderem Samsung, Sony, HTC und LG – Besserung und stellten den Schwindel ein. Die Handy-Hersteller erkannten damals, dass ihre Ressourcen bei der Entwicklung tatsächlicher Verbesserungen besser aufgehoben sind, schließlich konterkarieren verfälschte Leistungstests des gesamten Sinn und Zweck des Benchmarkings.

So beeinflusst OnePlus den Benchmark-Test

Nun erleben Test-Tricksereien ein unverhofftes Comeback, und mittendrin wähnt sich der chinesische Hersteller OnePlus. Mit dem OnePlus 3T hat das Startup aus Shenzhen den aktuellen inside-handy.de-Benchmark-König entsandt. Wie das Portal XDA Developers nun jedoch herausfand, weist die weiße Weste von OnePlus einige Flecken auf: Auch das Betriebssystem OxygenOS, die hauseigene Android-Variante von OnePlus, hält nach Benchmark-Tests Ausschau und steuert die CPU entsprechend. Die "kleinen Kerne" des Snapdragon 821 blieben beim Öffnen der App Geekbench permanent bei 980 MHz und die "großen Kerne" des Chips liefen konstant mit 1,29 GHz. Normalerweise würden alle Kerne des Snapdragon 821 im Ruhezustand, also wenn das Gerät nicht aktiv in Benutzung ist, auf 310 MHz herunterschalten.

Die zunächst steile Hypothese der XDA-Developers-Redaktion konnte mithilfe von Primate Labs bestätigt werden. Der Hersteller der Benchmark-App Geekbench programmierte eine spezielle Inkognito-Version seiner Test-Suite. Diese tarnt sich nach außen hin als Minigolf-Spiel und ist für das Smartphone nicht als Benchmark-Test erkennbar, führt jedoch genau die gleichen Tests durch wie die Google-Play-Store-Version von Geekbench 4. Das Ergebnis: Lief die "Minigolf-Version" von Geekbench 4, nahmen die CPU-Kerne nachdem der App-Start abgeschlossen war, ihre normale Ruhehaltung von 310 MHz ein, anstatt wie zuvor in Alarmbereitschaft zu verbleiben. Die Leistungsunterschiede bei beiden Tests waren währenddessen nur marginal und wichen im Median nur wenige Punkte voneinander ab.

OnePlus gelobt eingeschränkte Besserung

Mit den Ergebnissen konfrontiert reagierte OnePlus zumindest prompt – und gelobt Besserung. Das Unternehmen teilte mit:

"Um Nutzern ein besseres Nutzererlebnis bei ressourcenintensiven Apps und Spielen zu geben, besonders grafisch anspruchsvollen, haben wir in den Community- und Nougat-Builds bestimmte Mechanismen implementiert, die den Prozessor dazu veranlassen, aggressiver zu laufen. In künftigen Versionen von OxygenOS für das OnePlus 3 und OnePlus 3T werden wir auf diese Mechanismen für Benchmark-Apps verzichten."

Für Spiele möchte OnePlus also auch künftig nicht auf die zweifelhaften Optimierungen verzichten. Interessant ist außerdem der Aspekt, dass der Hersteller den trügerischen Programmcode offenbar erst mit Software-Updates eingespielt hat, denn die Marshmallow-Version, mit der die Geräte ausgeliefert wurden, zeigten im Test von XDA Developers keine Anzeichen von CPU-Manipulation

Auch Meizu manipuliert – mit Ansage

Auch der Hersteller Meizu manipuliert bei Benchmark-Tests, wenn auch mit Vorankündigung. Denn Geräte wie das Pro 6 Plus verfügen über einen so genannten "Performance Mode" der jedoch nur beim Start einer Benchmark-App aktiviert werden kann. Für normale Apps bietet Meizus Betriebssystem die Auswahl eines Leistungsmodus nicht an.

OnePlus 3T im Test ›


Quelle: XDA Developers | Bildquelle kleines Bild: OnePlus | Autor: Stefan Winopal
News bewerten:
 
5 / 10 - 2Stimmen

Themen dieser News: OnePlus, Android, Oberklasse-Smartphones

Kommentar schreiben


 
 
VERWANDTE NEWS

alle News ansehen