Der Benchmark-König und seine Test-Tricksereien

4 Minuten
OnePlus 3T
Bildquelle: Stefan Winopal / inside-handy.de
Was Volkswagen und Fiat Chrysler können, können Handy-Hersteller schon lange: Schummeleien bei Benchmark-Tests. Nachdem sich 2013 schon Samsung und Konsorten eines Besseren belehren ließen, sieht sich nun OnePlus mit Betrugsvorwürfen konfrontiert. Ausgerechnet von diesem Hersteller kommt auch der aktuelle Benchmark-König im Datenbestand von inside-handy.de – das OnePlus 3T.

Schon vor ein paar Jahren gab es in der Tech-Welt einen Aufschrei, als bekannt wurde, dass beinahe alle großen Hersteller von Smartphones bei Benchmark-Tests schummeln. Ähnlich wie beim Emissions-Skandal, in den die Autoindustrie verwickelt ist, funktionieren auch die Benchmark-Cheats der Smartphone-Macher. Erkennt das Smartphone die Test-Situation – meistens reicht schon der Name der App aus – wird die CPU künstlich zu Höchstleistungen getrieben. Die Palette der verdeckten „Optimierungen“ reicht vom anheben des Grundtakts über das künstliche Zuschalten weiterer, eigentlich nicht benötigter CPU-Kerne oder das regelrechte Übertakten des Prozessors. Dabei werden die realen Gefahren für Smartphone und Nutzer nicht selten in Kauf genommen, um am Ende nur einige lächerliche Prozentpunkte an Boden gut zu machen.

Nachdem der Benchmark-Betrug öffentlich zum Thema und kontrovers diskutiert wurde, gelobten die Hersteller – unter anderem Samsung, Sony, HTC und LG – Besserung und stellten den Schwindel ein. Die Handy-Hersteller erkannten damals, dass ihre Ressourcen bei der Entwicklung tatsächlicher Verbesserungen besser aufgehoben sind, schließlich konterkarieren verfälschte Leistungstests des gesamten Sinn und Zweck des Benchmarkings.

So beeinflusst OnePlus den Benchmark-Test

Nun erleben Test-Tricksereien ein unverhofftes Comeback, und mittendrin wähnt sich der chinesische Hersteller OnePlus. Mit dem OnePlus 3T hat das Startup aus Shenzhen den aktuellen inside-handy.de-Benchmark-König entsandt. Wie das Portal XDA Developers nun jedoch herausfand, weist die weiße Weste von OnePlus einige Flecken auf: Auch das Betriebssystem OxygenOS, die hauseigene Android-Variante von OnePlus, hält nach Benchmark-Tests Ausschau und steuert die CPU entsprechend. Die „kleinen Kerne“ des Snapdragon 821 blieben beim Öffnen der App Geekbench permanent bei 980 MHz und die „großen Kerne“ des Chips liefen konstant mit 1,29 GHz. Normalerweise würden alle Kerne des Snapdragon 821 im Ruhezustand, also wenn das Gerät nicht aktiv in Benutzung ist, auf 310 MHz herunterschalten.

Die zunächst steile Hypothese der XDA-Developers-Redaktion konnte mithilfe von Primate Labs bestätigt werden. Der Hersteller der Benchmark-App Geekbench programmierte eine spezielle Inkognito-Version seiner Test-Suite. Diese tarnt sich nach außen hin als Minigolf-Spiel und ist für das Smartphone nicht als Benchmark-Test erkennbar, führt jedoch genau die gleichen Tests durch wie die Google-Play-Store-Version von Geekbench 4. Das Ergebnis: Lief die „Minigolf-Version“ von Geekbench 4, nahmen die CPU-Kerne nachdem der App-Start abgeschlossen war, ihre normale Ruhehaltung von 310 MHz ein, anstatt wie zuvor in Alarmbereitschaft zu verbleiben. Die Leistungsunterschiede bei beiden Tests waren währenddessen nur marginal und wichen im Median nur wenige Punkte voneinander ab.

OnePlus gelobt eingeschränkte Besserung

Mit den Ergebnissen konfrontiert reagierte OnePlus zumindest prompt – und gelobt Besserung. Das Unternehmen teilte mit:

„Um Nutzern ein besseres Nutzererlebnis bei ressourcenintensiven Apps und Spielen zu geben, besonders grafisch anspruchsvollen, haben wir in den Community- und Nougat-Builds bestimmte Mechanismen implementiert, die den Prozessor dazu veranlassen, aggressiver zu laufen. In künftigen Versionen von OxygenOS für das OnePlus 3 und OnePlus 3T werden wir auf diese Mechanismen für Benchmark-Apps verzichten.“

Für Spiele möchte OnePlus also auch künftig nicht auf die zweifelhaften Optimierungen verzichten. Interessant ist außerdem der Aspekt, dass der Hersteller den trügerischen Programmcode offenbar erst mit Software-Updates eingespielt hat, denn die Marshmallow-Version, mit der die Geräte ausgeliefert wurden, zeigten im Test von XDA Developers keine Anzeichen von CPU-Manipulation

Auch Meizu manipuliert – mit Ansage

Auch der Hersteller Meizu manipuliert bei Benchmark-Tests, wenn auch mit Vorankündigung. Denn Geräte wie das Pro 6 Plus verfügen über einen so genannten „Performance Mode“ der jedoch nur beim Start einer Benchmark-App aktiviert werden kann. Für normale Apps bietet Meizus Betriebssystem die Auswahl eines Leistungsmodus nicht an.

Quellen:

Bildquellen:

  • OnePlus 3T: Stefan Winopal / inside-handy.de
Die Front des Huawei Mate 20 X mit aktiviertem Bildschirm

Huawei Mate 20 X 5G zeigt sich im Hands-On

Im Schatten des Huawei Mate X wurde eine 5G-Version des Huawei Mate 20 X angekündigt. Nun wurde das Gaming-Smartphone mit neuem Mobilfunkstandard erstmals in freier Wildbahn gesichtet. Die Unterschiede zum schon erhältlichen Modell sind dabei minimal, aber durchaus interessant.
Avatar
Stefan liebt Technik. Vor allem liebt Stefan Technik, die funktioniert. So profan, so einfach, so richtig. Technik, die funktioniert, sorgt dafür, dass auch Stefan funktioniert. Wenn Stefan eine Kaffee-Spezialität „Größe 20“ seiner Lieblings-Kaffehaus-Kette spazieren trägt und alles „funktioniert“, zeigt sich die rheinische Frohnatur von seiner schönsten Seite. Apropos schön: Das Design, in dem inside handy seit 2018 erscheint, ist nicht nur zu einem kleinen Teil Stefans Ideenschmiede entsprungen.

Handy-Highlights

OnePlus 3T

Deine Technik. Deine Meinung.

Und was sagst du?

Bitte gib Dein Kommentar ein!
Bitte gibt deinen Namen hier ein

geschützt durch reCAPTCHA Datenschutzerklärung - Nutzungsbedingungen