DIY: Blindtest MP3 V0/320 vs FLAC (inklusive hörbarer Ergebnisse)

Autor

Beitrag

SilverLPs
Schaut ab und zu mal vorbei

#1 erstellt: 22. Jul 2019, 17:49

Hallo Freunde der Codecs, des Voodoos und der Audiomagie,

Heute zeige ich euch, weswegen ihr eure Musik lieber nicht in MP3 archivieren solltet (unabhängig von der Kompressionsstufe)
Denn tatsächlich habe ich durch reinen Zufall herausgefunden, dass der Psychoakustik-Algorithmus von LAME nicht immer ganz so zuverlässig transparent ist, wie gerne behauptet wird.
Dazu liefere ich gleich entsprechende Beweise, plus den kurzen und langweiligen Ausschnitt eines eigens kreierten Psytrance-Demos, mit welchem ihr eure eigene MP3 erstellen und euch von der Unzulänglichkeit des LAME-Encoders selbst überzeugen könnt (genug Langeweile vorausgesetzt).
Ihr braucht kein hochwertiges Audio-Equipment dafür, ich benutze einen 70€ Sennheiser HD439 sowie meine Onboard-Soundkarte, weiterhin konnte ich den Unterschied selbst über meinen Piezo-Speaker im Handy heraushören.

Ich poste diesen Thread nicht ins Voodoo-Forum, da er Beweise und definitiv hörbare Ergebnisse beinhaltet und somit keine umstrittene Fiktion oder blanke These ist.

Ursprünglich wollte ich nur einem Freund eine frühe Version meines Tracks senden, WhatsApp hat zu diesem Zeitpunkt allerdings noch nicht die Möglichkeit angeboten, WAVs zu verschicken. Also musste ich die Datei in MP3 umwandeln (V0) und dann habe ich beim erneuten Hören auf meinem Handy festgestellt, dass irgendwas mit dem Kick nicht gestimmt hat. Zurück am Rechner habe ich die MP3 noch einmal über den Kopfhörer probegehört, und tatsächlich: Der Kick ist ziemlich vermatscht und klingt sehr nach den Artefakten, die man von extrem niedrig komprimierten MP3s kennt. Zuerst dachte ich, mein Track ist nicht richtig exportiert worden und habe noch mal einen Export in .wav gemacht, dieser war natürlich völlig in Ordnung, diesen habe ich dann noch mal in MP3 (wieder V0) umgewandelt, und siehe da, der Kickmatsch mit den Artefakten trat wieder auf.

Im Anschluss habe ich mich genauer mit diesem Phänomen beschäftigt, da MP3s ja schon lange vor V0 als transparent gelten, wieso war/ist hier also bei so einfachem Material ein so deutlicher Unterschied hörbar?
Die Tests habe ich wiederholt mit einer MP3 320 CBR sowie einer OGG q8 256 kbps und spaßeshalber einer FLAC.
Bei der MP3 320 ist das Phänomen kaum vorhanden und die Artefakte nur ganz am Anfang und ganz kurz hörbar, könnte sogar Einbildung sein.
Bei der OGG ist es definitiv nicht vorhanden und bei der FLAC selbstverständlich auch nicht (ist ja verlustfrei).
Getestet habe ich die Dateien mit mehreren Audioplayern, darunter AIMP, foobar2000 und VLC.
Erstellt wurden die MP3s mit LAME v3.100, der aktuellsten Version. Die Samplerate/Bittiefe war von der DAW bis zur MP3 durchgehend 16/44,1, es halt also nirgendwo ein Resampling stattgefunden.

Außerdem habe ich natürlich einen Blindtest mit dem ABX Plugin in foobar gemacht. Insgesamt 100 Versuche und ich lag bei allen 100 Versuchen richtig und konnte die MP3 V0 ohne Probleme von der WAV unterscheiden.
Hier die Testergebnisse:

https://pastebin.com/wCaHdket

Damit ihr euch selbst ein Bild machen könnt, verlinke ich euch noch eine 7ZIP-Datei, sie beinhaltet den betroffenen Ausschnitt meines Stückes als WAV, FLAC, MP3 V0, MP3 320 CBR und OGG q8 256

https://mega.nz/#!Je...nK31RCLuueGPw2vyGryg

Als Fazit ziehe ich daraus für mich, dass psychoakustische Methoden niemals dazu in der Lage sein werden, hundertprozentig korrekt zu arbeiten.
Es wird immer reproduzierbare Fehler geben, dieses Problem gibt es bei mathematisch arbeitenden Codecs nicht, weswegen es wohl empfehlenswerter ist, das eigene Musikarchiv mit FLAC (oder anderen verlustfreien Codecs) aufzubauen. Da geht man einfach auf Nummer sicher und mit reinem Placebo hat das nicht zwangsläufig etwas zu tun (auch wenn es natürlich kann).

Gerne könnt ihr diesen Thread in Diskussionen verlinken, in welchen Diskussionsteilnehmer behaupten, MP3s seinen ab einer bestimmten Bitrate grundsätzlich transparent und der Unterschied objektiv nicht hörbar. Hier habt ihr den Gegenbeweis.

Ich bin gespannt auf weitere Tests und Erfahrungen bezüglich dieses Phänomens.

SilverLPs

Basstian85
Inventar

#2 erstellt: 23. Jul 2019, 15:47

Als ich vor Jahren mal selbst MP3 ABX Blindtests in Foobar mit meiner Musik und ein paar Hi-res Samples aus dem Netz durchführte, konnte ich nie Unterschiede hören. So ab 160-192kbps war der Ofen aus... Danach hatte ich nicht mehr verglichen, höre bis auf wenige Ausnahmen eh nur FLAC, aber am DesktopPC (ist nur eine 256er SSD drin) habe ich alles nochmal als MP3 320CBR konvertiert. Auch hier fiel mir nie was auf (Sind aber auch unterschiedliche Setups und ich habe nie drauf geachtet)

Mit deinem Sample höre ich zum Ersten mal den Unterschied zwischen "guter" MP3 und FLAC. Da brauche ich glaube ich keinen Blindtest für (Hol ich evtl noch nach. - habe das Plugin nicht mehr). Aber auch nur mit der V0, die 320er kann ich wohl nicht unterscheiden. Ich denke dein Sample ist eine Art "Problemsample" (Mit sowas wurde/wird meine ich der MP3-Codec weiterentwickelt, google mal danach). Auch wenn es diese problematischen Stellen gibt, so kommen sie in der Musik wohl nur extrem selten vor. Ich denke daher wird MP3 weitestgehend als "transparent" bezeichnet.

Was ich gehört habe:

Geschützter Hinweis (zum Lesen markieren):

Die Bassdrum, insbesondere der zweite und dritte Schlag, da ist noch wie ein Geräusch mit drin, klingt wie über Papier gestriffen oder so. Ich habe es auch selbst nochmal von FLAC in V0 konvertiert, das gleiche Ergebnis. Ich denke der Anfang mit dem abfallenden "Zischen" macht Probleme. Wenn das Zischen etwas tiefer wird, wird die Bassdrum wieder klarer...

Zum archivieren ist lossy eh nichts. Kein anschliessendes Umwandeln/Bearbeiten mehr möglich ohne Verluste. Ich habe zB sogar eine CD, bei der ein Song an einer Stelle 1 Sekunde Stille bekommt wenn ich ihn in MP3 konvertiere, egal was ich einstelle. FLAC/WAV ist kein Problem.

Ich hatte mal ein paar MP3s von Amazon gekauft, die haben ja unter 320kbps. Auch das hatte ich schonmal mit der Original CD verglichen - kein Unterschied. Dein Sample ist warscheinlich zu problematisch

[Beitrag von Basstian85 am 23. Jul 2019, 15:54 bearbeitet]

moon1883
Stammgast

#3 erstellt: 24. Jul 2019, 12:19

Ja, das ist ein interessantes "Problemsample". Auch keinesfalls praxisfremd, denn solcherlei Rauschen kommt seit den frühen 70er mit dem breiten Aufkommen der Synthesizer in der Musik massenhaft vor. Sende Dein Sample doch an die Lame-Entwickler, die freuen sich bestimmt, wenn sie was zum "tüfteln" bekommen.

Habe noch ein wenig herumgespielt. Einfach katastrophal, was LAME daraus macht. Man probiere mal CBR 224 und 192. Umso erstaunlicher, wie selten derartige Effekte in der Praxis auftreten.

Interessant, wie viel besser Ogg abschneidet und wie weit man den "herunterdrehen" muß, bis da hörbare Artefakte auftauchen.

Zum Archivieren niemals lossy Formate wählen... wie schon gesagt.