FZW835 - Ton über Toslink asynchron

Moin zusammen,
ich habe ein echt nerviges Problem. Und zwar ist mein OLED über ein optisches Kabel mit meinem AVR verbunden, so wie es mit der PS4 und Xbox auch gelöst ist. Da es ein Marantz SR6003 aus der Pre-4K-Zeit ist, geht es derzeit leider nicht anders, ARC wird auch nicht unterstützt.

Jedenfalls habe ich bei der Tonwiedergabe vom TV aus eine deutliche Verzögerung des Tons. Dabei ist es egal, ob ich eine Videodatei abspiele oder den TV-Tuner nutze. Die Verzögerung ist hierbei unterschiedlich stark ausgeprägt. Man nimmt es spätestens dann wahr, wenn man die TV-Lautsprecher zusätzlich anschaltet. Aber auch ohne die Lautsprecher merkt man es teils deutlich.
Das komische ist, dass nach dem Umschalten des Senders oder Neustarten des Videos der Ton sich manchmal "fängt", also wieder synchron ist.

Kennt jemand dieses Phänomen und weiß wie ich es verhindern kann? Soweit möglich, ist die SPDIF-Verzögerung ausgeschaltet. Ich habe im Marantz auch keine Funktion gefunden, die meiner Meinung nach ein Grund sein könnte