Kopfhöhrereingang am Verstärker rauscht

Am Klinkenadapter kanns nicht liegen, der ist rein passiv. Auch die Rauschverminderung wird Einbildung sein.
Gegen das Endverstärkerrauschen, um das es sich handelt (weil Regler-unabhängig), hilft nur eine Konstruktion mit Spannungsteiler (2 Widerstände je Kanal). Kann man leicht selber löten, zum Kaufen wird man es wohl eher nicht bekommen.

Vielleicht hat ein Adapter ein Dämpfungsglied eingebaut, das den Gesamtpegel (und somit das Grundrauschen) abschwächt.

"Bessere"/teurere Adapter werden da nichts dran ändern.

Wie hier schon geschrieben wurde, kommt das Rauschen vom Verstärker.

Was du versuchen könntest, wäre, den Kopfhörer direkt am PC zu betreiben - die interne Soundkarte dürfte ein
geringeres Grundrauschen haben.
Gerade an Kopfhörern, speziell InEars, da diese in dieser Hinsicht sensibler sind, fällt Rauschen sehr schnell auf.
Der X10 besitzt einen Balanced Armature Treiber, welche in dieser Hinsicht noch empfindlicher reagieren.

Der X10 hat keinen linearen Frequenzgang, in den Mitten und im Superhochton wird der Frequenzverlauf an
hochohmigen Ausgängen (der des Harman Kardon ist einer) verbogen. Dies geschieht ebenfalls durch
einen Spannungsteiler mit eingelöteten Widerständen.

Wie gesagt, du hast die Möglichkeit, ihn direkt am PC an der Onboard Soundkarte zu betreiben.
Diese wird jedoch wohl auch etwas Rauschen produzieren.
Alternativ hättest du die Möglichkeit, einen Kopfhörerverstärker mit integriertem DAC zu verwenden, rauscharme Modelle
sind jedoch nicht unter 100€ erhältlich (zumindest fällt mir keines ein).
Durch einen reinen Kopfhörerverstärker am Harman Kardon könntest du den Signal-Rauschabstand verbessern und das
Rauschen dadurch reduzieren, das Problem ist jedoch wieder, dass der Kopfhörerverstärker selbst rauscharm sein muss.
Die günstigste Möglichkeit, die mir da einfällt, ist der Objective O2 von Head'n'HiFi Walter, jedoch hat der den Nachteil,
dass sich die Lautstärke an InEars nicht sonderlich präzise regeln lässt.

Das Problem bei HK ist nicht die End-, sondern die Vorstufe. Die verwenden immer noch PGAs, die auch als Rauschgeneratoren durchgehen könnten. Unser alter Kenwood hatte das gleiche Problem, Rauschen selbst mit 600-Ohm-Hörer noch - eigentlich unbrauchbar. Deutlich gerauscht hat der auch an Lautsprechern.

Spricht irgendwas dagegen, den Hörer mal direkt an die X-Fi zu hängen?

Niederohnige InEars sind zu empfindlich für den üblichen HiFi-Verstäker-KH-Ausgang. Helfen wird nur ein Spannungsteiler oder ein separater KH-Verstärker. Der muss nicht viel kosten.

Rauscharme Modelle sind jedoch nicht günstig. Ein CMoy oder FiiO E6 könnte bereits den Signal-Rauschabstand verbessern,
der Unterschied wird jedoch nur wirklich hörbar, wenn der Verstärker wirklich enorm rauscht - sowohl der FiiO und die CMoys rauschen
nämlich auch hörbar.

Es gibt nur 3 Möglichkeiten:
1. Spannungsteiler
2. HiFi-üblicher KH
3. KH-Verstärker, wobei auch hier auf den Rauschabstnd zu achten ist, weil die InEars eine so hohe Empfindlichkeit haben