Virtualisierten Gast vom lokalen LAN trennen (Vmware/Virtualbox)

+A -A
Autor
Beitrag
promocore
Inventar
#1 erstellt: 07. Mrz 2015, 23:49
Hallo,

ich möchte gerne auf meinem Server einen Webserver betreiben, der aus dem Internet erreichbar ist.
Da ich einen Webserver je nach Umfang und Funktion doch ehr zu den sicherheitskritischen Diensten zähle, möchte ich diesen virtualisieren und komplett vom restlichen lokalen LAN trennen.
Leider kann man ja immer aus der VM auf das Lokale Netz zugreifen, wenn man dies nicht z.B. durch Firewalls blockiert. Die Lösung ist bei mir nicht praktikabel

Hierzu habe ich mir mehrere Möglichkeiten überlegt. Ich bin mir aber nicht sicher, welche davon ökonomisch und auch sinnvoll ist.

1: Eine Wlanstick nehmen, diesen in die VM durchreichen und hiermit eine Verbindung zum Gastwlan aufbauen.
2: Eine 2te Netzwerkkarte einbauen und ein neues Subnet nutzen. Soweit ich weiß, wird dies aber nicht funktionieren, da alle Clients auf einen Layer 2 Switch gehen.
3. Mit Vlan Tags arbeiten und nur einer Netzwerkkarte. Meine Servernetzwerkkarte unterstützt Advanced Network Services. Somit kann ich der Netzwerkkarte eine Tag zuweisen.

Der Netzwerkkarte von Virtualbox wollte ich dann auch einen Tag zuweisen. Hier habe ich jedoch keine Lösung gefunden.
Daraufhin habe ich den VMware Player getestet. Hier funktioniert das Vlan Taggen, bzw. die Netzwerkkarte unterstützt dies.

Hier tauchen aber Fragen auf:
Wenn die Datenpakete der VM über die Dummynetzwerkkarte gehen, sollten diese getaggt werden. Damit die Pakete zum Switch kommen, müssen die Pakete ja zwangsweise weiter über die Netzwerkkarte des Servers gehen. Werden dort die Pakete nicht erneut getaggt?


Netzwerk ist wie folgt aufgebaut:
Clients -> Smart Managed Switch -> Router ( Wlan Vlan, evt. mit DD WRT LAN Vlan) -> Modem


Gibt es sonst noch praktikable und günstige Möglichkeiten, die VM vom lokalen Netzwerk zu trennen?


[Beitrag von promocore am 07. Mrz 2015, 23:53 bearbeitet]
BugFixX
Stammgast
#2 erstellt: 13. Mrz 2015, 00:10
Hallo promocore,

ich habe leider gerade keine 802.1Q fähige NIC zur Hand aber ich gehe davon aus, dass du die virtuelle NIC, die im Host Betriebssystem erzeugt wird sobald du ein zweites VLAN konfigurierst, als "normale" NIC in der VM zuweisbar ist. Damit muss die VM nicht taggen, da dies ja schon der Host macht.
Ich kenne als Server NIC nur Intel NICs und die erzeugen (unter Windows) eine virtuelle NIC pro VLAN.
Damit kannst du auch wieder VirtualBox verwenden.
Die VM tagged normaler Weise nie. Auch nicht auf einem ESX Host. Da tagged der ESX im vSwitch auf der physikalischen NIC.
Interessant wird es dann wieder bei der Switch-Router Verbindung. Kann dein Router auch 802.1Q? Wenn nicht, musst du vom Switch mit zwei Verbindungen zum Router gehen damit die VLANs auch im Router getrennt ankommen.

Gruß,
Andreas
promocore
Inventar
#3 erstellt: 16. Mrz 2015, 02:11
Hallo Andreas, danke für deine Antwort.

Ich habe heute nochmal einige Sachen ausprobiert und meinen Remoteserver direkt mal ausgespert.
Tatsächlich erzeugt die Onboard NIC vom Server für jedes Vlan eine neue virtuelle Nic.
Auf meinem Clientrechnern den ich zum testen genommen habe konnte ich nur eine Vlan ID der Karte zuweisen. Hier wurde keine Virtuelle Nic erzeugt.
Virtualbox sollte also auf dem Server problemlos laufen. Das ist schonmal super.

Mein Router kann kein 802.1q bzw. Ich müsste dann DD-WRT aufspielen. Zum testen würde ich wohl erstmal 2 Netzwerk
Kabel nehmen.

So ganz durch gestiegen bin ich heute bei dem Test noch nicht. Ich vermute mal das die Firewall auf dem Server nach der Vlan ID Vergabe dicht gemacht hat. Da ich keinen Monitor oder Tastatur am Server habe blieb mir zum Schluss nur der schnelle Ausbau übrig für den Transport zum Clients Arbeitsplatz

Normalerweise kann ich ja jedes Vlan Tag an meinem Switch ändern oder löschen bzw. Gruppen bilden. Jedoch war zur keiner Zeit ein Zugriff auf den Server möglich.
BugFixX
Stammgast
#4 erstellt: 16. Mrz 2015, 18:16
Kannst du auf dem Switch auch einen "Trunk für Arme"einrichten? Soll heißen, VLAN ID 1 (= default oder native) ist untagged auf dem Switchport und VLAN ID 2 ist tagged auf dem Switchport. Damit sollte zumindest die ursprüngliche IP des Servers erreichbar sein. Wenn dem nicht so ist, dann müssen beide VLAN IDs tagged auf dem Switchport sein und beide VLANs auf dem Server müssen ebenfalls einen Tag bekommen. VLAN 1 hat dann die ursprüngliche IP und VLAN 2 bekommt eine IP aus dem neuen Netz (bei dir wäre es ja eine Art DMZ).

Gruß,
Andreas
promocore
Inventar
#5 erstellt: 16. Mrz 2015, 19:45
Das Problem war, ich bin garnicht dazu gekommen, eine zweite Vlan ID zu vergeben.
Sinnig wäre bestimmt gewesen, zuerst Vlan ID 1 und dann VLan ID X zu vergeben.
Einen Trunk Port kann ich am Switch einrichten.

Aber an dem Tag bin ich wie folgt vorgegangen:
Ich habe als erstes der Server Nic VLAN ID 20 eingetragen, danach war der Server nicht mehr zu erreichen.
Da dachte ich mir..... kein Problem. Ich gehe zum Clientrechner und trage für diesen im Switch auch ID 20 ein, danach sollten sich ja Server und Client wieder sehen. Das hat nicht funktioniert.
Danach habe ich für den Serverport und Clientport "Allowed Vlan" 1,20 eingetragen, ohne Erfolg. (Bild)
Danach habe ich im Switch im Feld "EgressTagging" für den Server Port " Untag all" ausgewählt (Bild). Einstellungen für den Client ID20 habe ich rückgängig gemacht.
Das hat auch nicht funktioniert.


Switch Vlan

Ich denke, ich werde wohl erstmal die Verbindung zwischen Router und Switch aufbauen und schauen, das hier alles funktioniert. Der Swiitch müsste doch auch beider Lösung mit 2 Lan Kabel die Tags für den Router entfernen, da dieser ja kein 802.1Q kann, oder?


[Beitrag von promocore am 16. Mrz 2015, 19:56 bearbeitet]
BugFixX
Stammgast
#6 erstellt: 16. Mrz 2015, 20:41
Nicht schlecht, der ZyXEL...
Ingress und Egress einzeln einstellbar - können nicht alle.

Es hätte funzen müssen, wenn du bei Ingress wie Egress "Tagged and Untagged" und Allowed VLANs 1,20 eingestellt hättest. Das wäre dann auch der Trunk mit nur einem getaggten VLAN. Denn mit dem "Port VLAN" stellt man das untagged VLAN auf dem Port ein.


[Beitrag von BugFixX am 16. Mrz 2015, 20:46 bearbeitet]
promocore
Inventar
#7 erstellt: 16. Mrz 2015, 21:36
Als Settings habe ich nur diese zur Auswahl.

Wobei "Untag Port VLAN" ja tagged und untagged zulässt.



Ingress Acceptance
Changing the type of frames that are accepted on ingress.

Tagged and Untagged
Both tagged and untagged frames are accepted.

Tagged Only
Only tagged frames are accepted on ingress. Untagged frames are discarded.

Untagged Only
Only untagged frames are accepted on ingress. Tagged frames are discarded.

Egress Tagging
Control the tagging of frames on egress.

Untag Port VLAN
Frames classified to the Port VLAN are transmitted untagged. Other frames are transmitted with the relevant tag.

Tag All
All frames, whether classified to the Port VLAN or not, are transmitted with a tag.

Untag All
All frames, whether classified to the Port VLAN or not, are transmitted without a tag.


Allowed Vlan hatte ich so wie grad gesagt hast eingestellt.
Daher vermute/tippe ich auch die Firewall/Netzwerk des Servers. Zumindestens habe ich nach dem anschließen des Server am Monitor gesehen, das Windows ein neues Netzwerk erkannt hat und erstmal wissen wollte, ob es öffntlich oder privat genutzt wird.
Ich glaube, ohne eine Auswahl hat man erstmal garkeine Verbindung.
Ich hoffe dass das auch der "Fehler" war und ich sonst soweit rudimentär Vlan verstanden habe.


[Beitrag von promocore am 16. Mrz 2015, 21:46 bearbeitet]
BugFixX
Stammgast
#8 erstellt: 16. Mrz 2015, 22:22
Ah, okay.
Dann sollte Ingress "Tagged and Untagged" und Egress "Untag Port VLAN" passen.
Jeder Hersteller hat da andere Begrifflichkeiten...
Mit der o.g. Einstellung würde dann VLAN 20 tagged sowie VLAN 1 untagged vom Switch gesendet und es würde auch VLAN 20 getagged vom Switch angenommen werden. Alle ankommenden untagged Pakets werden dann im Switch VLAN 1 zugeordnet.
Wenn du auf dem Server alle VLAN Taggen möchtest, würde Ingress "Tagged Only" und Egress "Tag All" passen.
Auf einem echten Trunk soll ja kein VLAN untagged übertragen werden. Ist ein bisschen Security - ob du das bei dir zu Hause brauchst...

Und beim Windows Server: Wenn eine neue NIC erkannt wird, nutzt diese per Default DHCP und hat im VLAN 20 keinen DHCP Server gefunden, weil dieser ja im VLAN 1 ist. War denn die ursprüngliche IP nicht mehr auf der VLAN 1 NIC? Ist schon so lange her, dass ich mit Windows Servern mehrere VLAN genutzt habe...
promocore
Inventar
#9 erstellt: 16. Mrz 2015, 22:58

BugFixX (Beitrag #8) schrieb:

Und beim Windows Server: Wenn eine neue NIC erkannt wird, nutzt diese per Default DHCP und hat im VLAN 20 keinen DHCP Server gefunden, weil dieser ja im VLAN 1 ist. War denn die ursprüngliche IP nicht mehr auf der VLAN 1 NIC? Ist schon so lange her, dass ich mit Windows Servern mehrere VLAN genutzt habe...


Der DHCP dürfte auch ein Problem gewesen sein, vorallem da er derzeit vom Router gestellt wird.
Kaum hatte ich die ID 20 eingetrage und Übernehmen am Server geklickt, brach sofort die Remoteverbindung zusammen.
Auch im Router wurde sofort die ursprüngliche IP des Servers als nicht verbunden makiert.
Ich werde wohl das nächste mal für die Inbetriebnahme einen Monitor bereitstellen, denn an dem Abend war es mir dafür zu spät.
Auch den DHCP werde ich vom Switch stellen lassen, da dieser ja 802.1Q kann. Das dürfte die Sachen erleichtern.

Ganz großes Dankeschön, du hast mich da ein großes Stück weiter gebraucht,vorallem was das Verstänndnis angeht.
Ich halte dich auf auf jedenfall auf dem laufenden


[Beitrag von promocore am 16. Mrz 2015, 23:47 bearbeitet]
BugFixX
Stammgast
#10 erstellt: 16. Mrz 2015, 23:52
Kein Problem, dafür sind Foren ja da.

Das Beste wird sein, wenn du die Änderungen direkt auf der Konsole vom Server vornimmst.
Am besten vorher die Verbindung Switch-Router mit den beiden VLAN herstellen und dann den Server anpassen.
Dann kann der DHCP weiterhin nur im VLAN 1 werkeln und der Server bekommt im VLAN 2 eine feste IP (aus einem anderen IP Netz).
Außerdem daran denken, dass der Server nur einen default Router haben kann. Dieser sollte im VLAN 2 sein, weil dort ja die Verbindungen aus dem I-Net kommen. Für das interne Netz (VLAN 1) reicht dann eine statische Route im Server.

Wenn noch Probleme auftauchen, sag Bescheid.
promocore
Inventar
#11 erstellt: 20. Mrz 2015, 00:49
Update 1:

Ich habe es zwischen Router und Switch hinbekommen. Zuerst mit 2 Netzwerkkabeln, nun mit 802.1Q.

Als Firmware habe ich für den Router DD-WRT genommen: Asus WRT oder auch die Merlin waren dafür nicht geeignet.

DD-WRT:
Zuerst tagging auf Port 4 aktiviert. 1 ist untagged, 5 wird der zukünftige Webserver.
vlans-tagging

Zu br0 eine neue Bridge br1 erstellt. Br1 bekommt eine IP aus einem anderen Subnet.
Bridge Br0-Br1

Vlan 5 bekommt eine IP aus aus dem Subnet von br1
IP br1 vlan5

Bridge Tab br0/br1. Bridge Zuweisung
bridge zuweisung und bridge tap

Ein DHCP Server für br1
br1 dhcp


Switch:
Tagging für einen Port aktiviert: Port 24 ist der Upling zum Router, Port 14 wäre der Server, bzw. später würde dies durch Vlan Tagging der Netzwerkkarte passieren.
switch vlan




Ergebnis:

Jedes Gerät mit Tag 1 bzw. untagged bekommt eine IP aus 192.168.1.x und geht auf br0.
Jedes Gerät mit Tag 5 bekommt eine IP aus 192.168.2.x und geht auf br1.
Geräte zwischen br0 und br1 könnne sich nicht sehen.
Bei manueller IP Änderung eines Teilnehmers mit Tag5 in 192.168.1.x routet der Router nicht., der Teilnehmer bleibt isoliert.


Was wurde noch nicht getestet?

Clientbasiertes Tagging über den Switch zum Router.




@Bugfixx, noch Ideen oder Änderungsvorschläge? Könnte man so sicher ein Webserver betreiben?

Das mit der einen Default Route habe ich noch nicht genau verstanden. Können die Vlan Netzwerkkarten keine unterschiedliche Gateways haben?
.


[Beitrag von promocore am 20. Mrz 2015, 01:42 bearbeitet]
BugFixX
Stammgast
#12 erstellt: 20. Mrz 2015, 23:53
Sieht soweit ganz gut aus.
Wenn ich das richtig sehe, dann weist Port 14 ingress, untagged Pakets VLAN 5 zu. Soll das so?
VLAN 5 soll doch das isolierte VLAN für den Server sein - oder? Ich würde dann "Port VLAN" von Port 14 auf 1 lassen, denn VLAN 5 wird ja schon vom Server tagged gesendet.
Die Router-Konfig ist etwas gewöhnungsbedürftig. Bridge Ports auf einem Router - strange...
Und dann kann der auch noch Spanning Tree. Was ist das für ein Router?

Zu den "Default Gateways":
Ein default Gateway wird ja immer dann angesprochen, wenn der Client keine Route zum Ziel hat. Hat der Client jetzt zwei default Gateways, ist es Glückssache wo das Paket hingeschickt wird. Kann sein, dass es in deinem Fall immer funzt, weil der VM eine NIC zugewiesen ist und sie die andere NIC nicht kennt. Für das Windows (vom Host, nicht vom Server) kann es aber schiefgehen.
Ich würde der NIC von VLAN 5 im Host kein Gateway geben, weil die VM in ihrer Konfig schon ein Gateway hat.

Gruß,
Andreas
promocore
Inventar
#13 erstellt: 21. Mrz 2015, 00:12

BugFixX (Beitrag #12) schrieb:
Sieht soweit ganz gut aus.
Wenn ich das richtig sehe, dann weist Port 14 ingress, untagged Pakets VLAN 5 zu. Soll das so?
VLAN 5 soll doch das isolierte VLAN für den Server sein - oder? Ich würde dann "Port VLAN" von Port 14 auf 1 lassen, denn VLAN 5 wird ja schon vom Server tagged gesendet.


Da hast du recht.
Port 14 habe ich nur zum testen mit einem client genommen, um zu sehen, ob die Tagging und die IP Vergabe funktioniert. Für den Server würde ich das dann genau so machen, wie du es grad beschrieben hast.



Die Router-Konfig ist etwas gewöhnungsbedürftig. Bridge Ports auf einem Router - strange...
Und dann kann der auch noch Spanning Tree. Was ist das für ein Router?

Ist ein Asus N66U Router. aber im Grunde kannst du auch ein 30 Euro TP Link nehmen.
Die Firmware für den Router ist Open Source, DD-WRT



Zu den "Default Gateways":
Ein default Gateway wird ja immer dann angesprochen, wenn der Client keine Route zum Ziel hat. Hat der Client jetzt zwei default Gateways, ist es Glückssache wo das Paket hingeschickt wird. Kann sein, dass es in deinem Fall immer funzt, weil der VM eine NIC zugewiesen ist und sie die andere NIC nicht kennt. Für das Windows (vom Host, nicht vom Server) kann es aber schiefgehen.
Ich würde der NIC von VLAN 5 im Host kein Gateway geben, weil die VM in ihrer Konfig schon ein Gateway hat.


Das sollte zu schaffen sein.
Dann kann ich mich ja als nächstes an den Server ran machen.
Ich bin echt gespannt, obs am Ende genau so funktioniert, wie ich es mir vorgestellt habe
promocore
Inventar
#14 erstellt: 23. Mrz 2015, 01:46
Update2:

Es hat alles geklappt.
Vlan 1 und 5 sind unter Windows eingerichtet. Beide NIC bekommen ihre IP. Für Vlan1 Nic habe ich dann die IP manuell vergeben und Gateway weggelassen.

Probleme gabs mit dem Zyxel Switch.
Dieser hat von der Windows NIC weder Vlan1 Tags noch untagged richtig erkannt und nicht weiter geroutet. Der Switch tagged jetzt die Vlan1 Nic von Windows nochmal selber mit Vlan1.
Nun geht alles.

Das einzige Problem welches bleibt:
Die VM kann auf Freigaben des eigenen Windows Servers zugreifen. Ich bekomme die Netzte noch nicht getrennt.
Wie trennt man diese am besten ? Eine Firewall dazwischen?


[Beitrag von promocore am 23. Mrz 2015, 02:27 bearbeitet]
BugFixX
Stammgast
#15 erstellt: 23. Mrz 2015, 19:24
Na da bist du ja schon weit gekommen.

Werden die Freigaben lokal zwischen VM und Host erreicht oder gehen die über den Router?
Wenn sie nur über den Router kommunizieren können, dann wäre eine Access List im Router die einfachste Lösung.
Vorausgesetzt der Router kann sowas wie Access Listen.

Können sich VM und Host lokal erreichen, hilft nur eine FW. Vielleicht kannst du im Host die Anwendung VirtualBox für VLAN 1 sperren.

Gruß,
Andreas


[Beitrag von BugFixX am 23. Mrz 2015, 19:25 bearbeitet]
promocore
Inventar
#16 erstellt: 23. Mrz 2015, 23:43
Das denke ich mir auch

Also die Freigaben sind lokal vom Server. Das ist auch das Problem.
Beide Vlan Netzwerkkarten gehören ja zum SMB Share. Man kann zwar für Vlan 5 die Drucker und Dateifreigabe für den NIC rausnehmen, jedoch würde dann nur ein fehlendes Protokoll die VM und den Server trennne, bzw,. den SMB Share.
Ich habe danach zwischen VM und Server noch eine weitere VM mit IPCOP , Pfsense und Endian getestet.
Lan Anschluss der Firewall zeigt zum lokalem Netz, die VM bekommt die WAN Seite. So wäre die VM schonmal komplett getrennt. Hier habe ich jedoch Probleme ein gültiges Gateway vom Webserver über die Firewall zum Router zu erstellen. Vorallem, da der Webserver ja auf der WAN Seite der Firewall ist und zu WAN Seite des Routers muss.

Solangsam glaube ich, wäre wohl ein USB Wlan Stick das Beste. Den Stick könnte ich ohne Probleme in die VM durchreichen und die würde sich ins Gast Wlan Netz verbinden. Nachteil wäre wohl die evt. geringe Bandbreite und höherer Stromverbrauch.
promocore
Inventar
#17 erstellt: 29. Mrz 2015, 00:53
Update 3:

Ich habe soweit das Vlan verworfen und bin zurück zur Stockfirmware des Routers und habe dafür einfach mal einen Wlan USB Stick zum Gast durchgereicht und den Gast im WLAN Gastnetzwerk angemeldet.
Leider unterstützen fast alle Consumer Router keine Portweiterleitung für Gastnetzwerke.
Ein echtes DMZ können auch die wenigsten, meist ist es nur ein Exposed Host. Soweit also alles nicht brauchbar.

Der Test mit DD-WRT und einem DMZ bzw. die Portweiterleitung auf einem "Gastnetz" steht noch aus. Ich bin mir eigentlich sicher, dass dies DD-WRT hinbekommt.
Zwar lief DD-WRT stabil bei mir, doch mit dem Vlan auf 2 unterschiedlichen Bridge war doch eine gewisse Latenz bei Anfragen im Netz. Ob das jetzt an der Nutzung von Untagged und Tagged Paketen oder der 2ten Bridge lag, kann ich nicht sagen.

Also bleibt jetzt resultierend aus dem Ergebnis noch der Aufbau eines echten DMZ übrig oder den Einsatz eines Hypervisor, damit der Host den Server für das Intranet und den Gast trennt .

Da ich demnächst beim Anbieterwechsel sowieso ein neuen Router bekomme, ist die erste Lösung ganz praktisch.
Aufbau wird dann wie folgt sein:
Netzwerk

@bugfixx
Weißt du zufällig wie die Performance eines Hypervisor zu einem "echten" Client auf gleicher Hardware ist? Die Performance der Festplatten (SSD/HDD) wäre wichtig. Evt. noch allgemeine Performace (RAM/CPU) für große AES Backups.
Verbaute CPU:
http://ark.intel.com/de/products/75461/Intel-Xeon-Processor-E3-1225-v3-8M-Cache-3_20-GHz


[Beitrag von promocore am 29. Mrz 2015, 01:21 bearbeitet]
BugFixX
Stammgast
#18 erstellt: 29. Mrz 2015, 11:16
Vielleicht war auch einfach nur der kleine Router für 2 VLANs zu träge, weil DD-WRT das alles via Software macht. Die CPUs von den Brotdosen-Routern sind nicht die schnellsten.

Zu deiner Hypervisor Frage.
Die meiste Erfahrung habe ich mit dem VMware ESX(i). Da würde ich die Performance-Einbußen im einstelligen Prozentbereich einschätzen. Der KVM für Linux ist auch ganz gut. Zumindest nutzen wir den auch bei Echtzeitanwendungen.
Beide bekommst du als Privatuser für lau.
Ob die Backups verschlüsselt sind oder nicht sollte bei der CPU keinen großen Unterschied machen. Die HD Performance wird bei direkt angeschlossenen HDs auch wie gewohnt sein.

Gruß,
Andreas
promocore
Inventar
#19 erstellt: 02. Apr 2015, 22:17
Hallo BugFixx,
ich habe mir mal ein par Virtualisierungssysteme angeschaut und getestet. Vorallem mit dem Hintergrund, das ich auch den 2ten Router für das lokale Lan komplett virtualisieren könnte, evt direkt auch direkt ein DMZ aufbauen könnte.
ESXi fällt leider raus, obwohl es meine erste Wahl war.
Die unterstütztung für Consumer Hardware ist recht mau. Für eine Dual lan PCIe muss man schon eine Intel nehmen.
KVM trau ich mich nicht so recht ran. Ein bischen kenne ich mich mit Linux aus, aber da das System anscheinend doch recht frei auf dem BS installiert ist, weiß ich nicht, ob ich damit im Notfall bzw. Problemen klar kommen werde.
Hyper-V war ne Sache für sich. Typisch Windows halt. Total abgeschottet und alles blockiert um die Windowsdienste alle zu schützen. Wenn man das System für eine Workgroup konfigurieren möchte, kommt man um Google unmöglich vorbei

Am besten gefällt mir Xen Server derzeit: Remotesoftware wird direkt mitgeliefert, alles läuft ohne Probleme.
Der echte Test steht noch aus, da ich die Systeme derzeit virtualisiert teste. Das Durchreichen echter Hardware klappt so natürlich auch noch nicht.
BugFixX
Stammgast
#20 erstellt: 02. Apr 2015, 22:50
Stimmt, Xen gibt es ja auch noch.
Ist eigentlich die Nr. 2 nach VMware (oder hat MS die schon verdrängt?).
Kenne ich leider gar nicht von der Oberfläche her.
Kann aber so schlecht nicht sein.

KVM ist bei uns vorkonfiguriert und daher musste ich mich mit der Konfiguration noch nicht befassen.
Wie aber alles bei Linux sollte es auch für KVM viele Beispiele im Netz geben.

Bei dem ESXi hatte ich auch mal gedacht, dass eine Feld-Wald-Wiesen-NIC mit Realtek Chip doch funzen sollte - war aber Pustekuchen...
Ebenso muss man mit dem Chipsatz vom Mainboard aufpassen.

Bin auf deine Ergebnisse gespannt!
promocore
Inventar
#21 erstellt: 03. Apr 2015, 23:18
Hallo Bugfixx, vielleicht kannst du nochmal aus deinem Nähkästchen plaudern.
Aber vorweg, also die GUI von Xen ist echt schon super. Man findet sich recht schnell zurecht, obwohl ich z.B. bisher noch nie großartig mit so einem Server gearbeitet habe.
Sicherlich ist es nicht so klicki bunti wie Virtualbox und einige Sachen muss man auch mal per Konsole erledigen, aber im großen und ganzen gibt es nix zu bemängeln aus meiner Sicht.
Ich installiere grad meine erste VM und werde mal versuchen bestehende Platten aus anderen/alten VMs, die nicht mit Xen erstellt wurden mit einzubinden. Diese werden dann über den VMware Player dem Xen Server bereitgestellt.
Irgendwo habe ich im Netz gelesen, dass angeblich beim Einbinden der Platten in Xen diese verändert werden.
Das wäre natürlich schlecht für mein bestehendes Software Raid. Ich habe gehofft mit allen Platten samt Betriebssystem ohne neues aufsetzten dieses 1:1 in der VM zu starten. Xen Server selber würde ich dann auf einem USB Stick installieren und von dort starten.
Geht sowas überhaupt z.B: bei ESXi oder KVM? Kann man installierte Betriebssystem auf einer physischen HDD (NTSF/GPT) einfach so in eine erstellte VM von einem Hypervisor durchreichen und das Betriebssystem starten?

Neulich habe ich eine Grafik gesehen, da soll angeblich Hyper-V fast gleich auf sein mit ESXi, da vmware wohl mit ihrer Firmenpolitik nicht mehr so gut beim Endverbraucher ankommt.
Aber man soll ja keiner Statistik trauen, die man nicht selber erstellt hat.
Ich hatte zumindestens große Probleme überhaupt einen Remotezugriff auf die Kiste zu bekommen. Sicherlich ist die Firewall und der Server für einen Domainbetrieb ausgelegt und nicht für eine Workgroup, jedoch stößt selbst bei mir als Windowsuser mittlerweile die Datei und User Rechtverwaltung, und das vorallem für/über das Lan auf den Magen.
Hier hat das Linux meiner Meinung nach einfach von grundauf besser gelöst.


[Beitrag von promocore am 03. Apr 2015, 23:42 bearbeitet]
BugFixX
Stammgast
#22 erstellt: 04. Apr 2015, 14:28
Ohne jetzt auch im Netz suchen zu müssen, weiß ich nur bei VMware von einem Tool, mit dem man physikalische Maschinen zu VMs konvertieren kann.
Ob Xen oder KVM solche Tools bieten, weiß ich leider nicht.

Wenn deine physikalische Maschine ein RAID hat, dann musst du der VM wahrscheinlich auch mehrere virtuelle HDs zuweisen um das RAID zu simulieren. Macht bei einem VM natürlich gar keinen Sinn - das Hostsystem hat ja das echte RAID/SAN als Redundanz. Wenn es ein reines SW-RAID ist, dann hast du eventuell die Möglichkeit die VM mit einer virtuellen HD zu nutzen und den Treiber von RAID auf AHCI umzustellen. Vielleicht kann das auch schon das Tool von VMware.

Gruß,
Andreas
promocore
Inventar
#23 erstellt: 04. Apr 2015, 19:43
Ich verstehe, jedoch nutze ich aus kostengründen kein Raid 1 oder 5, das gleiche würde natürlich auch für Xenserver zutreffen. Ich nutze Unraid und Transparent Raid. Alle Festplatten laufen hier im AHCI Mode.

Eine Konvertierung ohne den Neukauf zahlreicher Festplatten ist wohl nicht so einfach möglich. Diese müssten dann auch noch im im Stripeset oder ähnlichem laufen, da selbst eine 8TB Festplatte zu klein ist.

Beide Systeme habe ein BS, welche auch ohne die Datenplatten funktionieren. Die Datenplatten kann man auch bei beiden Systemen ausbauen und auf anderen Systemen jederzeit lesen.

Ich dachte, man kann einfach eine Festplatte oder Controller in die VM durchreichen, ohne das die Daten verändert werden und auch keine virtuelle Disk angelegt werden muss.
Das reine BS zu konvertieren wäre hingegen kein Problem, die Datenplatten hingegen ist durch mangelden Speicherplatz derzeit nicht möglich.

Auch andersrum wäre das ganze schlecht. Läuft einmal mein Raidsystem in der VM, könnten die Datenplatten vermutlich für z.B. eine Datenrettung nicht mehr außerhalb gelesen werden.

Ich hab grad nochwas für Flexraid gefunden, das muss ich mir nochmal in ruhe durchlesen:
http://www.flexraid.com/2014/02/07/storage-deployment-vmware-esxi-iommuvt-d-vs-physical-rdm-vs-virtual-rdm-vs-vmdk/


[Beitrag von promocore am 04. Apr 2015, 23:28 bearbeitet]
promocore
Inventar
#24 erstellt: 05. Apr 2015, 23:47
Update 4:

Der Xenserver läuft weiterhin virtualisiert.
Möchte man Festplatten direkt zur VM durchreichen, geht dies am einfachsten nach dieser Anleitung:
http://techblog.conglomer.net/sata-direct-local-disk-access-on-xenserver/
Mit Winscp ist die Datei recht schnell editiert. Danach taucht der Speicher als Removeable Speicher unter Xencenter/Xenserver auf. Diesen kann man einfach in eine VM durchreichen. Die VM erkennt die neue Hardware über einen SCSI Controller, womit der Datendurchsatz gewährleistet ist.
Leider verliert die Festplatte seine eigentliche Kennung. Bei vielen Festplatten der gleichen Größe wird dies wohl etwas unübersichtlich. Sollte eine Festplatte meines Softwareraids ausfallen erst recht.

Xenserver unterstützt angeblich nativ kein RAW Device Mapping, laut dieser Anleitung kann man sich das entsprechende Paket basteln. Jedoch find ich den Source Code nur für Xenserver 6.2 auf der Homepage. Für 6.5 habe ich nichts gefunden.

Hmm, bleibt ja eigentlich nur noch für Hypervisor Typ1 Esxi mit passender Hardware...
Zumindestens wird RDM unterstützt.


[Beitrag von promocore am 06. Apr 2015, 00:09 bearbeitet]
promocore
Inventar
#25 erstellt: 07. Apr 2015, 23:16
Update 5:

Ergebnis:
Es gibt für meinen Anwendungsfall derzeit keinen Hypervisor 1, der zu meinem Setup passt bzw. meine Anforderungen erfüllt.

Ich werde wohl ein DMZ mit 2 Routern aufbauen und in die VM einen USB3 to Lan Adpater durchreichen. (Update 3)
Der Durchsatz der günstigen Adapter liegt mittlerweile auch bei über 50MB/s, was wohl für einen kleinen Webserver locker ausreicht.
Sollten mehrere VMs benötigt werden, kommt einfach eine Firewall wie Ipcop oder ähnlichem dazwischen worüber dann alle VMs kommunizieren können

Danke soweit für deine Hilfe Bugfixx, bis später mal
haltelinie
Stammgast
#26 erstellt: 08. Apr 2015, 16:38
Falls es für jemanden hier von Interesse ist, ich habe eine solche Lösung mit Webserver in einer DMZ, Firewall, Fileserver etc auf einem Windows Hyper-V aufgebaut. Obwohl ich beruflich eher aus der ESX Richtung komme, habe ich mir das für daheim mal angesehen und mit den virtuellen Netzwerken und Switches recht einfach so umsetzen können.

Der Host ist eine recht üppig dimensiernierte Hardware mit 2 NICs, darin laufen verschiedene Gäste. Der physikalische Server hat seine Internetverbindung also z.B. nur über das virtuelle Netzwerk auf den virtuellen Firewallrechner. Dieser wiederum hat alleinigen Zugriff auf eine Hardware NIC, die an das DSL an geschlossen ist. Der Trick dabei ist, der Netzwerkkarte im physikalischen Rechner eine nicht funktionierende Konfig zu geben.

Falls daran Interesse bsteht, meldet euch.

Gruß Sven
promocore
Inventar
#27 erstellt: 08. Apr 2015, 18:16
Hört sich auch interessant an.
Du nutzt dafür also nicht Hyper V Server 2012, sondern Hyper-V?
Kann Hyper V dem Host Betriebssystem auch ein Virtuelle Netzwerkkarte bereitstellen? Der Host selber darf ja auf keine physische NIC zugreifen bzw. Nur auf eine ungültige config, wenn ich das richtig verstehe.


[Beitrag von promocore am 08. Apr 2015, 19:51 bearbeitet]
haltelinie
Stammgast
#28 erstellt: 08. Apr 2015, 20:32
In meinem Fall ist es als Host ein W2008 R2 Enterprise Server bei dem die Hyper-V Dienste genutzt werden. Die Migration auf 2012 wäre theoretisch ganz einfach, habe ich aber einfach noch nicht gemacht. Never touch a running system!

In Hyper-V muß man ähnlich wie bei ESX oder auch KVM virtuelle Switche installieren und kann sie (optional) an physikalische Netzwerkkarten binden.

Die einzige Einschränkung ist, daß man dem Host die Netzwerkkarten unter Hyper-V nicht wegnehmen kann. Den Gästen kann man individuell Zugriff auf virtuelle Switche und NICs geben. Den Zugriff des Hostes auf eine Nic habe ich über sinnlose IPs und Netzmasken geregelt. Mittlerweile habe ich einfach die IP Protokolle deaktiviert, was viel sinniger ist.

Der Host hat ein anderes NIC, welches an einem virtuellen Switch hängt. Dies ist die Brücke ins "Hausnetz", wo NAS, WLAN-APs und Clients "wohnen". Die DMZ ist rein virtuell und beinhaltet einen virtuellen Switch, der für die Firewall und den Webserver genutzt wird.

Zugriffe von außen erfolgen über DSL an die Firewall. Dort sind dann Port- und Hostmappings hinterlegt, die in der DMZ auf den Web-, Mail-, etc. Server zeigen. Mit einem weiteren Hardware-NIC liessen sich so auch noch NAS Resourcen (FTP etc) sicher in der DMZ per weiterem Netzwerkport am NAS nutzen.

Die virtuellen Netze/Switches sind standardmäßig immer für den Host verfügbar. Für die Gäste einzeln konfigurierbar.

Man kann sich also auch ein gekapseltes Netz in Hyper-V bauen, welches keine Verbindung ich die physikalische Welt oder generell nach aussen hat.

Das bezieht sich alles auf meine 2008 R2 E Umgebung. Aktuelle Versionen haben da sicher an Funktionsumfang gewossen. Speziell das Hyper-V Pendant zu V-Motion fällt mir da ein. Wollte ich mir immer mal ansehen, aber: Never touch a running system! Da sich mein beruflicher Fokus leicht verändert hat, ist VMWare oder besonders Windows, nicht mehr im Fokus. Daher ist mein WIssen so veraltet.
promocore
Inventar
#29 erstellt: 09. Apr 2015, 00:02
Veraltet ist gut. Vorallem beinhaltet es eine neue Idee für mich
Bisher wollte ich immer den Host die NIC verwalten lassen bzw. die Idee über eine Virtuelle Nic zu einer VM- Firewall ist mir so nicht gekommen. Ich habe hier immer die physische NIC wenn überhaupt genommen.
Die Lösung von dir kann man ohne Probleme nachbauen und testen. Sobald ich Zeit habe, werde ich dies auch machen.
Wie ist denn die Netzwerkgeschwindigkeit vom Host zu anderen Lan teilnehmern? Erreicht man hier noch annähernd Gigabitgeschwindigkeit? - dies wäre für mich u.a. einer der wichtigstens Punkte, da mein "NAS" der Host ist.

Tante Edit sagt: mittlerweile gibt es von Hyper-V unterschiedliche Versionen.
Hyper V 2012 Server ist ein Standalone BS mit großen Funktionsumfang. Andere Versionen brauchen einen vollwertigen Windows Host.
Aber Frage wurde ja schon indirekt beantwortet. Der Hyper V steht ja ab Windows 8 Pro zur Verfügung. Das ist natürlich praktisch


[Beitrag von promocore am 09. Apr 2015, 00:11 bearbeitet]
haltelinie
Stammgast
#30 erstellt: 09. Apr 2015, 08:49
Die Netzwerkgeschwindigkeit passt für meine Belange. Einer der Gäste ist z.B. mein Videostreaming- und Konvertierungsserver. Diesem sind 4 CPUs und 4GB Ram zugewiesen. Damit kann er z.B. MKV Dateien in Echtzeit für die PS3 in Mpeg-TS wandeln ohne Ruckler oder Aussetzer. Das bedeutet, der Gast holt sich die MKV vom NAS und streamt zur PS3, beides über seine virtuelle NIC. Diese werden immer als 10GB erkannt.

Im virtuellen Netzwerk intern habe ich auch schon Auslastungen von 20-30% der 10GB gesehen, allerdings nur bei Operationen auf RAM-Disk oder SSD.
promocore
Inventar
#31 erstellt: 11. Apr 2015, 23:32
Für die Netzwerkgeschwindigkeit wäre für mich der maximale Durchsatz interessant, da ich regelmäßig einige TB sicher, die ja dann über die virtuelle NIC von Hyper V gehen würden (Firewall) und schließlich über eine virtualisiete Hardware NIC an andere Rechner geht.
Wenn der Datendurchsatz unter 80MB/s gehen würde, wäre wohl das Druchreichen eines USB3/Lan Nic in die VM + Hardware DMZ vielleicht auch besser?

Also ich hab jetzt einfach mal nen bissel mit Hyper-v direkt auf einem Windows Host rumgespielt.
Das Ergebnis ist recht ernüchtern.
Über den VSwitch habe ich interne Netzwerke erstellt.
Ich habe eine VM erstellt und "ältere Netzwerkkarten" eine Interne NIC zugewiesen.
Als Gast habe ich Pfsense und Endian getestet.

Ich bekomme über die interne Netzwerkkarte keine Verbindung zum Gastsystem.

Eine IP aus dem gleichen Subnet habe ich in der internen Netzwerkkarte eingetragen.

Teile ich dem Gast meine Hardware NIC mit, funktioniert es sofort.

Natürlich habe ich zum testen alle Netzwerkkarten deaktiviert, bis auf die "interne", die für den Gast ist.

Gibt es einen Trick, damit interne Netzwerkkarten mit Hyper-V auch funktionieren?


[Beitrag von promocore am 12. Apr 2015, 00:57 bearbeitet]
haltelinie
Stammgast
#32 erstellt: 13. Apr 2015, 14:00

promocore (Beitrag #31) schrieb:
Gibt es einen Trick, damit interne Netzwerkkarten mit Hyper-V auch funktionieren?


Der Trick ist in meinem Falle im Hyper-V Manager den Virtual Network Manager zu benutzen und dort die virtuellen Netze den jeweiligen Hardwarekarten zuzuordnen.
promocore
Inventar
#33 erstellt: 13. Apr 2015, 15:07

haltelinie (Beitrag #32) schrieb:

promocore (Beitrag #31) schrieb:
Gibt es einen Trick, damit interne Netzwerkkarten mit Hyper-V auch funktionieren?


Der Trick ist in meinem Falle im Hyper-V Manager den Virtual Network Manager zu benutzen und dort die virtuellen Netze den jeweiligen Hardwarekarten zuzuordnen.


Genauso habe ich das gemacht und es geht auch mit einer Hardware NIC.
Der Vswitch bietet aber auch eine Private Netz Verbindungen an ( vm <-> vm) und interne (vm <-> host).
Bei der internen wird auf dem Host eine virtuelle Netzwerkkarte installiert. Diese funktioniert nicht.
Für ein DMZ müsste ich sonst 3 Hardware Nics im Host installieren und diese im VSwitch zuweisen. Das wär natürlich nicht optimal. Ich habe gehofft, dass man den Host virtuell zur vm (firewall) anbinden kann.
haltelinie
Stammgast
#34 erstellt: 13. Apr 2015, 21:00
Hm, ich sehe keinen Grund warum es nicht gehen sollte. In meinem Fall existieren aber keine rein virtuellen Netze ohne Hardware NIC. Allerdings habe ich schon rein virtuelle Netze gehabt. Da meine DMZ neben virtuellen auch physikalische (externe) Ports beinhaltet, bin ich auf dieses Problem noch nicht gestossen. Leider komme ich demnächst nicht dazu, das mal nachzustellen.

Angesichts meiner fossilen Umgebung vielleicht auch nicht zielführend.

Mehr wie Daumendrücken kann ich leider kurzfristig nicht anbieten. Als Heide sind auch Nachtgebete keine Option
promocore
Inventar
#35 erstellt: 14. Apr 2015, 22:10
Danke für die Info und das Daumen drücken

Ich konnte das Problem eingrenzen.
Die Hyper-V hat wohl Probleme mit BS, die keinen Windoes Integrationsdienst haben. Mit Windows 10 hat die VM und der Host über die Interne Netzwerkkarte (virtuell) eine IP bekommen. Auf den SMB Share oder sonstiges konnte aber weder der Host, noch der Gast zugreifen, obwohl bei beiden Freigaben eingerichetet sind und auch die Protokolle entsprechend aktiviert sind.

Wird bei Linuxgästen, die natürlich oft kein integrationsdienst haben, Die Verbindung mit einer "älteren Netzwerkkarte" "inter" erstellt, geht garnichts mehr.
Evt liegt es auch am unterschiedlichen VM Typ (Typ1/2).

Hyper V ist so natürlich für meinen Fall nicht zu gebrauchen. Vmware oder Oracel sind in dem Bereich unauffällig.

Somit bleibt die Lösung mit dem Hardware DMZ und einem USB3-Lan Adapter, der zu 100% in die VM gereicht werden kann und das System komplett vom Host oder anderen Rechnern physikalisch trennt

Vielen Dank für die Hilfen, es kann nun am Webserver gebastelt werden


[Beitrag von promocore am 14. Apr 2015, 23:11 bearbeitet]
haltelinie
Stammgast
#36 erstellt: 15. Apr 2015, 08:39

promocore (Beitrag #35) schrieb:
Danke für die Info und das Daumen drücken :D
Immer gerne


promocore (Beitrag #35) schrieb:
Die Hyper-V hat wohl Probleme mit BS, die keinen Windoes Integrationsdienst haben.
Bei mir laufen auch verschiedene Pinguinmutationen, von Ubuntu über Android/CyanogenMod ohne Integrationsdienste prima. Weiß allerdings nicht mehr, ob es da irgendwelche Besonderheiten gab. Der letzte Server war ein RedHat (nein, war nicht freiwillig), der hat auch funktioniert.


promocore (Beitrag #35) schrieb:
Hyper V ist so natürlich für meinen Fall nicht zu gebrauchen.
Schade, aber andere Mütter haben ja auch schöne Töchter. Neben VMWare kann man sich ja auch mit Proxmox oder KVM die langeweile vertreiben. bei mir als ehemaligem Windowstheniker war nach dem Auslaufen meiner ESX Lizenz der Hyper-V einfach die naheliegendeste Wahl, a.k.a. kleinstes Übel


promocore (Beitrag #35) schrieb:
Vielen Dank für die Hilfen, es kann nun am Webserver gebastelt werden :)

Doch nicht bei dem schönen Wetter? Viel Erfolg!
promocore
Inventar
#37 erstellt: 15. Apr 2015, 09:42


Bei mir laufen auch verschiedene Pinguinmutationen, von Ubuntu über Android/CyanogenMod ohne Integrationsdienste prima. Weiß allerdings nicht mehr, ob es da irgendwelche Besonderheiten gab. Der letzte Server war ein RedHat (nein, war nicht freiwillig), der hat auch funktioniert.



Bei dir sind aber die Linuxgäste virtuell mit einer Hardware NIC verbunden oder? - Das hat bei mir auch immer und mit jedem Gast funktioniert.
Probleme gibt es bei mir, wenn eine virtuelle NIC (10gbit) vom Host zum Gast durchgereicht wird.

Für meine nun angedachte Lösung muss der Hypervisor nur USB3 unterstützen. Eigentlich reicht da schon der VMware Player.
haltelinie
Stammgast
#38 erstellt: 15. Apr 2015, 10:07
Ein Netzsegment ist bei mir rein virtuell, dort stehen die Adapter auf "ältere Netzwerkkarte" mit 1GB. Dat löpt. Das kann ich auch im Laufe des Tages mal testen.
promocore
Inventar
#39 erstellt: 15. Apr 2015, 10:47
Ohja, das wär Klasse.
haltelinie
Stammgast
#40 erstellt: 15. Apr 2015, 13:23
So, also: Bei meinem 2008 R2 Hyper-V habe ich beim Anlegen neuer virtueller Netzwerke folgendes zur Auswahl:

- External (Network bound to physical Adapter)
-Internal (Virtual Machines and Host only)
-Private (virtual machines only)

Erfolgreich getestet habe ich nun "private" neben dem bereits verwendeten external und internal.

Vielleicht war das virtuelle Netzwerk einfach nicht passend gewählt.

Gruß Sven
promocore
Inventar
#41 erstellt: 15. Apr 2015, 13:42
Danke für den Test.
Ich habe auch Internal gewählt.
Mit Windows als Gast klappt alles, mit Pfsensr und Endian besteht keine Netzwerkverbindung.
http://www.endian.com/community/download/
Allerdings hab ich Hyper V mit Win 8.1
Die Version ist aber auch stark angepasst und unterscheidet sich von der Serverversion.
Hier vermute ich den Bug.
haltelinie
Stammgast
#42 erstellt: 15. Apr 2015, 14:04
Kann natürlich gut sein. Im Zusammenhang mit älteren Ubuntuderivatenhabe ich folgenden Hinweis gefunden:

Static IP injection may not work if Network Manager has been configured for a given Hyper-V-specific network adapter on the virtual machine. To ensure smooth functioning of static IP injection please ensure that Network Manager is turned off completely or has been turned off for a specific network adapter through its ifcfg-ethX file.

https://technet.microsoft.com/de-de/library/dn531029.aspx

Der Hyper-V Core ist doch kostenlos, vielleicht testest du damit mal.


[Beitrag von haltelinie am 15. Apr 2015, 14:05 bearbeitet]
Suche:
Das könnte Dich auch interessieren:
Netzwerk trennen
Chrisi100 am 11.07.2012  –  Letzte Antwort am 13.07.2012  –  14 Beiträge
Lan vom TV weiterschleifen
Tortie83 am 23.01.2014  –  Letzte Antwort am 24.01.2014  –  3 Beiträge
Kein Internet via LAN
SITD am 12.08.2011  –  Letzte Antwort am 12.08.2011  –  9 Beiträge
LAN über W-Lan verlängern? (Fritz powerline?)
Ratz65 am 22.12.2015  –  Letzte Antwort am 03.01.2016  –  5 Beiträge
2 FritzBox LAN-WLAN-LAN
nico21784 am 07.06.2013  –  Letzte Antwort am 08.06.2013  –  5 Beiträge
Receiver akzeptiert kein LAN/ Netz vom Repeater
Luis536 am 01.09.2016  –  Letzte Antwort am 02.09.2016  –  4 Beiträge
Mehrere WLAN-Access-Points im selben LAN
Dadof3 am 26.10.2014  –  Letzte Antwort am 05.11.2014  –  15 Beiträge
Internet, Steckdose, LAN
Audio_John am 27.07.2016  –  Letzte Antwort am 31.07.2016  –  14 Beiträge
Suche CAT7 Lan-Kabel
adHuy am 24.01.2011  –  Letzte Antwort am 04.02.2011  –  11 Beiträge
Hilfe bei LAN-Einstellungen
nouse123 am 08.11.2017  –  Letzte Antwort am 08.11.2017  –  10 Beiträge
Foren Archiv

Anzeige

Produkte in diesem Thread Widget schließen

Aktuelle Aktion

Partner Widget schließen

  • beyerdynamic Logo
  • DALI Logo
  • SAMSUNG Logo
  • TCL Logo

Forumsstatistik Widget schließen

  • Registrierte Mitglieder925.654 ( Heute: 2 )
  • Neuestes Mitgliedrichiechampion
  • Gesamtzahl an Themen1.550.825
  • Gesamtzahl an Beiträgen21.532.481

Hersteller in diesem Thread Widget schließen