Datensicherung/Datensicherheit - Welche NAS Konfiguration am sinnvollsten?

Autor

Beitrag

spaceman_t
Stammgast

#1 erstellt: 11. Jan 2016, 19:06

Hallo,

Habe mir ein 5104T zugelegt, um meine Daten zu Hause (vorerst kein externer Zugang ausserhalb des Heimnetzwerks vorgesehen) zu verwalten.

Zusätzlich zum NAS stehen mir noch 4x3TB Seagate NAS Festplatten (neu) und 2x2TB externe USB3.0-HDDs zur Verfügung.

Ich möchte gerne eine Konfiguration aufbauen, wo im NAS alle Foto-Dateien auf einer Platte (bzw. einem Verbund), aufer einer 2. dann alle Video + Audio-Dateien (hauptsächlich Media-Mitschnitte via ts-files oder zukünftig auch Bluray-Kopien, MP3 Files).

Da die Foto-Speicherung eine Art Cloud darstellen soll, wäre hier wohl eine hohe Datenverfügbarkeit wichtig, als auch eine Back-Up Sicherung nötig.

Die Medien-Speicherung wäre nicht ganz so dramatisch, wichtig ist nur die Erreichbarkeit für den TV-Receiver (via wake on Lan müsste auch das Aufwachen aus dem Standby funktionieren) sowie ein periodisches Back-up nötig.
ggf. könte man hier auch die Speicherung umdrehen und (falls das NAS die externen Festplatten sauber ansteuert), die Aufnahmen direkt auf der externen HDD speichern udn dann via Back-up ins NAS sichern.

Bisher hängen sowohl externe FOTO-HDD als auch externe Medien-HDD an einem Asus-Router (über USB2.0), der ein simples NAS darstellt. Die Daten würden dann ggf. von den beiden existierenden Platten erst einmal aufs NAS kopiert.

Idee 1:
Raid 1 für die Foto-Speicherung im NAS + Sicherung auf die 3. Platte im NAS + gelegentliche Speicherung auf eine der externen HDDs, alles mit scheduled back-ups (bzw. Back-up Synch). Wie könnte man das mit dem Asustor aufziehen?
Normale Platte für die Mediendateien + scheduled back-ups auf eine externe HDD (oder ggf mit Ordneraufteilung auf 2 externe HDDs)

Idee 2):
Raid 5 mit der Foto-Platte + Sicherung auf eine externe Platte (ggf. muss noch ne 3TB her)
Normale Speicherung für die Video-Dateien + externe Sicherung auf USB HDD.

Idee 3)

2x Raid1 + je eine externe HDD zum Back-Up.

Frage hierzu: ist es möglich, als Back-up Platte eine kleinere zu nehmen,solange die Roh-Datenmenge auf den Raids (also verfügbaren Speicherplatz für Dateien im Raid, in meinem Fall dann 3TB) die Platten-Kapa der externen nicht übersteigt?

Welche Lösungen gäbe es noch?

Besten Dank für Eure Hilfe.

bob2
Hat sich gelöscht

#2 erstellt: 11. Jan 2016, 20:06

Hallo,

RAID ist eine Ausfallsicherung kein Backup, das wird immer auf einen externen Medium gemacht. Am besten ohne permanenten Netzwerk und Stromanschluss, so kann auch bei einer Überspannung nix verloren gehen.......

[Beitrag von bob2 am 11. Jan 2016, 20:07 bearbeitet]

spaceman_t
Stammgast

#3 erstellt: 12. Jan 2016, 11:48

Das Raid keine Datensicherung ist, ist mir bewusst. Deshalb ja auch in jedem Scenario ein Back-up auf externe HDDs.

Ich überlege derzeit, auf Raif 5 zu gehen um die Ausfallsicherheit (heisst Datenverfügbarkeit) sicherzustellen und dann von dem Volume (müssten ja so 6TB sein) dann Folder bezogene back-ups auf externe bzw. die verbliebene interne Platte zu machen (z.b. Fotos auf ext. HDD1, Videos/Musik auf ext HDD2, beide ber USB 3.0 angeschlossen am NAS).

Ist es innerhalb eines NAS möglich, verschiedenen Plattenverbänden (z.B. 1 Raid5 Verbund und 1 einzelne Platte) verschiedene IPs zu geben, ggf. sogar für verschiedene Partitionen auf den Platten?

ukle
Stammgast

#4 erstellt: 13. Jan 2016, 12:01

Für ein RAID 5 benötigst Du mindestens 3 Platten, die auch die gleiche Größe haben sollten.
Somit bräuchtest Du ein NAS mit 4 Einschüben bzw. externe Platten und die Kapazität wäre dann bei 4*4TB-Platten n-1, also 12-4=8 TB.
Das ist schon ein ganz schön hoher Aufwand für eine höhere Verfügbarkeit.
Und gerade bei RAID 5 sorgt der Stress beim Rebuild nicht selten für das Sterben einer weiteren Platte und somit für den kompletten Datenverlust des RAID 5 -Verbundes.
Abgesehen davon, dass so ein Rebuild bei der schwachen NAS-Hardware (CPU) oft seeeehr lange dauert und die Performance derart in den Keller gehen wird, dass man von "Datenverfügbarkeit" nicht wirklich sprechen kann.

Den Aufwand würde ich mir echt sparen oder höchstens ein RAID 1 (Mirroring) einplanen.

[Beitrag von ukle am 13. Jan 2016, 12:02 bearbeitet]

ParrotHH
Inventar

#5 erstellt: 13. Jan 2016, 17:20

ukle (Beitrag #4) schrieb:

Und gerade bei RAID 5 sorgt der Stress beim Rebuild nicht selten für das Sterben einer weiteren Platte und somit für den kompletten Datenverlust des RAID 5 -Verbundes.

Das stimmt, ist mir auch schon mehrfach passiert.
Und zwar im Betrieb und mit teuren Serverplatten, die dann aber auch schon ein Stück älter waren.

Aus defekten Festplatten könnte ich im Büro bereits Trennwände bauen...

Zu Hause sind mir bei meinem DS412+ mit 4x2TB (WD Red) innerhalb der 3-jährigen Garantie auch schon 2 Platten abgeraucht. Da war ich ganz froh, dass ich ein RAID5 hatte. Neue Platte besorgt, reingesteckt, über die Oberfläche eingebunden, Rebuild gestartet, fertig. Keinerlei Ausfallzeit, sehr angenehm.

Jetzt sind also die 4 Platten in dem NAS von den Laufzeiten schon so weit auseinander, dass ein gleichzeitiger Ausfall schon recht unwahrscheinlich wird.

Abgesehen davon, dass so ein Rebuild bei der schwachen NAS-Hardware (CPU) oft seeeehr lange dauert und die Performance derart in den Keller gehen wird, dass man von "Datenverfügbarkeit" nicht wirklich sprechen kann.

Kann ich bei meiner DS412+ (Celeron Dual-Core) nicht bestätigen. Der Rebuild nach dem Einsetzen einer neuen 2TB-Platte dauerte ein paar Stunden, die Performance war während des Vorgangs nicht spürbar reduziert. Selbst der Prozessor war bei den Rebuilds nicht wirklich beschäftigt. Wir reden da ja auch nicht über Aufgaben, die einen Prozessor und ein Bus-System heutzutage wirklich fordern würden!

Auch als ich mein Zweit-NAS DS212+ (ARM), das zuvor nur mit einer Platte (WD Green, 2TB) lief, mit einer zweiten Platte bestückte (WD Red), hat die Kiste das über Nacht in ein paar Stunden während des Betriebs gespiegelt. Auch da konnte man noch problemlos und performant mit den Server-Diensten arbeiten (Musik-Streaming, ca. 70.000 Titel).

Parrot

ParrotHH
Inventar

#6 erstellt: 13. Jan 2016, 17:30

spaceman_t (Beitrag #1) schrieb:

Ich möchte gerne eine Konfiguration aufbauen, wo im NAS alle Foto-Dateien auf einer Platte (bzw. einem Verbund), aufer einer 2. dann alle Video + Audio-Dateien (hauptsächlich Media-Mitschnitte via ts-files oder zukünftig auch Bluray-Kopien, MP3 Files).

An Deiner Stelle würde ich auf keinen Fall für verschiedene Zwecke verschiedene Platten nutzen, sondern alles auf einer Platte (bzw. Verbund) halten. Sonst musst Du dich nämlich am Anfang für gewisse Plattengrößen entscheiden, und diese Entscheidung ist später nur mit Aufwand zu revidieren!

Auf einem Laufwerk, das über den gesamten Speicherplatz verfügt, kannst Du ja zweckbezogene Ordner erstellen, die Du dann einzeln im Netz freigibst, und auch evtl. mit unterschiedlichen Rechten versiehst. Wenn Du willst, so bringen die NAS-Betriebssysteme ja Funktionen mit, mit denen Du den Platz einzelner Ordner/Freigaben über Kontingente trotzdem begrenzen kannst.

Meine Konfiguration wäre also ein großes RAID5 mit diversen Ordnern und Freigaben. Dazu dann externe USB-Platten für die Sicherung.

Ein großes RAID sollte auch von der Performance her Vorteile bringen, da immer parallel mit allen Platten gearbeitet werden kann.

Parrot

cbv
Inventar

#7 erstellt: 13. Jan 2016, 18:15

ParrotHH (Beitrag #6) schrieb:

Auf einem Laufwerk, das über den gesamten Speicherplatz verfügt, kannst Du ja zweckbezogene Ordner erstellen, die Du dann einzeln im Netz freigibst, und auch evtl. mit unterschiedlichen Rechten versiehst. Wenn Du willst, so bringen die NAS-Betriebssysteme ja Funktionen mit, mit denen Du den Platz einzelner Ordner/Freigaben über Kontingente trotzdem begrenzen kannst.

Bietet das NAS an, virtuelle Umgebungen aufzubauen, kann man damit gezielt virtuelle Server mit eigenen IPs im Netz verfügbar machen, die dann auf eben diesen IPs nur bestimmte Verzeichnisse anbieten.
Das war in

#3 angefragt.

Meine Konfiguration wäre also ein großes RAID5 mit diversen Ordnern und Freigaben. Dazu dann externe USB-Platten für die Sicherung.

Oder besser RAID-Z[2], sofern verfügbar.
RAID-Z bietet unter anderem den Vorteil, dass bei einem Plattentausch tatsächlich nur die Daten geschrieben werden, die für die Datenintegration (sprich: vollständige Wiederherstellung) tatsächlich nötig sind. Unter Umständen ein entscheidender Zeitvorteil.
Herkömmliches RAID geht normalweise her und kopiert byte-by-byte, schreibt also immer die komplette Platte, selbst, wenn das eigentlich gar nicht nötig wäre.

Ein großes RAID sollte auch von der Performance her Vorteile bringen, da immer parallel mit allen Platten gearbeitet werden kann.

Ein weiteres Argument gegen RAID-1 (Mirroring). Abgesehen vom Platzverlust.

versuchstier
Hat sich gelöscht

#8 erstellt: 13. Jan 2016, 18:25

ParrotHH (Beitrag #6) schrieb:

Meine Konfiguration wäre also ein großes RAID5 mit diversen Ordnern und Freigaben. Dazu dann externe USB-Platten für die Sicherung, Parrot

Und wenigstens eine externe Platte mit den Sicherungen an einem anderen Ort aufbewahren, von wegen Einbruch oder Feuer...
Die externen Sicherungen dann hin und wieder synchronisieren,

Gruß versuchstier

cbv
Inventar

#9 erstellt: 13. Jan 2016, 18:33

versuchstier (Beitrag #8) schrieb:

Und wenigstens eine externe Platte mit den Sicherungen an einem anderen Ort aufbewahren, von wegen Einbruch oder Feuer...

Amen. Was nutzt das beste Backup-Szenario, wenn die Backups beim Zimmerbrand unter oder auf dem Tisch stehen... Und auch am externen Lagerort kann ein Feuer ausbrechen...

Die externen Sicherungen dann hin und wieder synchronisieren

(Bi-)Wöchentlich tauschen. Damit stellt man gleichzeitig sicher, dass die extern gelagerte Platte noch funktioniert ...

Mickey_Mouse
Inventar

#10 erstellt: 13. Jan 2016, 18:35

und am besten eine Software nutzen die Versionen verwalten kann!
es nutzt herzlich wenig, wenn man jede Nacht ein Backup macht (je öfter desto "schlimmer") und immer das alte wieder überschreibt, wenn einem seit einem Monat ein Virus im Hintergrund die Daten manipuliert ohne das man das bisher gemerkt hat.
Oder man hat "aus Versehen und nebenbei" etwas gelöscht (vielleicht ja auch jemand anderes?) und das merkt man auch erst wenn man das wieder mal braucht.

Ich mache das z.B. mit dem Dokumenten Ordner so (alle Post kommt in den Scanner mit automatischen Einzug und der legt das als durchsuchbare PDF in den Doku Ordner) oder dem Bilder Ordner so. Da ändert sich quasi nie etwas (es kommt nur etwas dazu), also braucht ein Versions-Backup auch nicht unnötig Platz, aber wenn sich mal etwas unbeabsichtigt ändert, dann ahn nich auf den Stand von vor Monaten, wenn n nicht sogar Jahren zurück.

Das macht wie gesagt nicht für alle Daten Sinn, aber für viele ist es extrem vorteilhaft!

ukle
Stammgast

#11 erstellt: 13. Jan 2016, 18:39

Der Rechenaufwand der CPU beim Rebuild eines Software-RAID 5 ist ungleich höher als bei einer einfachen Spiegelung, wo nur auf zwei Platten die gleichen Daten geschrieben werden müssen.

Ich versuche, es einmalmal einfach zu erklären:
RAID 5 verteilt die Blöcke aller Daten über alle Platten des Verbunds und errechnet eine Paritätsinformation in der Größe 1/n, die auch über alle Platten verteilt werden.
Fällt eine Platte aus, kann das RAID 5 aus den restlichen Daten auf den gesunden Platten unter der Zuhilfenahme der Parity-Informationen auf den noch ansprechbaren Platten die fehlenden Dateninformation beim Zugriff auf die Daten errechnen und somit rekonstruieren. Daher kommt die höhere Verfügbarkeit des Verbunds.
Wird dann die defekte Platte ersetzt und dem RAID 5 hinzugefügt oder steht eine sog. hotspare-Platte bereit, wird auf dem gleichen Weg die ursprüngliche Poolstruktur mit der Verteilung aller Datenpakete incl. der verteilten Parity-Pakete errechnet und geschrieben.

Bei professionellem Einsatz kommt ein RAID-Controller mit eigener CPU und eigenem RAM zum Einsatz, um die CPU bei dieser Arbeit zu entlasten.

cbv
Inventar

#12 erstellt: 13. Jan 2016, 18:48

@ukle:
Das ist schon alles richtig, aber ParrotHH und ich sprachen/schrieben in #6 und #7 bzgl Performance vom laufenden Betrieb, nicht von der Wiederherstellung.

Mickey_Mouse (Beitrag #10) schrieb:

und am besten eine Software nutzen die Versionen verwalten kann!

Guter Hinweis.

[Beitrag von cbv am 13. Jan 2016, 18:53 bearbeitet]

Mickey_Mouse
Inventar

#13 erstellt: 13. Jan 2016, 19:21

was ekle schreibt ist ja pauschal nicht völlig falsch, aber doch meist Wissen aus dem letzten Jahrtausend...

wenn bei einem RAID1 eine Platte ausfällt, dann müssen ALLE bestehenden Daten gelesen und wieder neu geschrieben werden.
Bei einem RAID5 sieht es ähnlich aus, es muss auch alles gelesen werden, aber man muss nicht alles neu schreiben, sondern eben nur die "Prüfsumme".
Die Berechnung dafür macht eine CPU heute doch völlig nebenbei. Früher hatte ein Server eine langsamer CPU als ein heutiges Billig-Smartphone, da sah das vielleicht noch anders aus.

Das eigentliche Problem ist die Datenmenge die bewegt werden muss. Wenn bei einem RAID1 die "heile" Platte mit 200MB/s auf die Spare kopiert wird, dann bleibt für Leseversuche kaum noch Bandbreite für "normale" Lese Anfragen. Das ganze System arbeitet im "degraded mode".
Daher kann man bei professionellen Systemen auch konfigurieren wie schnell so ein Rebuild laufen soll. Da muss der SysOp halt entscheiden was wichtiger ist: ein möglichst schneller Rebuild (wenn eine Platte ausfällt, dann ist es nicht gerade selten, dass auch die nächsten bald dran sind) um alles wieder rin trockenen Tüchern zu haben aber dafür in dieser Zeit ein langsames System, oder eben ganz gemächlich nebenbei wieder in den Normal-Betrieb kommen, das dauert länger aber die Beeinflussung des normalen Betriebs ist geringer (wenn nicht eine weitere Platte ausfällt...).

Das sind aber alles Dinge, über die man sich im professionellen Umfeld Gedanken macht. Als Beispiel: die Systeme für die ich verantwortlich war, haben pro Standort ca. 100 Ingenieure "bedient". Eine Ingenieurstunde wird ganz grob mit 100€ beziffert, wenn er nicht effektiv arbeiten kann (emails lesen geht ja mit dem Laptop immer noch). 100 Leute, eine Stunde, 100€ -> 10.000€ pro Stunde, ein Tag kommt da locker auf 100.000€ (andere Leute außerhalb sind dann auch betroffen usw.).
DA macht es Sinn mehrere tausend Euro in entsprechende Hardware zu stecken, damit genau so etwas nicht passiert. Aber bei Privat-Leuten sehe ich die Sache doch etwas anders. Da kommt es nicht darauf an wie schnell man das System wieder hoch bekommt, sondern einfach nur darauf die Daten überhaupt wieder zu bekommen!!!

ParrotHH
Inventar

#14 erstellt: 13. Jan 2016, 19:26

Ich habe gerade eben mal in den Logs geschaut:

Nach dem letzten Crash einer Platte hat das Rebuild des RAID5 ziemlich genau 7 Stunden gebraucht (21:37 Uhr bis 04:32 Uhr).
Konfiguration: Synology DS412+ mit 4 x 2TB WD Red

Wenn ich das hochrechne, dann hat das System ca. 75 MB/s beim Rebuild verarbeitet. Nicht wirklich langsam.
Und ich weiß noch, dass ich parallel dazu Musik gehört, Daten kopiert und Fotos angeschaut habe. Und dachte: das Ding ist ja überhaupt nicht langsamer als sonst!

Parrot

spaceman_t
Stammgast

#15 erstellt: 13. Jan 2016, 22:26

also denke ich werde ein raid 5 (oder z, muss schauen ob das 5104t das kann) mit einmal interner Sicherung bestimmter Order auf die 4. Platte und dann regelmässiger Sicherung auf eine externe USB Platte. Eine weitere USB Platte wird dann seltener auch genutzt um eine weitere Sicherung an einem anderen Ort zu haben.

Das 5104T ist ein 4bay mit quadcore celeron und 2GB Ram (zur Not auf 8GB) aufrüstbar. Platten sind 4x3TB Seagate NAS Platten. Gäbe mir also ein 6TB (im Raid 5) Speichermedium plus eine 3TB interne Back-Up Platte. Das reicht für meine derzeitigen Datenmengen.

Mickey_Mouse
Inventar

#16 erstellt: 13. Jan 2016, 22:31

nee, bei 4x 3TB in RAID5 hast du gute 8 "echte" Terabyte nutzbar (9TB).

promocore
Inventar

#17 erstellt: 14. Jan 2016, 12:24

Für RAIDZ brauchste massig RAM, damit das System performant bleibt. Faustformel sagt: 1GB RAM pro 1TB Festplattenspeicher, für Duplikation 4-5 GB RAM pro 1TB Festplattenspeicher

[Beitrag von promocore am 14. Jan 2016, 13:07 bearbeitet]

spaceman_t
Stammgast

#18 erstellt: 14. Jan 2016, 17:40

Raid Z wird vom Asustor 5104T scheinbar nicht unterstützt, daher wird es wohl auf ein Raid5 mit 3x3TB Platten (=6TB Speicherplatz) rauslaufen, 1x3TB Platte als interne, per Zeitplan gesteuerte Sicherung für die wichtigsten Folder und dann externes Back-up davon via USB-Platte.

Denke das sollte so weit ausreichen.

Falls wer nen Asustor hat, hat schon wer herausgefunden ob udn wie man Videos auch ohne angeschlossenen HDMI-Screen (also zb. über den PC Screen) ablaufen lassen kann um zu testen, ob alles klappt?