Datei Synchronisation

Für sonstige Unterhaltungen, welche nicht direkt mit Lazarus zu tun haben
Bauer321
Beiträge: 465
Registriert: Sa 21. Aug 2010, 21:30
OS, Lazarus, FPC: Windows 7 Ultimate (L 1.2.2 FPC 2.6.4 32-bit)
CPU-Target: 64-Bit
Wohnort: nahe Bremen
Kontaktdaten:

Re: Datei Synchronisation

Beitrag von Bauer321 »

was haltet ihr davon http://community.wd.com/t5/My-Book-Live ... d-p/561699 ?
Das wäre für mich im Prinzip DIE Lösung, vorausgesetzt die Dateien können dann noch gespiegelt werden.
Ansonsten müsste ich darüber nachdenken das Raid 1 wieder auf ein Raid 0 umzuschalten, wodurch natürlich die Sicherheit der Dateien "leidet". ... Dafür hätte ich dann allerdings 6TB Speicher ... 3 reichen allerdings völlig aus.

Der Client und Server scheinen kostenlos zu sein soweit ich das sehe, die Android App kostet 79Cent, das wäre sie mir auch wert ;)
Ich frage mich nur ob das von der Leistung her "rund" laufen würde. Also keine Software bedingten Datei Verluste und stabiles System über Wochen .. Monate .. Jahre.
Externen Zugriff Plane ich vorerst nicht, diesen würde ich allerdings via VPN (fritz.box) einrichten, da mir dies erheblich sicherer scheint, als wenn ich die passenden Ports öffne und jeder auf einmal auf das NAS in meinem Netzwerk zugreifen kann.

Nutzer des ganzen wäre hauptsächlich ich selber über PC und Laptop laufend, gelegentlich übers Handy.
www.mcpatcher.net | www.hoeper.me

mschnell
Beiträge: 3444
Registriert: Mo 11. Sep 2006, 10:24
OS, Lazarus, FPC: svn (Window32, Linux x64, Linux ARM (QNAP) (cross+nativ)
CPU-Target: X32 / X64 / ARMv5
Wohnort: Krefeld

Re: Datei Synchronisation

Beitrag von mschnell »

Bauer321 hat geschrieben:Ich suche ein Programm welches unter Windows 7 & 8 lauffähig ist und Dateien mit einem NAS, welches als Netzlaufwerk eingebunden ist automatisch im Hintergrund Synchronisieren kann.


Um Dateisysteme auf Linux automatisch zu synchronisieren, verwende ich "Dirvish" (Ein Perl-Script, das intern den Linux-Befehl "rsync" verwendet).

Ich finde, es gibt nichts besseres. (Auf dem Backup-System habe ich vorsichtshalber trotzdem Spiegelplatten :D ).

Ich habe es selbst noch nicht probiert, aber ein Bekannter von mir verwendet das auch für Windows: Dirvish läuft auf einem Linux - System und spricht über SSH einen RSYNC Client auf dem Windows-Rechner an.

Dirvish läuft auch auf kleinen NAS-Boxen mit ARM Prozessor: ich habe es z.B. auf meinem QNAP probiert. Voraussetzung ist natürlich, dass auf dem NAS Linux läuft (und PERL, RSYC und SSH bietet) und das das Ziel-Backup Dateisystem Linux-Fähigkeiten (z.B. Hardlinks) unterstützt. I.a. also EXT3/4 oder EXT via NFS.

Ich verwende DIRVISH auch, um Daten von einem Server bei einem Internet-Provider zu Backuppen: mein Linux-Rechner spricht über das Internet mit SSH den remote-Rechner an.

-Michael

Bauer321
Beiträge: 465
Registriert: Sa 21. Aug 2010, 21:30
OS, Lazarus, FPC: Windows 7 Ultimate (L 1.2.2 FPC 2.6.4 32-bit)
CPU-Target: 64-Bit
Wohnort: nahe Bremen
Kontaktdaten:

Re: Datei Synchronisation

Beitrag von Bauer321 »

Ich nutze aktuell ausschließlich Windows Rechner und würde deshalb eine andere Lösung bevorzugen.
www.mcpatcher.net | www.hoeper.me

Christian
Beiträge: 6079
Registriert: Do 21. Sep 2006, 07:51
OS, Lazarus, FPC: iWinux (L 1.x.xy FPC 2.y.z)
CPU-Target: AVR,ARM,x86(-64)
Wohnort: Dessau
Kontaktdaten:

Re: Datei Synchronisation

Beitrag von Christian »

sowohl perl als auch rsync gibts auch für windows. NEE, DOCH, OHH
steht übrigends auch im vorbeitrag man müsste den nur lesen
W.m.k.A.h.e.m.F.h. -> http://www.gidf.de/

Bauer321
Beiträge: 465
Registriert: Sa 21. Aug 2010, 21:30
OS, Lazarus, FPC: Windows 7 Ultimate (L 1.2.2 FPC 2.6.4 32-bit)
CPU-Target: 64-Bit
Wohnort: nahe Bremen
Kontaktdaten:

Re: Datei Synchronisation

Beitrag von Bauer321 »

Christian hat geschrieben:sowohl perl als auch rsync gibts auch für windows. NEE, DOCH, OHH
steht übrigends auch im vorbeitrag man müsste den nur lesen


msschnell hat aber auch von einem ARM Prozessor gesprochen, den ich für seine Lösung bräuchte, bei meinem NAS handelt es sich bei dem Prozessor um einen APM82181 (Power PC 44x Platform) 800 MHz
www.mcpatcher.net | www.hoeper.me

Benutzeravatar
af0815
Lazarusforum e. V.
Beiträge: 6220
Registriert: So 7. Jan 2007, 10:20
OS, Lazarus, FPC: FPC fixes Lazarus fixes per fpcupdeluxe (win,linux,raspi)
CPU-Target: 32Bit (64Bit)
Wohnort: Burgenland
Kontaktdaten:

Re: Datei Synchronisation

Beitrag von af0815 »

Dirvish ist Laut Beschreibung ein Backupsystem. Daher nur bedingt ein Syncsystem, also wenn nur oneway.
Blöd kann man ruhig sein, nur zu Helfen muss man sich wissen (oder nachsehen in LazInfos/LazSnippets).

mschnell
Beiträge: 3444
Registriert: Mo 11. Sep 2006, 10:24
OS, Lazarus, FPC: svn (Window32, Linux x64, Linux ARM (QNAP) (cross+nativ)
CPU-Target: X32 / X64 / ARMv5
Wohnort: Krefeld

Re: Datei Synchronisation

Beitrag von mschnell »

af0815 hat geschrieben:Dirvish ist Laut Beschreibung ein Backupsystem. Daher nur bedingt ein Syncsystem, also wenn nur oneway.

Korrekt !

Für reine "Synchronisation" braucht man nur RSYNC. Dirvish macht nicht viel anderes als die (wahnsinnig komplizierten) Parameter auszurechnen, die man RSYNC in der Kommandozeile mitgeben muss, damit es das tut, was man will.

Mir ist bisher noch keine Synchronisations-Aufgabe untergekommen, die nicht "one-way" ist. Natürlich könnte man "two-way" jeweils die neuste Datei zum anderen Rechner rüberschaufeln. Aber das führt mit hoher Wahrscheinlichkeit zu beliebigen Inkonsistenzen.

Dirvish (also RSYNC) erzeugt (und das ist das schöne daran) für jeden Backup-Vorgang (z.B. jeden Tag) ein Haupt-Verzeichnis, in dem der gesamte aktuelle Verzeichnis-Baum dann später zu finden ist. Dateien, die sich nicht geändert haben sind Hard-Links und brauchen deshalb keinen Platz auf dem Ziel-Datenträger. Dateien lassen sich also ganz leicht (ohne spezielle Tools) finden.

-Michael
Zuletzt geändert von mschnell am Mi 7. Aug 2013, 11:45, insgesamt 1-mal geändert.

mschnell
Beiträge: 3444
Registriert: Mo 11. Sep 2006, 10:24
OS, Lazarus, FPC: svn (Window32, Linux x64, Linux ARM (QNAP) (cross+nativ)
CPU-Target: X32 / X64 / ARMv5
Wohnort: Krefeld

Re: Datei Synchronisation

Beitrag von mschnell »

Bauer321 hat geschrieben:msschnell hat aber auch von einem ARM Prozessor gesprochen, den ich für seine Lösung bräuchte, bei meinem NAS handelt es sich bei dem Prozessor um einen APM82181 (Power PC 44x Platform) 800 MHz


ARM war nur ein Beispiel um zu zeigen, dass man keinen x86 PC braucht, sondern ein Linux auf einem kleinen Prozessor (z.B. in einem NAS) reicht. EXT3, PERL, RSYNC, NFS, ... sind auf jedem Linux System verwendbar.

-Michael
Zuletzt geändert von mschnell am Mi 7. Aug 2013, 11:45, insgesamt 1-mal geändert.

mschnell
Beiträge: 3444
Registriert: Mo 11. Sep 2006, 10:24
OS, Lazarus, FPC: svn (Window32, Linux x64, Linux ARM (QNAP) (cross+nativ)
CPU-Target: X32 / X64 / ARMv5
Wohnort: Krefeld

Re: Datei Synchronisation

Beitrag von mschnell »

Bauer321 hat geschrieben:Ich nutze aktuell ausschließlich Windows Rechner und würde deshalb eine andere Lösung bevorzugen.


????? Du spricht doch von einem NAS ????

Da läuft doch bestimmt kein Windows drauf.

Die meisten NAS, (alle, die ich kenne) laufen unter LINUX.

-Michael

Christian
Beiträge: 6079
Registriert: Do 21. Sep 2006, 07:51
OS, Lazarus, FPC: iWinux (L 1.x.xy FPC 2.y.z)
CPU-Target: AVR,ARM,x86(-64)
Wohnort: Dessau
Kontaktdaten:

Re: Datei Synchronisation

Beitrag von Christian »

Also rsync,perl laufen auf jedem rechensystem (microcontroller ausgenommen) das ich kenne.
rsync ist zum synchronisieren von verzeichnissen erste wahl. es kann auch 2-way.
deriwxh kenn ich nicht brauch man auch nicht unbedingt, machts höchstens einfacher die kommandoziele zusammenzuschreiben.
W.m.k.A.h.e.m.F.h. -> http://www.gidf.de/

Benutzeravatar
m.fuchs
Lazarusforum e. V.
Beiträge: 2642
Registriert: Fr 22. Sep 2006, 19:32
OS, Lazarus, FPC: Winux (Lazarus 2.0.10, FPC 3.2.0)
CPU-Target: x86, x64, arm
Wohnort: Berlin
Kontaktdaten:

Re: Datei Synchronisation

Beitrag von m.fuchs »

mschnell hat geschrieben:Mir ist bisher noch keine Synchronisations-Aufgabe untergekommen, die nicht "one-way" ist.

Dann hast du noch nicht viele Szenarien gesehen. Deswegen synchronisiere ich ja, damit ich beide Seiten berücksichtigen kann. Für One-Way reicht ja ein Kopiere-wenn-neuer-Verfahren.
mschnell hat geschrieben:Natürlich könnte man "two-way" jeweils die neuste Datei zum anderen Rechner rüberschaufeln. Aber das führt mit hoher Wahrscheinlichkeit zu beliebigen Inkonsistenzen.

Noch besser: beide Dateien werden verglichen und geprüft ob es auf einer oder auf beiden Seiten Veränderungen gibt. Wenn möglich kann man die dann automatisch auflösen (http://de.wikipedia.org/wiki/Merge) oder halt händisch.
Unison (http://www.cis.upenn.edu/~bcpierce/unison/) macht so etwas beispielsweise.
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de

Bauer321
Beiträge: 465
Registriert: Sa 21. Aug 2010, 21:30
OS, Lazarus, FPC: Windows 7 Ultimate (L 1.2.2 FPC 2.6.4 32-bit)
CPU-Target: 64-Bit
Wohnort: nahe Bremen
Kontaktdaten:

Re: Datei Synchronisation

Beitrag von Bauer321 »

Eine Synchronisations Lösung ist das was ich eigentlich suche.

Da das natürlich nicht immer einfach ist und zu Dateiinkonsistenz führen kann wäre es für mich auch eine Option mein NAS mit zusätzlicher Software zu erweitern oder aber z.B. ein Beagle Board oder den Rasberry Pi zu erwerben. Dafür wäre ich dann allerdings auf der suche nach einer Software a la Dropbox und einem passenden Client.

Dropbox selber kommt aus mehreren Gründen nicht in Frage.

Bisher kam Owncloud in Frage der PC Client scheint auf den ersten Blick gut zu funktionieren und erlaubt auch das Synchronisieren einzelner Verzeichnisse, eine Funktion die auf dem Laptop unabdingbar ist.

Dann kam jetzt RSync ins Gespräch und das gucke ich mir jetzt mal an.

Generell soll/muss das ganze 365 Tage im Jahr einfach funktionieren und das auch ohne das ich den Prozess manuell anstoßen muss. Ich vermute allerdings das eine Lösung wie z.B. owncloud aufgrund der Menge an Dateien her muss, da eine Clientseitige Software schon einiges an Zeit benötigt um überhaupt festzustellen ob sich auf dem NAS Dateien geändert haben (funktionieren könnte es wenn der Client so ausgelegt ist, dass er eine DB auf dem NAS anlegt welche durch unterschiedliche Instanzen genutzt werden kann um erneute Scans des kompletten NAS zu vermeiden
www.mcpatcher.net | www.hoeper.me

mschnell
Beiträge: 3444
Registriert: Mo 11. Sep 2006, 10:24
OS, Lazarus, FPC: svn (Window32, Linux x64, Linux ARM (QNAP) (cross+nativ)
CPU-Target: X32 / X64 / ARMv5
Wohnort: Krefeld

Re: Datei Synchronisation

Beitrag von mschnell »

Das QNAP NAS hat eine Cloude-Server Software bereits out of the box installiert. Keine Ahnung, was die kann...

-Michael

mschnell
Beiträge: 3444
Registriert: Mo 11. Sep 2006, 10:24
OS, Lazarus, FPC: svn (Window32, Linux x64, Linux ARM (QNAP) (cross+nativ)
CPU-Target: X32 / X64 / ARMv5
Wohnort: Krefeld

Re: Datei Synchronisation

Beitrag von mschnell »

Bauer321 hat geschrieben:Generell soll/muss das ganze 365 Tage im Jahr einfach funktionieren und das auch ohne das ich den Prozess manuell anstoßen muss.


Bei einer bidirektionalen Synchronisation muss ein Datei_übergreifender Locking mechanismus her, um inkonsistenzen zu vermeiden. Keine Ahnung ob/wie so was möglich ist.

-Michael

Christian
Beiträge: 6079
Registriert: Do 21. Sep 2006, 07:51
OS, Lazarus, FPC: iWinux (L 1.x.xy FPC 2.y.z)
CPU-Target: AVR,ARM,x86(-64)
Wohnort: Dessau
Kontaktdaten:

Re: Datei Synchronisation

Beitrag von Christian »

Sowas ist sogar über TFilestream mit Createmode verfügbar, natürlich ist das möglich.
W.m.k.A.h.e.m.F.h. -> http://www.gidf.de/

Antworten