Unison für die Synology Disk Station

Wer kennt das Problem nicht: Man hat Verzeichnisse, die auf verschiedenen Rechnern geändert werden, und trotzdem möchte man einen konsistenten Stand der Daten haben. Normalerweise würde ich für diese Art von Problemen mein Universaltool rsync zücken, aber das synchronisiert nur in eine Richtung.

Eine Suche mit Google ergibt, dass es genau ein Werkzeug für das Problem gibt: Unison. Das Tool funktioniert nicht korrekt, wenn verschiedene Zeichenkodierungen auf den verschiedenen Rechnern verwendet werden, aber da es sich bei meinem Anwendungsfall um mehrere Linux Rechner handelt, sollte das kein Problem sein. Eigentlich handelt es sich um einen Linux Server und eine Synology Disk Station DS107+, aber die basiert ja auch auf Linux.

Ich möchte natürlich eine aktuelle Version verwenden, als bei Debian mitgeliefert wird, also benötige ich ein .deb für den Server und ein ipkg für die Disk Station.

Debian Paket

Das Bauen des Debian Pakets ist relativ einfach:

sudo apt-get install dpkg-dev
sudo apt-get install ocaml
sudo apt-get install dh-make
sudo apt-get install fakeroot
sudo apt-get install devscripts

Danach kann man den Source von Unison herunterladen und in ein Verzeichnis entpacken. Um daraus ein Debian zu bauen folgt man nun z.B. diesen Schritten.

Ich hatte Probleme bei der Installation, also habe ich das Makefile gepatcht (also zwei Zeilen auskommentiert):

doinstall: $(NAME)$(EXEC_EXT)
# -mv $(INSTALLDIR)/$(NAME)$(EXEC_EXT) /tmp/$(NAME)-$(shell echo $$$$)
cp $(NAME)$(EXEC_EXT) $(INSTALLDIR)
# cp $(NAME)$(EXEC_EXT) $(INSTALLDIR)/$(NAME)-$(MAJORVERSION)$(EXEC_EXT)

Ausserdem muss man noch das File debin/rules anpassen, da im Unison Makefile ein anderer Variablenname für das Verzeichnis verwendet wird:

$(MAKE) INSTALLDIR=$(CURDIR)/debian/unison/usr/bin install

Nach einem fakeroot debian/rules binary und sudo dpkg -i unison_2.27.57_i386.deb sollte das Paket ordnungsgemäß installiert sein.

Unison für ARM

Um Unison auf die DiskStation zu bringen gibt es zwei Möglichkeiten: Entweder man kompiliert es für die ARM Architektur auf einem PC (cross compile) oder kompiliert es direkt auf der Disk Station. Ersteres ist ausführlich bei Synology beschrieben, hat aber den Nachteil, dass ich dann auch das ocaml Paket anpassen müsste, damit es den Cross Compiler verwendet. Nachdem z.B. die Aufrufe vom Assembler hart in ocaml reinkodiert sind, wollte ich mir das nicht antun und habe mich für Möglichkeit zwei entschieden: direkt auf der Disk Station zu kompilieren.

Den Compiler bekommt man, indem man ipkg installiert. Man benötigt noch folgende Pakete:

ipkg install ocaml
ipkg install make
ipkg install gcc

Danach lässt sich der Quellcode von Unison auf der DiskStation kompilieren, wenn man die native compilaton ausschaltet.

ocamlopt/Native compilation

Natürlich habe ich mir auch angeschaut, ob es möglich ist, Unison mit dem ocaml native code compiler zu kompilieren (ocaml erzeugt standardmässig nur Bytecode, der dann interpretiert wird). Dadurch würde Unison schneller laufen und auch die Abhängigkeit vom ocaml.ipkg würde dadurch verschwinden.

Leider fehlt der Native Code Compiler für die ARM Plattform. Der Maintainer der Debian ocaml Pakete hat mir bestätigt, dass sich das auch in den aktuellen Debian Paketen noch nicht geändert hat, allerdings sei der Fehler in diesen Paketen behoben, wenn auch noch nicht freigeschalten. Ich habe daraufhin versucht ocaml 3.11.0 selbst neu zu kompilieren und bin trotzdem wieder beim Native Code Compiler gescheitert. Die Fehlermeldungen sehen ziemlich genau so aus, wie in diesem Bug Report beschrieben. Nachdem der Fehler schon aus dem Jahr 2005 stammt, habe ich wenig Hoffnung, dass sich da seitdem viel getan hat.

Fazit

Ich konnte problemlos ein Debian Paket für die aktuelle Unison Version bauen. Für die Diskstation konnte ich immerhin die interpretierte Version bauen. Wenn ich wieder eine freie Minute habe, werde ich evtl. beide in passender Form hier bereitstellen. Jetzt muss ich aber erst mal ausfürhlich testen, ob das nun auch wirklich funktioniert…

Leider war es nicht möglich, die native Version für die Disk Station zu bauen. Dies wird auch erst möglich sein, wenn ocaml dafür angepasst wurde. Manchmal hat es doch Nachteile, wenn man Software in der exotischten Sprache, die man finden konnte, schreibt…

Update 09.02.2009

Leider funktioniert die Synchronisation des Änderungsdatums zwischen manchen Disk Stations nicht (z.B. DS-107+ und Ubuntu), mit anderen aber schon (z.B. DS-209+ und Ubuntu). Diese Funktion ist jedoch Voraussetzung, wenn man ein Verzeichnis sinnvoll mit mehreren Rechnern abgleichen will. Meine Vermutung ist, dass es hier vielleicht Probleme mit der Byte Order gibt, aber eine Anfrage auf der Unsion Liste zu diesem Thema blieb leider ohne Erfolg.

root@frodo:/space/shares/scratch# unison -times -confirmbigdeletes=false -prefer=newer -batch -contactquietly -group -owner /space/shares/scratch ssh://space.~~~~~~~~~//volume1/scratch
Looking for changes
Waiting for changes from server
Reconciling changes
< ---- new file .DS_Store local : absent space : new file modified on 1901-12-13 at 21:45:52 size 6148 rwxrwxrwx user=family group=users Propagating updates UNISON 2.27.57 started propagating changes at 20:02:11 on 08 Feb 2009 [BGN] Copying .DS_Store from //space//volume1/scratch to /space/shares/scratch Failed: Failed to set modification time of file /space/shares/scratch/.unison..DS_Store.02a2343badb0ed90c1f4b72e3d8bb083.unison.tmp to 1901-12-13 at 21:45:52: the time was set to 1901-12-13 at 21:45:52 instead 100% 00:00 ETAFailed [.DS_Store]: Failed to set modification time of file /space/shares/scratch/.unison..DS_Store.02a2343badb0ed90c1f4b72e3d8bb083.unison.tmp to 1901-12-13 at 21:45:52: the time was set to 1901-12-13 at 21:45:52 instead UNISON 2.27.57 finished propagating changes at 20:02:11 on 08 Feb 2009 Saving synchronizer state Synchronization incomplete (0 items transferred, 0 skipped, 1 failure) failed: .DS_Store

Update 19.03.2009

In der Zwischenzeit hat sich doch ein ziemlich umfangreiches Repository angesammelt. Die Pakete enthalten meist nur die interpretierten Versionen, da es für die jeweiligen Plattformen keinen native code Compiler gibt. Bisher konnte ich aber keine Performanceprobleme feststellen.

• Unison 2.27.57 PowerPC für die DS-108j (Vielen Dank, Douglas!)
• Unison 2.27.57 ARM für die DS107+
• Unison 2.27.57 PowerPC für die DS209+
• Unison 2.27.57 für Ubuntu 7.10, x86