rsyncのappendオプションのせいでファイルが壊れたり転送されない件について

データのバックアップにrsyncを使ってみたのですが、appendオプションをつけたせいでファイルが壊れたり転送されなかったりしてはまったので、もうはまらないように備忘録を残しておきます。

現象#

rsyncでファイルの同期をとろうと思ったのですが、一部ファイルが転送されなかったり壊れたりしました。

まずは差分があるのにファイルが更新されないパターンです。以下のようなファイルがあって、src/以下のファイルをdst/に転送したいです。

1
$ cat src/hoge.txt
2
hogehoge
3

4
$ cat dst/hoge.txt
5
fugafuga

この場合、append付きのrsyncのコマンドは以下のようになります。期待としては、src/hoge.txtとdst/hoge.txtが同じ内容になっていてほしいです。

1
$ rsync -a --append src/ dst/

実行してみました。dst/hoge.txtの内容は更新されませんでした。

1
$ cat dst/hoge.txt
2
fugafuga

いろいろ試したところ転送前の状態が、src/hoge.txtのファイルサイズ≦dst/hoge.txtのファイルサイズの場合、差分があっても更新されないみたいです。

差分バックアップをしたかったので、上のコマンドにlink-destオプションも追加してみました。ファイルは以下のようになっています。link-destにはdst/を指定します。

1
$ cat src/hoge.txt
2
hogehoge
3

4
$ cat dst/hoge.txt
5
fugafuga
6

7
// 何も表示されない
8
$ ls dst2/

この場合、rsyncのコマンドは以下のようになります。期待としては、新しくdst2/hoge.txtが作成されていてほしいです。

1
$ rsync -a --append --link-dest=`pwd`/dst/ src/ dst2/

実行してみました。dst2/以下には何も転送されていません。

1
// 何も表示されない
2
$ ls dst2/

先ほど同様、転送前の状態がsrc/hoge.txtのファイルサイズ≦dst/hoge.txtのファイルサイズの場合、差分があっても更新されないみたいです。

次はappendオプションをつけてファイルが壊れるパターンです。以下のようなファイルがあります。これをappendオプションをつけてrsyncで転送してみます。

1
$ cat src/hoge.txt
2
hogeeeeeee
3

4
$ cat dst/hoge.txt
5
fugafuga

rsyncコマンドは以下です。src/hoge.txtの内容がdst/hoge.txtに反映されていてほしいです。

1
$ rsync -a --append src/ dst/

実行してみました。dst/hoge.txtが2つのファイルが混ざったようなおかしなことになりました。

1
$ cat dst/hoge.txt
2
fugafugaee

諸々試してみた感じ、転送前の状態で次の2つの条件を満たすとこの事象は発生しました。

rsyncについて調べたときに、途中で中断・再開するためにはappendオプションをつけておけ、みたいな記事を見かけたので何も考えずにつけたのですが、このappendオプションが悪さをしていたみたいです。

manコマンドでappendオプションの意味を調べてみます。

1
$ man rsync
2
...
3
     --append                append data onto shorter files
4
...

今まで試したrsyncの挙動と一緒に考えると、どうやら転送先ファイルの方がサイズが小さい場合に、サイズの違い分の差分のみを転送先ファイルに追加しようとするようです。

つまり今回のファイルが壊れるケースだと、ファイルサイズの差分分の末尾のeeだけ転送しようとしたようです。しかし、実際には末尾ee以外にも差分があったため、実行結果が2種類のファイルの内容が混ざったようなおかしなことになったようです。

なので、

といった状態になるみたいです。