スキップしてメイン コンテンツに移動

NASのバックアップ設定でハマった

NASを買った。数年前にSynologyのDS-220+を導入して写真置き場として使ってるので2台目となる。買ったのはQNAP TS-253Dというモデル。メーカーが揃ってないのが気になるが、DS220+より格上モデルである。なんとこれが15k円で買えた。買わんわけがない。買ってから数週間眠らせていたが、夏休みに突入したのもあって重い腰を上げてセットアップをすることにした。

HP-A8って立てて使っていいのかな……

中身のHDDは新調したいところだが、このご時世気が狂うほど高い。10TB超のを2発買おうもんなら10万オーバーである。というわけで、HDDは新調せず、RATOCのRAIDケースに入れてSynologyのバックアップ用としていたWDのUltrastar DC HC530(Amazonでリファービッシュがやけに安かったときに買った)を流用することにした。NASに差して初期構築するとフォーマットされてしまうが、そもそもバックアップしか入れてないのですぐ取り直せば問題ない、という算段である。

最初に思いついたのは下記のような構成

  • PCローカル(5.5TBぐらい):QNAP HDP for PC/VMを使ってQNAPに取る
  • Synology(7.5TBぐらい):Synology Hyperbackupを使ってQNAP(Rsync)に取る

PCローカルの方は初回バックアップも半日ほどで終わり、問題なく完了。PC<->QNAPは2.5GbEで繋がっているのもあり、目測200MB/sほど出ていたため半日ほどでつつがなく完了。

一方、Synology->QNAPの方は15MB/sほどしか出ていない……。このままのペースでは1週間以上掛かるが?ということでGeminiに泣きつく(今思えばこれも泥沼の原因かもしれない)。


まずGeminiが指摘したのは、バックアップ対象にActive Backup for Businessのリポジトリが含まれていること。これは今までPCのイメージバックアップをSynologyで取っていたときのもので、今後QNAPで取るようになるのでそのうち消す予定だった。とりあえず入れとけばええわwとバックアップ対象に入れてしまったが、管理用の細切れデータが大量にあるからスループットに影響しているだろう(実際中にsqliteのDBファイルがある)、というのがGeminiの見立て。実際バックアップが必要かと言われたら要らんので、実行中のタスクをキャンセル、諸々リセット(バックアップ先もボリュームごと末梢)の上、上記リポジトリを除外して再実行。

……変わらん。ほんのり速くなった(10~15MB/sから20~25MB/s)が、絶望的に遅いことには変わらず、仮に初回に1週間掛けて終わったとしてもその後数百GBの差分が発生すればそのたびに丸1日バックアップが走ることになる。流石に看過できないと再びGeminiに相談。


Synologyのリソースモニタを見ていると、ディスクIOの大半はWrite側で発生している様子。そりゃHDDでランダムデータの読み書きを同時にやってたらバカでかいオーバヘッドになるだろう。これがどういうことなのかというと、先ほど出てきた管理用の細切れデータというのが答えらしい。HyperBackupには「複数バージョン」と「単一バージョン」の2つのモードがあり、Synologyナレッジセンターによると下記のような違いがある。


もう少し詳しく書くと、複数バージョンの場合は全てのファイルがいったんブロック単位にバラされた上で転送・保存される(ブロックと実データの紐付は独自のDBに保存される)ということである。これによって重複排除やバージョン管理、暗号化を実現しているとのこと。それ故、バックアップはSynology以外のシステムにはリカバリできないし、直参照もできない。

一方、「単一」の方はシンプルなファイルバックアップ。ただし、差分転送はやってくれるので毎回フルバックアップにはならないらしい。こちらはソースのディレクトリ構造がそのままバックアップ先に作成されるため、リカバリ先にも縛られないし直参照も可能。

スループットを考えると「単一」以外の選択肢はないわけだが、本当にそれでいいのかと逡巡。今回の場合、保護したいデータのほとんどは写真のRAWデータ+書き出したJPEGである。つまり、ファイル単体に対する上書き変更はほとんど発生しない(LightroomのカタログはPC内のSSDにあり、QNAP側にバックアップされるので関係ない)。そしてバイナルレベルで一致しているファイルなんてほぼ存在しない。つまり「複数」の旨みはほとんど感じられない。加えて、必ずしも有事のリカバリ先がSynology NASになるとも限らないことを考えると、ここで変なベンダーロックインを作っておくのもイマイチと判断。

というわけで最終的に落ち着いたのが以下の構成。

  • PCローカル(5.5TBぐらい):QNAP HDP for PC/VMを使ってQNAPに取る
    • 変わらず
  • Synology(7.5TBぐらい):Synology Hyperbackupを使ってQNAP(Rsync)に取る
    • ジョブを2つに分割
      • アプリのパッケージ:「複数」で取る(単一では取れなかった)
      • 共有フォルダ:「単一」で取る

アプリのパッケージが要るのかどうかは微妙だが、取れるものは取っておこうということでジョブを分割して対応。こっちは数十MBもないため「複数」でも一瞬で終わった。そして容量比99パーセント以上を占める共有フォルダを「単一」で取ることにした。

これを書いている今まさに「単一」での初回バックアップを取っているところである。幸いなことに安定して100MB/s出ている(Synology<->QNAPは1GbEのためほぼ理論値)。これであれば24時間もあれば完了するだろう。

とりあえずはこれでしばらく放置してみようと思う。目下の問題はゴリゴリゴリゴリうるせえことである。防音措置を考えないとなあ……(NASと同じ部屋で寝てるのが悪い)。そしてQTSが難しい。DSMすら大して使いこなせているわけではないが、QTSはUIにクセがあって取っつきにくく感じる。やっぱりSynologyで揃えていきたいなあ、と思いつつHDDのロックインはクソほど気に入らねえしどうしたものか。UGREENとかも気になるしね。とにかくHDD安くなってくれ頼む。

このブログの人気の投稿

「LR/Mogrify 2」+「LensTagger」でLightroomから撮影情報の透かし入り写真を書き出す

Lightroomには書き出し時に透かしを入れる機能がある。 この機能はいわゆる著作権情報や「SAMPLE」みたいなのを入れるためのもので、 入れる文字列は固定になってしまう。 Twitterとかに写真上げるとき、撮影情報の透かし入れれるとかっこいいよなあとは昔から思ってて、 Lrでスッと出来ればいいのにってずっと思ってた。 有料の拡張入れれば出来るのは前から聞いてたし、つまりは拡張入れないと出来ないわけで、 めんどくせっつってずっと忘れてた。 先日急にその事を思い出し、調べてみると透かしに動的なデータを流し込む拡張は 「 LR/Mogrify 2 」というらしい。 最低3.5EURの寄付でフル機能が使えるタイプのカンパウェア。 インストールは若干メンドくさいが、 http://rihla.hatenablog.com/entry/2017/11/01/230616 http://www.twinklestars.net/entry/2015/06/29/173456 あたりを参考にさせていただいた。 で、僕はニコンのカメラを使ってるわけだが、 ニコン機で撮った写真のEXIFに残るレンズ名は非常に儚い。 純正レンズだろうが非純正レンズだろうが「○○mm f/××」という簡素にも程がある情報しか残らないのである。 150-600Sの場合がこれ。 このままだと、LR/Mogrify 2を使ってもこの貧相なレンズ名が透かしとして入るだけで、機材ドヤリング用としてはほとんど意味を成さない。 というわけで、EXIFを改竄する必要がある。 それに使うのが「 LensTagger 」だ。 これはフリーで、LR/Mogrify 2と同じく、Lrの拡張機能にあたる。 随分前になぜか導入だけしてずっと使ってなかった。 http://pentax-memo.brassworks.jp/memo/lightroom-lens-edit/ 導入&使用法はこのあたりを参考にした。(と思う) これは本来、非CPUレンズ(レンズ名が「0mm f/0」になる)の写真や、スキャンしたフィルム画像にレンズ情報を入れる為の拡張だが、 焦点距離や開放F値とは別にレンズ名自体も変更できるのでその機能を使う。 両方とも導入がメンドくさい...

ゆのくに天祥でアニクラのカメラマンをやった

 先日、石川県の「ゆのくに天祥」に69人で団体宿泊するという奇祭に参加させてもらった。表向きは蓮ノ空女学院スクールアイドルクラブのファン有志のイベントなのだが、実際のところは自分含めて蓮ノ空にあまりコミットしていない人も多数参加していた。どんなイベントだったのかは幹事の1人である去勢さんのブログを参照されたい。 一泊二日(といってもほとんどがメインだが)のイベントは大盛況のうちに終了し、余韻の覚め遣らぬうちに…ということで参加者が皆ブログを書き始めたので便乗しようと思う。が、ネタがない。今回は往復ともに知人参加者の車に便乗させてもらったため、関東/愛知から原チャで来た変な人たちみたいに道中をネタにすることもないし(なくはない)、もちろん主催でも幹事でもないのでそういう目線の話もできない。かといって、参加者として記事にするつもりで記録をしているわけでもないので、それはそれでできない。でもなんか記事を書きたい……ということでこういうタイトルになった。ちなみに原チャ軍団のブログも貼っておくのでご興味のある方は是非(車でも大概遠いと思うのですが……)。 愛知から来た人: 2泊3日のバイクツーリングに行った -前編- - もつにこみのブログ 東京から来た人: 東海・北陸・甲信をひた走る原付1,300kmツーリング① 往路編 - 9sk_garage  本題 本イベントでは目玉企画として、ゆのくに天祥にある「ガーデンホール白雲」という貸し切り専用のホールでアニソンDJイベント(以下アニクラ)が開催された。オタクソングに浸ること自体は大好きだが、蓮の曲はあまり知らないしオタ芸も打てないので、勝手にカメラ係を自称して写真撮影を頑張ることにした(後々知ったが幹事の皆さんはカメラ係を欲していたようで事前に名乗り出ておくべきでした、すみません)。大学生時代こそバイトで様々なイベントを撮影していたが、社会人になってからはめっきり。思ったより体は動いたものの準備不足が否めない感じとなってしまったので、自分への備忘録も兼ねて記事にまとめておこうと思い立った次第。 ゆのくに天祥では勝手に撮影係を自称してカメラを振り回してました。特に2次会(アニクラ)は久々のアドレナリン出る系撮影だったのもあって、あの一晩で1500枚ほど撮ってたみたいです。速やかに選別・現像して皆様へお届けし...