LTOドライブでバックアップ
ライブの配信などでATEM Mini Extreme ISOを使用してます。この装置は接続しているカメラのオリジナルデーターを同時にSSDに収録できる機能があり、念のためのバックアップに重宝しているのですがいかんせんデータ量が多いです。一回のライブで1Tバイトくらいすぐに使ってしまうときがあります。
もともと写真もRAWで撮ってますしこのデーターも多いので自宅のPC環境は自作で20Tの外付けRAIDなど用意してましたが、これもすぐに圧迫。今まではUSB外付け2.5インチHDDに保管していたのですが、これも手間だしコストも結構かかるのでとうとうLTOテープ装置に手を出してしまいました。イニシャルはかかるけど、テープは奥で安い時をねらえば結構安く手に入ります。
LTOドライブでバックアップを導入
LTOドライブはヤフオク中古の HP BRSLA-1204－DC（おそらくHPE StoreEver LTO6 Ultrium 6250 の中身だけ）
SASカードはやはりオクで定番のLSI 6Gb/s SAS9212-4i4eやLSI 6Gb/s SAS9212-4i HPのシールが貼ってあるくらいなのでまあ互換性は大丈夫そう
この2個を接続するケーブルは NFHK SFF-8482 SAS 29ピンから7ピンSATAハードディスクドライブケーブル＆15ピンSATA POWER 50CM amazon https://amzn.to/3FKmNvc これに電源は通常のSATA用のやつを刺せばOK この変換ケーブルの先端はSATAと全く同じですが通常のマザーボードにあるコネクターに刺しても動かない。要SASカード
今回windows11 Pro にインストール マザーボードにBIOSや起動時には何も設定せず。ただしマザーボードの制限で結構はまりました。PCIe 3.0 x16が2個付いているので普通に刺せば動くと思ったが、ウルトラ M.2 を使用していると、2レーン目は使用できないのでノーマルのM2にM.2SSDを移動。ノーマルM.2を使うとS-ATAの3番と4番のコネクターが使えないのでこれを増設したSASカードに指し直した。SASカードのコネクターは全くS-ATAとおなじで、通常のS-ATA HDDを刺せばそのまま動作するのでこれでほぼ問題は解決。ウルトラM.2からノーマルM.2にCドライブが変更になったが、ほぼ同時期に作業していたので、体感遅くなったとか気が付かないレベルだったので当面はこれで良し。
ドライバーはLSIのカードは自動。LTOドライブのドライバーは自動であたらなかったのでHPE(Hewlett Packard Enterprise）のサポートページhttps://support.hpe.com/connect/s/ からダウンロード。はじめにIDの登録が必要。
HPE StoreEver Tape Drivers for Microsoft Windows LTOのドライバーはほぼこれ
あとテープドライブを普通の記憶装置並みに使いやすくしてくれる、規格LTFSを使用するために以下が必要
●HPE StoreOpen Software for WINx64 現在 Ver 3.5.0
●HPE Library and Tape Tools
StoreOpen Softwareをインストールすると”HPE LTFS Configuration” ”HPE LTFS Cartridge Browser”がデスクトップにアイコンができますが、HPE LTFS Configurationでフォーマットやらマウントしたりができる
だが最初エラーとなってマウントができなかった。試行錯誤してドライバーとか色々悩んだけど、結果。
デバイス マネージャを開いてテープ ドライブを無効にしてから、有効にしたところ問題が無くなりました。
おそらくドライバー当てたときの順番か何かが悪さしたんでしょう=>以下のエクスプローラーが飛んだときにもマシンの再起動後これが必要だった
Windows11ではLTFSは不具合あり
ただこれでも動作するにはするけど、極めて安定性がなくファイルを書き込んでいる途中でエクスプローラーが固まる状態。
LTFSフォーマットを使用せずcygwinからUNIXコマンドでmtやtarでは上手く使用できておりLTFSとwindows11のエクスプローラーに何か問題が発生している模様；
LTOをwindows11で使っているような人は珍しいので、いくら検索してもこれという決め手になる記事は出てこない。
一応LSIのカードのファームの書き換えとか（これもかなり大変。最近のマザーがこういった古いカードを上手く扱いづらい）色々試したが結局エクスプローラーの問題にたどり着いてしまった。windows10のマシンをどこからか出してきて近いうちに再確認する
しばらくはcygwinでtarで使用するか
tarで使用する時の注意
ブロックサイズを忘れない
$ tar cvf /dev/nst0 -C /cygdrive/r/vtr/2018-* -b 1000
ーb 1000にしてブロック転送量を指定しないと劇的に遅くなる。このオプションをつけると、それ以後の確認や戻しのときにもつけないと動作しない。わざと大量にコピーしてテープまたぎに挑戦してみたが、書き込みはできるもののデーターの読み出しがテープまたいでいるデーターはうまくできない。今後要検討課題。当面はテープ容量以下をはじめに確認してからあまりギリギリはねらわずに使用するか。もともとデーターが圧縮された画像データーがほとんどなので、テープ装置の圧縮機能は使うつもりがないので、あまり容量計算で悩むことは無し。
tarをワイルドカード展開したときのファイルがどうも全部拾えてないような気がする。テープ内のリストをしっかり管理しておかないと、意味が無いため最初にfindでリスト作成してそのデーターでtarでテープ書き込みを実施する。これなら確実
例：R：VTRの2019- のデーターをテープに書き込む手順。/cygdriveはwindowsのドライブの指定。
find /cygdrive/r/vtr/2019-* -type f -print0 > /cygdrive/f/list.txt
$ tar cvf /dev/nst0 -b 1000 –files-from=/cygdrive/f/list.txt >/cygdrive/f/R2019_tar.txt
一回環境変数に入れておく
毎回 /dev/nst0 入力が面倒な場合 $ export TAPE=/dev/nst0 で環境変数に入れる
テープの内容確認
$tar tv -b 1000
テープの残容量を確認するのは最後のブロックまで送っておいて
$ mt eod
mt: /dev/nst0: Input/output error ここでなぜかエラーが出る この時点では最終データーまででEOFまで到達していないので、データー追加時には
$ mt eof
で最終EOFまで進め、block numberを０にする。
$ mt tell
でブロック数を出して x512kbyte これが使用量なので、テープの容量 LTO5＝1.5TB LOT6＝2.5TBから引く
テープの先端や最後に書き込み時に記録しておいた、tarの中身のデーターを記録しておくと中身の確認時に楽。テラバイト記録してあるテープの全データー走査には数時間かかる。
追記
やはりｗｉｎｄｏｗｓ１１の不具合のようであった。Windows11 バージョン22H2で大きなファイルコピーが遅くなることが判明して、現在パッチ待ち。キャッシュ マネージャー (バッファー I/O) を使用すると遅くなるらしい。XCOPYなどを使うと良い。=>確かにその通り エクスプローラーを使わないコピーツールでは問題が発生しない。古くからあるコピーツール FastCopyなどではLTSFでマウントしてコピーできた。
Windows10 にセットしたところ問題なく動作しました。適当な余っていた部品で１台作成してバックアップ専用マシンを作成して、手動でバックアップしてます。