ちまちまでぃず．: 障害復旧

2018年09月30日

障害復旧

前回の障害，8月末に起こった障害からやっと回復しました．
もちろん復旧してからもう結構経ったんですが，約2週間(16日間)止まっていた感じ．
停止期間が長引いていたのは，交換部品の調達が遅れたってのが原因です．

障害箇所は，やはりHBA(SAS 9207-8i)の障害でした．
交換用に同じHBAを手配して，交換したら普通に動くように．
SAS 9300-8iにトライしてみても良かったんだけど，結局同じのにしました．
ちなみに，HBAのファームウェアはバージョンが古かったのでちゃんと書き換えています．
バージョンはP20(20.00.07.00)で，かつてバギーで使えないなんていわれていましたが，P19だとFreeBSDのドライバが警告を出してくるので，きっちりアップデートしておきます．
書き換えは，FreeDOSを使ってやってます．

ともかく，ハードウェアの交換はあっさり済んで，FreeNASの起動もちゃんと出来るようになったんですが，iSCSIで提供していたvSphere用のデータ領域の一部でトラブルがあり，4台ほどVMが正常動作しない(論理障害)という問題が・・・(汗)
バックアップはZFSのスナップショット(つまりブロックレベル)で取っているので，ファイルレベルの障害を回復できるか微妙でしたが，障害前日のスナップショットから無事回復できました．
正味の復旧作業はだいたい6～8時間ほど．
割と簡単に復旧はしてるんだけど，やっぱり遠隔地な分大変でした．

そしてそろそろESXiサーバの入れ替えを用意しないと・・・(汗)

投稿者 chimaki : 2018年09月30日 23:43

トラックバック

このエントリーのトラックバックURL:
http://blog.projectmd.com/cgi-bin/mt/mt-tb.cgi/767