« 障害とかGoとか | メイン | ICU »

2018年09月30日

障害復旧

前回の障害,8月末に起こった障害からやっと回復しました.
もちろん復旧してからもう結構経ったんですが,約2週間(16日間)止まっていた感じ.
停止期間が長引いていたのは,交換部品の調達が遅れたってのが原因です.

障害箇所は,やはりHBA(SAS 9207-8i)の障害でした.
交換用に同じHBAを手配して,交換したら普通に動くように.
SAS 9300-8iにトライしてみても良かったんだけど,結局同じのにしました.
ちなみに,HBAのファームウェアはバージョンが古かったのでちゃんと書き換えています.
バージョンはP20(20.00.07.00)で,かつてバギーで使えないなんていわれていましたが,P19だとFreeBSDのドライバが警告を出してくるので,きっちりアップデートしておきます.
書き換えは,FreeDOSを使ってやってます.

ともかく,ハードウェアの交換はあっさり済んで,FreeNASの起動もちゃんと出来るようになったんですが,iSCSIで提供していたvSphere用のデータ領域の一部でトラブルがあり,4台ほどVMが正常動作しない(論理障害)という問題が・・・(汗)
バックアップはZFSのスナップショット(つまりブロックレベル)で取っているので,ファイルレベルの障害を回復できるか微妙でしたが,障害前日のスナップショットから無事回復できました.
正味の復旧作業はだいたい6~8時間ほど.
割と簡単に復旧はしてるんだけど,やっぱり遠隔地な分大変でした.

そしてそろそろESXiサーバの入れ替えを用意しないと・・・(汗)

投稿者 chimaki : 2018年09月30日 23:43

トラックバック

このエントリーのトラックバックURL:
http://blog.projectmd.com/cgi-bin/mt/mt-tb.cgi/767