再起動をすると

2017年06月30日

ちまきのラボは,だいたい1~2週間に1回全体を再起動させます.
まぁ定期的な再起動をすることでおかしな挙動を見つけたり,長時間連続運転をさせずにトラブルを防いだりって目的ですね.
再起動する範囲は,VM,ESXiホスト,ストレージに限らず,L2スイッチまで再起動しています.
L2スイッチまで再起動しているのは,過去LAGを組んでいたポートがおかしくなった経験があるから,ですね.
その時はスイッチの電源を入れ直して再起動したところ,無事復旧したんですけどね.

まぁそんなわけで今週も再起動をしたんですが,今回はVCSA(vCenter Server Appliance 6.0.0.20000)が起動に失敗するって状態になってしまったのでした.
症状としては,起動時にコンソールに表示されるプログレスバーが8割くらいのところで止まる感じ.
それでも30分くらいすると起動してVCSAの起動画面が出るんだけど,vSphere Clientなどから接続してもサービスがあがってないみたいで,接続できない,と.
どうもvPostgresの起動とかに失敗してタイムアウトするって感じっぽかったのです.

ログなどを検索してみると,KB2149278にある症状みたいですね.
SSHでVCSAに接続して確認してみると,確かに4GB越えのログファイルが転がっていました(汗)
とりあえずこのでかいログを削除して再起動したら,無事vCenterが回復しました.
ま,とりあえず夏休みにはvSphere6.5にあげようかなぁなんて思っているので,とりあえずこの応急手当でよしとしておきました(笑)

それにしても,やっぱり再起動っていろいろ起きますね・・・

chimaki : 22:27 | Comments(0) | Trackbacks(0)

リプレース完了

2017年05月30日

そろそろ2年経ちますね,ということで.
2年前,病気が発覚して,入院して手術して,無事社会復帰して今に至るわけですが.
社会復帰前の投薬に打ちのめされて大変な目にあったりもしましたが,今のところ大きな問題などもなく,無事に生きています.
まぁ2年経過ってことで,定期検査をいくつか受けたり受けようとしていたりするんですが,このまま何もなく終わるといいなぁ.

さて.
前回ちょっと書いていましたが,無事サーバのリプレースが終わった,という話.
やることは大してないんですが,Linuxアプライアンスに追加でデーモンなどを足してたり.
具体的には物理サーバなのでNTPサーバとして使っている,というのと,Zabbixでの監視対象にする,UPS連動する,NICをLACPでチーミングさせる,というくらいですかね.
あとこれにあわせてFirewallの設定を変えてる感じかも?
この作業自体は,アプライアンスをVMから物理サーバに移行する際にも一度やってるんだけど,作業記録というか手順書を作らなかった関係で,今回も調べながらやることになってしまいました(汗)
まぁ,だるかったけど,(ながら作業&調べながらで)だいたい5時間くらいでした.
特段トラブルも起きずにさくっと終わったので良かったです.
ともあれ,これでリモートから電源制御できるようになったので,停電などがあっても簡単に復旧できるようになりましたG(≧ω≦)。

ちなみに,今回の増設というかリプレースで,いよいよL2スイッチのポートが足りなくなりました.
もともとけちって24ポートのスイッチを買ってしまったのが失敗だったんですが,8ポートスイッチをカスケードしてもいよいよ足りない・・・.
次,というかお盆休みには48ポートスイッチを導入して配線し直す事になるかなー?
ついでにサーバの位置なんかも変更したいので,ちょうどいいといえばそうなんだけど・・・.
夏の作業,汗だくになりそうだなぁ.

chimaki : 22:00 | Comments(0) | Trackbacks(0)

リプレースに向けて

2017年04月30日

まぁなんというか,またサーバを衝動買いしたという話ですが(汗)

ちまきのラボは2013年4月頃のQNAP(NAS)導入に端を発し,同5月にESXiをTX100S3p(E3-1220v2)に導入したのがスタートなんです.
QNAPのNASは最盛期で2台あったんですが,これらはすべてPCサーバベースのFreeNASにリプレースが完了し,そろそろTX100S3pのリプレースを,と考えていたわけです.
そしてこのタイミングで気になっていたサーバが1割ほど値下がりしたので,えいやと購入したのでした(笑)

ものは富士通のTX1320M2(E3-1220v5)です.
もともとのTX100S3pの直接の後継機はTX1310シリーズなんですが,この機種の問題はBMC(iRMC)が搭載されておらず,リモートでの電源操作などが一切できない,という点.
TX1320シリーズは,TX1310シリーズより小型にもかかわらずBMCをちゃんと内蔵していて,ちまきのような遠隔保守前提の環境に最適な訳です.
それから,ちまきのラボでは,ほとんどの永続データをFreeNAS上のCIFSもしくはiSCSIボリュームに保存している関係で,HDD搭載スペースが(起動ディスク以外)不要という状態なので,小型のサーバにしたかった,という点もマッチしています.
同じ小型という意味だと,HPEのMicroserver Gen8も候補なんですが,こちらはそもそも古い(他機種はGen9なので1世代以上古い),PCIeカードが1枚しか挿さらない,なにより高い,という問題があるので,今回はちょうどいいタイミングの買い物でした.

今回のリプレースでは,Linuxベースのアプライアンスを入れ替えるんですが,他のサーバ(ESXiホスト)リプレースにも使えるかどうか,ということで,構築前に事前評価をしてみました.
評価と行っても,ESXi(6.0)が導入できることは公式に謳われているので,ちまきのラボで必要な機能を使うことができるか,という観点で評価しました.
具体的には,複数枚のビデオカードを搭載してVMにパススルーすることができるか?と,増設NICを入れても大丈夫か,という点.
PCIeスロット的にはHHHLが4枚導入できるようになっていて,それぞれ
スロット1:PCIe x1 (スロットサイズx4)
スロット2:PCIe x4 (スロットサイズx4)
スロット3:PCIe x8 (スロットサイズx8)
スロット4:PCIe x8 (スロットサイズx8)
というサイズ.
また,スロット2~4はスロット端に溝が切ってあるので,より大きな形状のカード(x16用など)も挿すことができます.
マニュアルには一応各スロットに用途などが書いてありますが,どういう影響がでるかは今のところ不明です.
#TX100S3pは,一部スロットがRAIDカード専用と明記されており,当該スロットでは動作しないカードがあった.

スロット1:空き
スロット2:VGA(Radeon R5 230)
スロット3:VGA(Radeon R5 230)
スロット4:1G NIC(EXPI9402PT)

とりあえずこんな環境を構築してみて,2台のVMにそれぞれビデオカードをパススルーしてみました.
ゲームとかも試してみましたが,問題なく動くみたいです.
ちなみに問題点としては2つ.
1点は,サーバのVGA出力(BIOSとかESXiのコンソール)が,増設VGA側に出てしまったりするので(しかもESXi起動後はパススルーするので見れなくなる),障害時にちょっと面倒かもしれません.
2点目は,排熱が弱い,というところです.
今回は余っていたのが1G NICしかなかったので,こういう形で評価したんですが,本来は10G NICを増設したいのです.
そうなると発熱が大きな問題になりそうかな,と思いました.

小さい筐体ながらも,HHHLとはいえPCIeカードが4枚挿せ,メモリも64GBまで搭載できる事を考えると,ESXiホストとして使うのも結構有望だな,と思いました.
排熱面はちょっと心配なのと,筐体の構造上ファンを増設するのが結構難しいのがネックですね.
ビデオカードを減らしたりして,発熱を抑えるなどした方がいいかもしれません.
とりあえず簡単な評価はできたので,次にリプレースする時にまた考えようかな.

chimaki : 23:47 | Comments(0) | Trackbacks(0)

アップデートでありがちなこと

2017年03月31日

3月頭のことですが,FreeNASのアップデート(9.10.2-U2)が出たんですが,3週間ほど経ってからうちのラボでも適用をしてみたのです.
さくっとダウンロードが行われて再起動したらアップデート完了って流れなんですが,今回はちょっとトラブルが起きてしまいました.
FreeNASが,という訳でもないんですけどね.

具体的には,CIFS(Samba)で提供している領域が,他のサーバからマウントできなくなった,という話.
当初は原因特定する時間がなかったので,とりあえずFreeNAS側を9.10.2-U1に戻して再起動することで問題を先送りしたりしました(汗)

時間があるときに,マウントしている側(CentOS6.6系)のログなどを見てみると,

mount error(13): Permission denied
Refer to the mount.cifs(8) manual page (e.g. man mount.cifs)

ということで,認証に失敗してCIFS領域をマウントできないってことみたいですね.
FreeNAS 9.10.2-U2でSambaのバージョンが4.5.5にあがったようなんですが,デフォルトでNTLMv2のみの認証になってしまったみたいです.
マウントしている側をアップデートできれば一番なんですが,アプライアンス製品であるため,アップデートがしにくいんですよね.
なので,今回はFreeNAS側にNTLMv1での認証をさせるように変更しました.

設定自体は簡単で,「サービス」>「SMB」から設定画面を表示させ,補助パラメータに

ntlm auth = yes

を追記するだけ,です.
これを書いておくと,/etc/local/smb4.confのglobalセクションに追記されるようです.
これで無事にLinux側からマウントでき,元通りの状態になりました.
簡単に対応できたので大ごとにはならなかったんですが,やっぱり遠隔管理の装置を遠隔でアップデートするのは危険ですね(汗)
ということで,今後はもう少し慎重になろうと思いました(笑)

chimaki : 23:42 | Comments(0) | Trackbacks(0)

さよならQNAP

2017年02月28日

前回の日記で新しいストレージを構築しかけていた話を書いたんですが,いろいろあって思ったより早く構築する事になってしまいました.

今回構築したサーバは,HPE ProLiant ML110 Gen9をベースにしたFreeNASです.
ML110といえばG7以前の1万円そこそこで購入できるサーバが有名だったと思いますが,今回買っているのはだいぶ構成が違います.
おそらくML110 G7の後継機はML10 Gen9シリーズになるのかな.
なので,ML110 Gen9はXeon E5-1603v3を搭載しています.
最大メモリ搭載量は256GBまでサポートし,メモリ自体もDDR4のRDIMMだったりします.

具体的な構成としては,Xeon E5-1603v3,32GB(64GBに増設予定),6TB HDD x8(RAIDZ2)という,そろそろ中古車とか買えそうな値段になってきました.
用途としては,メインストレージのバックアップ先兼コールドスタンバイ機,ストリームデータの記録先,といったところです.
その為に50万以上のストレージを導入するのもどうだって話もありますが,もう構築して稼動も開始してしまったので・・・(笑)

そして.
ついにQNAPを停止させた,という話ですね.
2013年4月に稼動を始め,ちまきのプライベートラボ構築のきっかけとなったストレージアプライアンスですが,TS-269Proに引き続きTS-569Lも停止となりました.
メインストレージをExpress5800ベースのXeon機にしてからはバックアップ機としての色が強くなりましたが,ようやくです.
というのも,あまりにOS(QTS4.x)の動作が安定しないってのが一因ですね.
あとBMCを積んでないってのも痛いところ.
10G NICも挿せないし,後継機は高いしってことで,完全にFreeNASに移行することを決めたのでした.
新しいストレージは,まだメインストレージからのレプリカを作り終わってないので,この週末にかけて実施予定です.
それにしても,実効30TB以上のストレージってのはいいですね,広くて.

余ってしまった5本の5TB HDDは,そのうちML110 G7に搭載して遠隔地レプリカ用にしてもいいかな.
その時は6本で構成したいけど(笑)
そうすればRaspberry Piも止められるしね(笑)
Raspberry PiはGPSを付けてNTPサーバにしたい!!(笑)

ともかく.
QNAPは二度と買いません.

chimaki : 21:20 | Comments(0) | Trackbacks(0)