アップデートでありがちなこと
3月頭のことですが，FreeNASのアップデート(9.10.2-U2)が出たんですが，3週間ほど経ってからうちのラボでも適用をしてみたのです．
さくっとダウンロードが行われて再起動したらアップデート完了って流れなんですが，今回はちょっとトラブルが起きてしまいました．
FreeNASが，という訳でもないんですけどね．
具体的には，CIFS(Samba)で提供している領域が，他のサーバからマウントできなくなった，という話．
当初は原因特定する時間がなかったので，とりあえずFreeNAS側を9.10.2-U1に戻して再起動することで問題を先送りしたりしました(汗)
時間があるときに，マウントしている側(CentOS6.6系)のログなどを見てみると，
mount error(13): Permission denied
Refer to the mount.cifs(8) manual page (e.g. man mount.cifs)
ということで，認証に失敗してCIFS領域をマウントできないってことみたいですね．
FreeNAS 9.10.2-U2でSambaのバージョンが4.5.5にあがったようなんですが，デフォルトでNTLMv2のみの認証になってしまったみたいです．
マウントしている側をアップデートできれば一番なんですが，アプライアンス製品であるため，アップデートがしにくいんですよね．
なので，今回はFreeNAS側にNTLMv1での認証をさせるように変更しました．
設定自体は簡単で，「サービス」＞「SMB」から設定画面を表示させ，補助パラメータに
ntlm auth = yes
を追記するだけ，です．
これを書いておくと，/etc/local/smb4.confのglobalセクションに追記されるようです．
これで無事にLinux側からマウントでき，元通りの状態になりました．
簡単に対応できたので大ごとにはならなかったんですが，やっぱり遠隔管理の装置を遠隔でアップデートするのは危険ですね(汗)
ということで，今後はもう少し慎重になろうと思いました(笑)
リプレースに向けて
まぁなんというか，またサーバを衝動買いしたという話ですが(汗)
ちまきのラボは2013年4月頃のQNAP(NAS)導入に端を発し，同5月にESXiをTX100S3p(E3-1220v2)に導入したのがスタートなんです．
QNAPのNASは最盛期で2台あったんですが，これらはすべてPCサーバベースのFreeNASにリプレースが完了し，そろそろTX100S3pのリプレースを，と考えていたわけです．
そしてこのタイミングで気になっていたサーバが1割ほど値下がりしたので，えいやと購入したのでした(笑)
ものは富士通のTX1320M2(E3-1220v5)です．
もともとのTX100S3pの直接の後継機はTX1310シリーズなんですが，この機種の問題はBMC(iRMC)が搭載されておらず，リモートでの電源操作などが一切できない，という点．
TX1320シリーズは，TX1310シリーズより小型にもかかわらずBMCをちゃんと内蔵していて，ちまきのような遠隔保守前提の環境に最適な訳です．
それから，ちまきのラボでは，ほとんどの永続データをFreeNAS上のCIFSもしくはiSCSIボリュームに保存している関係で，HDD搭載スペースが(起動ディスク以外)不要という状態なので，小型のサーバにしたかった，という点もマッチしています．
同じ小型という意味だと，HPEのMicroserver Gen8も候補なんですが，こちらはそもそも古い(他機種はGen9なので1世代以上古い)，PCIeカードが1枚しか挿さらない，なにより高い，という問題があるので，今回はちょうどいいタイミングの買い物でした．
今回のリプレースでは，Linuxベースのアプライアンスを入れ替えるんですが，他のサーバ(ESXiホスト)リプレースにも使えるかどうか，ということで，構築前に事前評価をしてみました．
評価と行っても，ESXi(6.0)が導入できることは公式に謳われているので，ちまきのラボで必要な機能を使うことができるか，という観点で評価しました．
具体的には，複数枚のビデオカードを搭載してVMにパススルーすることができるか？と，増設NICを入れても大丈夫か，という点．
PCIeスロット的にはHHHLが4枚導入できるようになっていて，それぞれ
スロット1：PCIe x1 (スロットサイズx4)
スロット2：PCIe x4 (スロットサイズx4)
スロット3：PCIe x8 (スロットサイズx8)
スロット4：PCIe x8 (スロットサイズx8)
というサイズ．
また，スロット2～4はスロット端に溝が切ってあるので，より大きな形状のカード(x16用など)も挿すことができます．
マニュアルには一応各スロットに用途などが書いてありますが，どういう影響がでるかは今のところ不明です．
＃TX100S3pは，一部スロットがRAIDカード専用と明記されており，当該スロットでは動作しないカードがあった．
スロット1：空き
スロット2：VGA(Radeon R5 230)
スロット3：VGA(Radeon R5 230)
スロット4：1G NIC(EXPI9402PT)
とりあえずこんな環境を構築してみて，2台のVMにそれぞれビデオカードをパススルーしてみました．
ゲームとかも試してみましたが，問題なく動くみたいです．
ちなみに問題点としては2つ．
1点は，サーバのVGA出力(BIOSとかESXiのコンソール)が，増設VGA側に出てしまったりするので(しかもESXi起動後はパススルーするので見れなくなる)，障害時にちょっと面倒かもしれません．
2点目は，排熱が弱い，というところです．
今回は余っていたのが1G NICしかなかったので，こういう形で評価したんですが，本来は10G NICを増設したいのです．
そうなると発熱が大きな問題になりそうかな，と思いました．
小さい筐体ながらも，HHHLとはいえPCIeカードが4枚挿せ，メモリも64GBまで搭載できる事を考えると，ESXiホストとして使うのも結構有望だな，と思いました．
排熱面はちょっと心配なのと，筐体の構造上ファンを増設するのが結構難しいのがネックですね．
ビデオカードを減らしたりして，発熱を抑えるなどした方がいいかもしれません．
とりあえず簡単な評価はできたので，次にリプレースする時にまた考えようかな．
リプレース完了
そろそろ2年経ちますね，ということで．
2年前，病気が発覚して，入院して手術して，無事社会復帰して今に至るわけですが．
社会復帰前の投薬に打ちのめされて大変な目にあったりもしましたが，今のところ大きな問題などもなく，無事に生きています．
まぁ2年経過ってことで，定期検査をいくつか受けたり受けようとしていたりするんですが，このまま何もなく終わるといいなぁ．
さて．
前回ちょっと書いていましたが，無事サーバのリプレースが終わった，という話．
やることは大してないんですが，Linuxアプライアンスに追加でデーモンなどを足してたり．
具体的には物理サーバなのでNTPサーバとして使っている，というのと，Zabbixでの監視対象にする，UPS連動する，NICをLACPでチーミングさせる，というくらいですかね．
あとこれにあわせてFirewallの設定を変えてる感じかも？
この作業自体は，アプライアンスをVMから物理サーバに移行する際にも一度やってるんだけど，作業記録というか手順書を作らなかった関係で，今回も調べながらやることになってしまいました(汗)
まぁ，だるかったけど，(ながら作業＆調べながらで)だいたい5時間くらいでした．
特段トラブルも起きずにさくっと終わったので良かったです．
ともあれ，これでリモートから電源制御できるようになったので，停電などがあっても簡単に復旧できるようになりましたＧ(≧ω≦)。
ちなみに，今回の増設というかリプレースで，いよいよL2スイッチのポートが足りなくなりました．
もともとけちって24ポートのスイッチを買ってしまったのが失敗だったんですが，8ポートスイッチをカスケードしてもいよいよ足りない・・・．
次，というかお盆休みには48ポートスイッチを導入して配線し直す事になるかなー？
ついでにサーバの位置なんかも変更したいので，ちょうどいいといえばそうなんだけど・・・．
夏の作業，汗だくになりそうだなぁ．
再起動をすると
ちまきのラボは，だいたい1～2週間に1回全体を再起動させます．
まぁ定期的な再起動をすることでおかしな挙動を見つけたり，長時間連続運転をさせずにトラブルを防いだりって目的ですね．
再起動する範囲は，VM，ESXiホスト，ストレージに限らず，L2スイッチまで再起動しています．
L2スイッチまで再起動しているのは，過去LAGを組んでいたポートがおかしくなった経験があるから，ですね．
その時はスイッチの電源を入れ直して再起動したところ，無事復旧したんですけどね．
まぁそんなわけで今週も再起動をしたんですが，今回はVCSA(vCenter Server Appliance 6.0.0.20000)が起動に失敗するって状態になってしまったのでした．
症状としては，起動時にコンソールに表示されるプログレスバーが8割くらいのところで止まる感じ．
それでも30分くらいすると起動してVCSAの起動画面が出るんだけど，vSphere Clientなどから接続してもサービスがあがってないみたいで，接続できない，と．
どうもvPostgresの起動とかに失敗してタイムアウトするって感じっぽかったのです．
ログなどを検索してみると，KB2149278にある症状みたいですね．
SSHでVCSAに接続して確認してみると，確かに4GB越えのログファイルが転がっていました(汗)
とりあえずこのでかいログを削除して再起動したら，無事vCenterが回復しました．
ま，とりあえず夏休みにはvSphere6.5にあげようかなぁなんて思っているので，とりあえずこの応急手当でよしとしておきました(笑)
それにしても，やっぱり再起動っていろいろ起きますね・・・
投稿者 chimaki : 22:27 | コメント (2) | トラックバック
夏休みの宿題は？
夏休みに限らず，長期休暇の際はラボのメンテを行うチャンスな訳ですが，今回もお盆休みの計画を立てたりしました．
今回は，スイッチ周りをいじります．
みなさんの家ラボは，どれくらいのポート数を使ってます？
ちまきのラボは意外にポート数が少なく，24ポートスイッチと8ポートスイッチをカスケードして使ってます．
あ，これと10Gbpsの8ポートスイッチもあるかな．
で，この24ポートスイッチがいい加減ポート不足になっていて(なので8ポートスイッチを臨時でカスケードしている)，今回はこのスイッチのリプレースをしようと思っています．
単純には48ポートスイッチに入れ替えるのがいいんですが，今回は24ポートスイッチを2台入れる作戦です．
モノはNETGEARのS3300-28X(GS728TX-100AJS)です．
ポイントは，10Gアップリンクが4つもついているのと，スタッカブルスイッチ(複数台をまとめて管理できる)である，という点ですかね．
値段的には52ポート品(S3300-52X(GS752TX-100AJS))を1台買う方が安いんですが，28ポート品をスタッキングすると冗長構成に出来たり，スイッチまたぎのLAGを構成できたりするので，今回はこの構成にしました．
といってもまぁ，まだ発注したばかりで納品されてないんですけどね(笑)
あとこれにあわせて装置の場所入れ替えとケーブリングのやり直しを考えているので，結構大規模な作業になる見込みです．
2～3日はかかるのかな・・・？
ポート配置も検討しなきゃだし，事前作業もぼちぼち進めなきゃいけないですね．
暑いのに大変(笑)
スタッカブル
もうすぐ8月も終わりって事で，あっさりとお盆休みは終わり，暑い日々を過ごしています．
前回発注したと書いていたスタッカブルスイッチ(S3300-28X)も，無事ラボに導入完了しました．
職場でも同機種(S3300-52X)を使っていたこともあり，初期設定や導入手順含め，特に何も調べることなくさくさくできました(笑)
一番大変なのはケーブリングだしね・・・(汗)
ケーブルはCat.6が約30本，Cat.6Aが8本，スタック用のSFP+(DAC)が2本，KVMスイッチ用のCat.6が6本ということで，40本強ってところですかね．
ケーブルは流用してもよかったんですが，いいタイミングだったのでこちらも全部新しくしています．
ケーブルのラベリングとかポート設計なんかは事前に行っていたので，停止時間はだいたい5時間くらいですみました．
UPSも動かしたり，電源系も変更したりしたので，汗だくな上に筋肉痛にもなりましたけどね(笑)
ただ，事前の準備をしっかりしていたおかげで，誤接続などもなく，1発動作できました(笑)
やったね！(笑)
これ以外の作業としては，vSphere6.0u2を6.0u3にアップデートしたり，親にiPad Airを譲渡して宅内動画配信を利用できるようにしたりってのがありました(笑)
iPad Airの使い方を仕込むのが一番大変だった夏休みでしたね(笑)
ちなみにvSphere6.5へのアップグレードと，Zabbixサーバの3.0LTSへの移行は時間というか，やる気が無くて出来ませんでした(笑)
これらは年末年始にやるのかなー？
特にvSphere6.5はvSphere Clientが使えなくなるみたいだし，まだまだ様子見な感じです．
投稿者 chimaki : 22:03 | コメント (2) | トラックバック
3.0LTS
夏が終わってしまう前に，夏にやり残したことを．
というわけで，ラボのZabbix環境を2.2LTSから3.0LTSへ移行することにしました．
元々は，フルサポートが終わる先月までに構築する予定だったんですが，結局シルバーウィークの連休中に作業することになりました．
どうしてこんなに置いていたのかというと，もともと2.2LTSの環境自体がちゃんと構築してなかったから，という話．
どういう意味かというと，実は2.2の環境はちゃんと構築したモノではなくて，評価用のVMイメージ(Zabbixアプライアンス)だったから，というわけです．
アプライアンス自体は簡単に導入できるので，それはそれでいいんですが，本番環境としてはサポートしないものらしい(評価用)ので，CentOSで構築しようと思ってたんですよね．
じゃぁさっさと構築すればよかったんですが，CentOS6系でやるか7系でやるかを決めきれずに放置していた，と(笑)
それが先月，親用のDLNAサーバをCentOS7で構築したのをきっかけに，ZabbixサーバもCentOS7で構築することにした，という話ですね(笑)
ちなみに，うちで監視対象にしているのは，ESXiホストが2台，FreeNASが2台，Linux(物理)が2台，スイッチが3台(1スタック＋1台)，UPSが2台，ルータが2台といったところ．
このうち，Agentを使って監視しているのはFreeNASとLinuxで，ESXiはvSphereAPI経由，それ以外はSNMPでの監視にしています．
サービス監視までは頑張ってなくて，テンプレートで取得できる程度のところで満足しています(笑)
まぁ，物理障害が通知できればいいかな，という程度なのでがんばってないのです(笑)
構築自体は先人達の記録をいくつか参照しながらやって，おおむねトラブル無く終わりました．
うっかりミスとしては，vSphereAPI用のポート(http経由なので80番)，SNMPのポートを開け忘れたくらいですかね(笑)
それにしてもCentOS7って，6系からずいぶん変わりましたよね．
Firewall設定とかが有名な気もするけど，まさかNTPがリプレースされてた(Chronyd)とか，びっくりしたよ(笑)
次はDNSをCentOS7に移行しようかなぁ．
久しぶりの大散財
というわけで，今月は大分お金を使いましたよっと．
まぁそもそもその前に「がっこうぐらし！」にはまって，Blu-rayを全巻(単巻で)揃えたりしてましたけどね(笑)
今回の散財は，みなさんご存じのiPhoneX以外に，ThinkPad 25，PSVRです．
iPhoneXは，無事予約できて，11/3には入手できる見込みです．
256GBのシルバー，SIMフリーモデルですね．
特段触れることもないんだけど，予約自体は大変なこともなく，時間通りにやっていれば問題なくいける感じでした．
ミニスーパーファミコンとかの方がよっぽど大変(汗)
iPhone7は知人に買い取られていくことになってます(笑)
ThinkPad 25は，ThinkPadの25周年記念モデルで，T470ベースのものらしいですね．
こちらも発売日(10/20)に配送されましたが，この週末にようやくセットアップ＆移行した感じです．
ただ，外部接続ディスプレイとして使っていたTVが古いからか(2010年モデル)，ちゃんと同期しなくて，画面が出ないということが起きました(汗)
PC用ディスプレイにはちゃんと表示できるのになぁ・・・．
とりあえずUSB-C側からAppleのUSB-C Altモード対応アダプタを使ってHDMI接続したら普通に映像，音声共に出力できたので，しばらくはこれで様子見します．
TV買い替えは面倒すぎて・・・
あと，nasne接続に使っていたPC TV PlusにはHDCP非対応判定されてしまい，映像見れず，という感じです．
PC用ディスプレイでも表示ができないっぽいので，こちらもなんだかおかしな感じです．
まぁ，他のPCでは見れるので，こちらもしばらくは様子見ですかね・・・．
MacBookProでは大丈夫だったんだけどなー・・・．
そしてPSVR．
ふと川崎に映画を観に行ったついでに電気店を覗いたら，普通に売ってました．
なのでとりあえず買ってみたって感じです．
むしろ重い荷物を持って帰宅してから，銃型のコントローラーやゲームを買ってきて早速プレイしましたが，すごく酔う(笑)
クロスモーダル現象というらしいですが，視覚から得る情報と，体が感じる慣性などがマッチしていない状態がダメなようで，すごく酔いました(笑)
普通の3Dゲームだと全く酔わないのに，VRはダメでしたねぇ．
体験型のアトラクションは，視覚情報と慣性などが連動しているから酔わないってことなんでしょうね．
とりあえず1時間くらいプレイした後は電源すら入れてないけど(笑)
てことで，一気に40万くらい使っちゃいました(汗)
まぁ冬のボーナスで買うモノを先に買っちゃった感じですかね・・・(汗)
しばらく大人しくしなくては・・・(汗)
FreeNAS 11系へ移行
明けましておめでとうございました(汗)
ということで，もうすぐ1月も終わってしまいますが，なんとかギリギリに更新します(笑)
年末年始の帰省の際に，ラボのストレージをバージョンアップしたんですが，その時のトラブルを解決した方法のメモを．
具体的には，FreeNAS 9.10.2-U6を，11.1にアップグレードしました．
ベースのFreeBSDが11系にあがるのが一番大きいですが，その関係でトラブルがあったのでした．
といっても，オリジナルのFreeNASに問題があったわけではなくて，個別で導入していたZabbix Agentが動かなくなったので，対処した，という話です．
原因としては，Zabbix AgentのバイナリがリンクしているライブラリがFreeBSD 11系では使用できずにエラーを吐いて起動しない，というもの(たぶん)．
なのでバイナリを入れ替えれば済みそうってレベルなので，大したことは無いですが・・・．
というわけで，まずはZabbix Agentのバイナリを探します．
自分でコンパイルとかしてもいいんだろうけど，いちいちFreeBSD用コンパイル環境を準備するのも面倒ってことで，オリジナルのリポジトリを探しました．
このへんを探すと，Zabbix Agentのパッケージがいろいろ転がっていました．
ウチのZabbix ServerはCentOS7上の3.0LTSなので，バージョンをあわせて3.0系のものを落としてきました．
というわけで，Linuxかなんかで
$ xz -dc zabbix3-agent-3.0.14.txz | tar xfv -
として解凍し，zabbix_agentdを探します．
多分「解凍Dir/usr/local/sbin/zabbix_agentd」あたりにあると思います．
後は，このあたりを参考に準備します．
ただし，この参考記事自体はFreeNAS 9.10系までですので，FreeNAS 11系向けにアレンジしています．
大半は一緒ですが簡単になぞっておくと，
・Zabbix用のデータセットを適当なPOOLに作成する
・「zabbix」なるユーザを作成する．
(HOMEは/nonexistant，Shellはnologin，パスワードログインは無効化する)
・SSHでFreeNASに接続し，下記を実施
・/を書き込み可能でマウント
# mount -uw /
・バイナリと設定ファイルをコピー
# cp 解凍Dir/zabbix_agentd /usr/local/sbin/
# chmod 755 /usr/local/sbin/zabbix_agentd
# cp 解凍Dir/zabbix_agentd.conf /mnt/ZFSPOOL/Zabbix
# chmod 644 /mnt/ZFSPOOL/Zabbix/zabbix_agentd.conf
・設定ファイルを適切に書き換え
# vi /mnt/ZFSPOOL/Zabbix/zabbix_agentd.conf
・今すぐ動かして試してみる
# mkdir /var/run/zabbix
# chown zabbix /var/run/zabbix
# chmod 755 /var/run/zabbix
# cp /mnt/ZFSPOOL/Zabbix/zabbix_agentd.conf /usr/local/etc/
# /usr/local/sbin/zabbix_agentd -c /usr/local/etc/zabbix_agentd.conf
これで問題なくZabbix Serverから監視できそうなら成功．
ダメそうなら，ログ(/tmp/zabbix_agentd.logあたり)を見ながら対処する，と．
動くようになったら再起動しても動作するように下記をしておきます．
・不揮発領域の準備を行う＆マウント状態を元に戻す
# mkdir /conf/base/var/run/zabbix
# chown zabbix /conf/base/var/run/zabbix
# chmod 755 /conf/base/var/run/zabbix
# mount -uw /
あとは，WebUIの「Tasks＞Init/Shutdown Scripts」に下記2つの処理を追加．
・タイプ：コマンド，When：Post Init
cp /mnt/ZFSPOOL/Zabbix/zabbix_agentd.conf /usr/local/etc/
・タイプ：コマンド，When：Post Init
/usr/local/sbin/zabbix_agentd -c /usr/local/etc/zabbix_agentd.conf
設定ファイルを「-c」で直接指定すれば，いちいちコピーしなくてもいい気がしますが，参考資料の通りに作ってあります．
そんなこんなで，あっさりとFreeNAS 11.1もZabbix監視対象に再度加えることが出来ました．
そうそう．
6151:20180128:191706.374 no active checks on server [IPアドレス:10051]: host [登録名] not found
みたいなのが監視対象ホスト側のログに出ていたんですが，これはZabbix ServerのWebUIで登録した監視対象ホスト名(登録名)と，監視対象ホストのzabbix_agentd.confに書いてあるHostnameが不一致だと出るみたいです．
ご注意を．
てなところで，相変わらずな新年のスタート，です(笑)
ノートPC
実家というか父親用にノートPCを買うことにしました．
なんというか，ITリテラシも何もない人間で店員の言うことをそのまま聞いて買っちゃうような状態だったんだけど，面倒くさいのでこちらからは特段何もしないようにしてきました．
ただ，そろそろ70になろうかという年齢．
年明けに(重篤な疾患ではないものの)入院＆手術した，というのがあって，ちょっと考えたんですよね．
要するに，終活をさせるためのきっかけと，実際の道具をあてがおう，という話です．
父は本当に古くさい考え方なので，家族(すなわち同じ家に住む人間)が察して何かをする，というのを暗黙に持っているようなんですが，残念ながらちまきは遠方．
おまけに両親は次男次女の夫婦なので，基本的には楽観的で，決定的なところが抜けている感じ．
しかも父は物の整理ができず，何がどこにあるか分からない系の人なので，残される側は大変なわけです．
というわけで，ぼけ防止もかねて，とにかく電子データとして記録を残させようと思い至った訳です．
ちなみに，母親用のPCはちまきのお古を割り当てて，管理も含めやっていたんですが，父用のは新品です．
もちろんいろいろ構築とかはするんですが．
というか，余ってるノートPCって基本的にはないので，仕方ないなぁって感じ．
とりあえず今は発注だけして，納品待ちって感じです．
GW中に構築(バックアップ系リソースをラボから切り出す予定)などをやって，引き渡しを出来るといいな，という感じ．
遠隔管理＆ローカルアカウント運用を前提とするので，プリインストールOSはWindows10Pro．
この条件に，ディスプレイサイズ14～15インチのノートPCってのを付けると，実はほとんど選択肢がないんですよね・・・．
特にOSのところで(汗)
でもまぁ，LenovoのThinkPad系エントリーモデル，ThinkPad E580を第8世代CPU，メモリ8GB，フルHD LCDって程度に強化してWin10Proを載せる，というカスタマイズをして発注することにしました．
当初予算は10万円以内だったんですが，保証など追加した関係で少しオーバーしたってくらい．
あと，500GB HDDモデルなので，遊休部品の512GB MLC SSDに換装する予定で，それであれば5年くらいはなんとかなるかな，という感じ．
むしろThinkPad 25よりも世代が新しい分，良さそうだよね・・・．
むしろX1を買いたい気分．