Essentials
とうとうサーバが3台になってしまった我が家．
しかも1台は遠隔地(というか実家)に置いてあり，管理が面倒きわまりない環境になりつつあります．
サーバを増設したのは，そろそろ年末の足音も聞こえ始めた11月末．
これがいけなかった．
11月の末には，米国で感謝祭(11月の第4木曜日)があり，この翌月曜日はサイバーマンデーと呼ばれ，各オンラインショップでセールがあるのです．
VMwareのオンラインショップも例外ではなく，この時期にセールをやっています．
しかも現地通貨(USD)の方が安いという仕組みで，サイバーマンデー以外にも父の日セールとかもあったりします．
＃ちなみに，最近では日本円でしか買えない仕組みになったっぽいです．
＃ブラウザのUAか，IPアドレスかで判定しているっぽいので，何とかなりそうですが．
てことで，タイミング良くサイバーマンデーがはじまり，VMwareの一部製品もセール販売されたのでした．
ふらふらとセール内容を見ていると，vSphere Essentials Kitも割り引かれているではありませんか(笑)
3年サブスクリプション付きで$600程度．
平時より1割程度割引されている感じですね．
というわけで，購入しました(笑)
支払いはPayPalを使って行ってます．
簡単でいいですね．
支払いが完了すると，メールでライセンスキーが送られてきます．
また購入時のアカウントのMyVMwareページにもライセンスキーが登録されます．
得られるライセンスは，vSphere 5 Essentialsが6CPU分(1ホスト最大2CPU，3ホストまで)とvCenter Server 5 Essentialsが1台分です．
勢いで購入してしまったけれど，構築はしていこう，ということでこのまま突き進みます(笑)
当初，ここでも触れたように，vCenter Serverを導入するにあたり，MSDN OSを導入しようなんていっていました．
が，実は小規模だったらそんな必要ないってのを知ってしまったわけです．
具体的には，MyVMwareの製品ダウンロードページにある「VMware vCenter Server 5.5 Appliance(略称はvCSAとかvCVAとか)」というものを使う，という方法があるのでした．
これ，要はSLES(SUSE Linux Enterprise Server)上に構築したvCenter Serverを，まとめてパッケージ化してあるもので，これをVMとしてデプロイするだけで使用可能になる，という仕組みです．
配布形式はOVA(Open Virtualization Format Archive)形式でまとめて配布されていて，VMDK(ディスクイメージ)も含んでトータル2GB程度です．
OVFファイルとVMDKファイルも単体で配布されていますが，特になにもなければOVAファイルの方が便利です．
というわけで，早速デプロイすることにしました．
今回はリソースの都合でx3100側にデプロイします．
x3100のESXiにvSphere Clientで直接接続し，[ファイル]＞[OVFファイルのデプロイ]から先ほどのOVAファイルを選んでデプロイします．
データを置くデータストアとVMDKの形式を選ばせてくれます．
ちまきは，Thin Provisioningを選択しています．
デプロイ後，VMのMACアドレスを見て，DHCPの設定をしておきます．
また，メモリサイズについても規模に応じて変更しておきます．
デフォルトで8GBとか持って行くので，Essentials Kitの環境ならそのままでも問題はないですが．
てことで，設定変更したらパワーオンします．
VMが起動したら，https://vCSAのIP:5480/にアクセスして初期設定をします．
初期アカウント/パスワードはroot/vmwareですので，必要に応じて設定変更するのもお忘れなく．
データベースなどは全部内蔵のものを選べば，すぐに運用可能な状態になります．
この段階で，vSphere ClientもしくはvSphere Web ClientでvCSAにアクセスできるようになっているので，アクセスしてみます．
まずはvCenter Serverにライセンスを割り当てます．
[表示]＞[管理]＞[ライセンス]でライセンス管理ページに行き，「vSphereライセンスの管理」からウィザードを起動してライセンスを追加と割り当てをします．
続いて，[表示]＞[インベントリ]＞[ホストおよびクラスタ]から，vCenter Serverを右クリックして新規データセンタを追加します．
そのデータセンタを右クリックして[ホストの追加]を選び，ESXiを追加すると，VMなどが見えるようになる，という流れです．
もちろんESXiにも無償ライセンスではなく，Essentialsのライセンスを割り当てるのをお忘れなく．
ちなみに，実家にあるネットワークセグメントの異なるサーバもvCenter Serverの管理下に入れてみましたが，特に何も問題なく管理できるようです．
便利べんり(笑)
そうそう，このvCSAのアップデートの仕方について．
https://vCSAのIP:5480/にアクセスして，管理ページを出すと，Updateタブがあると思います．
ここからアップデートのチェックやアップデート適用ができるので，簡単です．
アップデートには再起動が伴うので，その点だけご注意．
また，通常はVMwareのリポジトリを参照するんですが，CDROMを使ったアップデートもできるみたい．
こちらはやったことがないですが，クローズドな環境でも大丈夫そうです．
それにしても，ついに買ってしまいましたね・・・．
勢いというのは恐ろしいです，はい(汗)
本当はEssentials Plusが欲しかったんだけど，これはEssentialsの10倍するので，さすがにあきらめました(笑)
次はvAppを試す！
VDI
前回，次はvAppを試す，何て言っていましたが，その前に忘れていたことを．
そう，VDI環境の不具合確認をするといっていたまま放置していたので，まずはこちらを．
そもそもなんでこんな事になっているのか，という話の復習から．
初めてVDI環境を構築したとき，ビデオカード(RADEON HD6450)2枚をTX100 S3pに増設して，それぞれ2台のVMにパススルーしてVDI環境にしようとしたものの，1台でしか利用できなかった，という状況でした．
当時は，Windows7では成功して，Windows8で失敗した，という形だったので，OSが原因か，と思っていました．
結局Windows8のVMは，実家側で構築した仮想環境(ML110 G7)に移動させて使用していました．
その後，録画サーバを構築した際，TX100 S3pのPCIeスロット3に制約が有ることが分かり，スロット3以外ならビデオカードをパススルーしたVMがちゃんと動作するのでは？と思った，という流れです．
現状，自宅にはTX100 S3pとx3100 M4Lの2台があり，管理系と録画サーバはx3100 M4L側にあり，VDI環境がTX100 S3p側にある，という割り振りになっています．
TX100 S3pには既にビデオカードが2枚搭載してあり，1枚は既存VMにパススルーしてWindows7から利用中．
今回は2枚目のビデオカードを使います．
ただ，当初実験に使ったWindows8を載せたVMは，既に実家側のメンテナンス用に使用しているので，新たにWindows7を購入してVMを作ることにしました．
手順的には以前構築した手順と同じなので割愛．
あ，そうそう，ディスプレイを2枚目のビデオカードに接続するのを忘れずに．
はたして，2台目のVM構築はあっさり成功し，ビデオカードをパススルーしたVDI用VMが増えたのでした．
やっぱりPCIeスロット3が原因だったってことだね・・・．
というわけで，ビデオカードをパススルーしたVM(Windows7)2台を，1台のESXiホスト上で動作させることに成功しました．
まぁ，ビデオカード1枚ごとにディスプレイ接続が必要(今回は2ポート接続可能なディスプレイなので1枚で済んでます)，という面倒な課題はあるものの，割と簡単に構築できるってことも分かりましたね．
いやー，よかったよかった(笑)
てなところで，今回は終了．
次回こそ，vAppの導入を(笑)
余りまくっているメモリを使い切る勢いで(笑)
新しいストレージを
前回，2016年度のうちにストレージに使っているサーバを更新しなければ，なんて書いていたんですが，その舌の根も乾かぬうちに更新してしまいました(笑)
もともとのストレージはhpのML110 G7にメモリを16GB，HDD(WD RED)は2TBを7本積んでいたんです．
ただ，メモリはともかくHDDが2013年4月頃に購入した物が大半なので，(使っていない期間があったとはいえ)ほぼ3年経過しており，いい加減危ないっていう認識をしていたんですよね．
しかしながら，安いサーバがなかなか市場に出てこなくなっているようなので，あきらめて普通にサーバを発注するしかないかな，と思っていました．
そうなると当然気軽には買いにくく，ボーナス時期に買うしかないだろうなぁと思っていたんですよね．
ところが，年度末のセールで，NECのNEC Express5800/T110g-E
これを見つけてしまったので，覚悟を決めて新しいストレージを構築することにしました．
ちなみにこのサーバは，標準でBMCとWeb管理画面が提供されていて(KVMは別ライセンス)，SATAポートが6つ使えるものです．
今回は，6台構成のRAIDZ2を構成する予定で，さらに起動用ボリュームに低容量のSSDをミラーして構成することも考えています．
また，できれば既設のTS-269ProからSSDを移植してこちらもミラーボリュームを構成してVDI用のデータストアとして使おうと思います．
なので，SATAポートを最低でも4ポートは増設する必要があるんですが，今回はML110 G7でも使っているSATA3-PCIE-I2
この合計12ポートを使って，HGSTのNAS用4TB HDD
特にトラブルもなく，あっさり組み込みが完了し，無事にデータ移行もでき，現在も安定して動いています．
まだ空きSATAポートがあるので，VDI用SSDの容量が足りなくなってきたら，1台増設してRAIDZボリュームにする，なんてのもいいですね．
ちなみに，メモリは1.35V版らしいので，DDR3L-1600のECCメモリ32GB(SMD-32G28ECP-16KL-Q)
まぁNIC(EXPI9402PT
あ，書き忘れてましたが，OSはML110 G7と同じくFreeNAS 9.3です．
ZFSもだいぶ使い慣れてきたので，構築もスムーズです(笑)
そしてTS-269Proは無事SSDを摘出され，その役目を終えました．
これで管理する台数が1台減りましたね．
2015年末に達成できなかった目標を無事達成です．
よかったよかった．
10Gの壁
ストレージを新しくした後，物色していたら10GBASE-TのNICがかなり安くなっている事に気がついてしまったのでした(笑)
2万円台なので，4ポート1G NICと比べてもかなり安い．
というわけで，うっかり3枚購入したのでした．
目論見としては，vSphere環境のストレージとホストの間(iSCSI)を10G化する，というもの．
本当は10Gスイッチも導入するべきなんですが，予算的にすぐには厳しいので，まずは2ポートNICを使ってP2P接続することにしました．
うちはホスト2台，ストレージ1台でvSphere環境を作っているので，ぎりぎり作れる構成ってわけです．
なんだけど，10G NICをうっかり中国の業者から買ってしまった上に，動作しないという罠にはまって大変な目に遭いました．
結局返品処理して新しいのを国内の業者から購入したんですけどね．
そっちはさっくり認識されて無事に動いてよかったよかったって感じですね．
試しに，SSDを3台使って構築したRAIDZ領域にiSCSIターゲットを置いて，そこをvSphere用のDatastoreとしてベンチマークしてみました．
VMDK(VMの仮想HDD)をこのDatastore上においてVMから1GBでテストした感じでは，
Seq Read : 516.370 MB/s
Seq Write : 850.013 MB/s
Rand Read 512KB : 510.818 MB/s
Rand Write 512KB : 667.705 MB/s
Rand Read 4KB (QD=1) : 10.520 MB/s [ 2568.3 IOPS]
Rand Write 4KB (QD=1) : 25.311 MB/s [ 6179.5 IOPS]
Rand Read 4KB (QD=32) : 191.448 MB/s [ 46740.3 IOPS]
Rand Write 4KB (QD=32) : 284.791 MB/s [ 69528.9 IOPS]
こんな感じです．
ちゃんと性能でるなぁって思っていたら，熱でカードが停止されてしまった・・・．
どうも搭載したサーバの排熱がうまくいってないみたいで，安定利用できなさそうです・・・(泣)
まぁこのGWでの対処は難しいので，夏休みにでも筐体内にファンを増設して試してみようと思います．
いっつにゅー！
6月ということで，例年通りWWDCがあったわけですが，ここで新しいMacなどのハードウェアが発表されると信じていたんですよね．
事前予測も飛び交い，欲しかったMacBookProも新機種が出ると予測がされていたり．
だけどなにもなかった．
MacBookProどころか，本当に一切新しいハードウェアが発表されなかった，と．
現行世代のMacBookProは2015/3に発売されたモデルなので，既に発売後1年以上経過しており，アップデートが望まれていた主力機種だったというのに(笑)
結局WWDC2016が終わった現在では，次期macOS Sierraの登場と共に10月に登場する，という予想になったってわけですが．
なんでこんな話をしてるか，というと，そろそろ新しいMacBookProが欲しいから，というわけです．
今使っているのが2012年のWWDCで発表された15インチモデル(Haswellのさらに前のIvy Bridge世代)で，買い替えにいい時期だっていうのと，重いから13インチにしたいってのが我慢できなくなっていたってのがあって(笑)
ちなみに欲しかったのはMacBookProの13インチモデルにSkylake世代(Intelの現行世代)のCPUを搭載したモデル．
これに対して現行世代はBroadwell世代(1世代前)なので(15インチモデルは2世代前のHaswell)，世間的には型落ちみたいな感じ．
なので，秋まで待とうかとも思っていたんですが，ファンクションキー回りが有機ELになるという噂があったので，変更が入る前に買ってしまおうと思い至ったのでした．
ただ，ちょうど整備済製品に欲しい構成のものがあったので，結局そっちを購入したのでした．
メモリを16GBにしたかっただけってのと，整備済製品だと(構成変更済みなので)すぐに届くってのが大きい(笑)
さっくり2日で納品されて，今は既にほぼセットアップが終わって日常的に使える状態になったところ．
まぁまだ全部問題なく移行できた，というところまでは行ってないけど，今のところ問題ない(ROも含めて(笑))し，このまま安定すればいいかな！
計画移行完了
Windows10への無料移行期間がついに終了しましたね．
終了後のアップグレードがどうなるかよくわからないですが，ウチはどうにか以降予定のマシンを全部移行し終えました．
なんせVMだけで5台，物理マシンも5台という・・・．
物理マシンは実家の親にあてがっているものも含めてなので，実際に自分で使っているのは2台なんですけどね．
あ，7インチタブレットも5台の中に含まれているので，3台なのかな．
使ってないけど(笑)
もともと2015年末くらいから移行をスタートしていたので，約半年かけて移行し終えた感じですね．
特にメインマシンの移行をギリギリまで待っていた関係で，最後の1ヶ月くらいがちょっと慌ただしかった感じです．
それよりも今一番興味があるのは，「VMを(マイグレートして)CPUの異なるホストで実行したら再認証になるのか？」って所ですね．
それこそ実際に試せばいい，という話はあるんだけど，自分の環境でやるのはちょっとねぇ・・・ってことで，とりあえず保留しています．
ちなみに，そんな事をしている間に3台でRAIDZボリュームを構成していたSSD(2015/12購入)が障害でRMA交換する羽目になったり，QNAPのRAID6ボリュームのHDDが1本SMARTエラーを出していたりするので，お盆に帰省したときに盛大にメンテすることになりそう・・・．
10G NICの動作試験もしたいし，盛りだくさんの夏休みになりそう・・・(汗)
10GBASE-T
日記を忘れてた！(笑)
てことで，学校の夏休みの宿題消化時期ですけど，今更ちまきの夏休みの話なんかを．
今回の夏休みは，タイトルにもあるとおりラボのiSCSI用ネットワークをバックアップ系を除いて10Gネットワークに移行しました．
もともとはGWに試験導入して断念したという経緯があるんだけど，今回は無事に導入することができました．
GWの時は，2ポート10G NICをそれぞれ直結して使う構成だったんだけど，今回はちゃんと10Gスイッチも導入です．
ちなみに導入したのは，貧乏人の味方NETGEARのXS708Tです．
そう，XS708Eじゃなく，「T」です．
この機種，6月に出たばかりなんだけど，何が違うかというと，10Gアップリンク(SFP+)が2ポート(10GBASE-Tポートと排他)あるのと，スマートスイッチになったってところですかね．
XS708Eはアンマネージドスイッチなので，リンクアグリゲーションとかが使えなかったんだけど，XS708TではちゃんとLACPを使ったLAGを構成できるＧ(≧ω≦)。
もっともそんな帯域は使わないんだけど，欲しい機能がいいタイミングで出てしまったので(笑)
ちなみにサーバ側には10G NIC(X520-DA2)と追加の冷却ファンを搭載しました(笑)
効果覿面で，熱でカードがシャットダウンされることもなく，安定動作しています(笑)
ケーブルもCat6Aを新規に敷設したりしたので，だいぶ大変だった(笑)
それから，この10G化でスイッチが増えたりしたので，UPSも容量の大きな製品(Smart-UPS 1500)にリプレースしたりもしてます．
まぁ10年選手のUPSだったんで，ちょうど良かったってのもあるけど(笑)
ともかく，久しぶりに大規模にいじった夏でした(笑)
そしてメインストレージのFreeNASが9.10系リポジトリに移行(2016/3)したので，年末辺りにはウチも移行したいかな．
今年はvSphereのサブスクリプションも終わるし，またお金かかりそうな予感・・・．
7th
例年通りのことなんですが，今年もiPhoneを買い替えましたよ，と．
そろそろiPhoneにも飽きてきて，毎年まいとし買い替えるのはやめようかなぁなんて思っていたんですが，ようやくFeliCaに対応するという話が出てきてしまったので，結局購入することにしました(笑)
ただ，今回はApple StoreのSIMフリー版を買うことにしました．
もともとiPhone6sを買ったときの毎月割引がまだ残っている，というのと，auをやめようかどうしようかと思っていた時期だったので，こういう選択になりました．
さっくりとAppleオンラインストアで予約して，発売当日に受け取った，という感じです．
今回も前回と同じくシルバーで，容量は256GBにしたわけですが，同時に購入可能になったiPad Proの256GBの方が欲しかったというのは内緒です(笑)
あと，個人的に気になっているのは，やはりMacBookProの新機種ですね．
Windows10の無償アップグレード期限にあわせて2015/3モデルを購入したけど，結局未だに新機種が出てこないので，あの時期に買い替えたのは間違いではなかったなぁなんて思ったりしてます．
macOS Sierraもまだインストールしてないし，したとしても使うことはないんですが，新しいハードウェアには興味ありなので(笑)
新機種がでたら，冬のボーナスで買ってもいいかなー？
まだ気が早いかな？
悩むところです(笑)
耐えきった！
vSphere6.5が出ましたが，まだ当面移行はしない予定です．
まぁ今月でサブスクリプションが切れてしまうので，もうしばらくは様子を見て，アップグレードをする時に購入しようかな，という感じです．
さて，今回もやっぱりラボ関係ですが．
今回は障害が発生したって話なので，全然穏やかな話題ではないんだけど，タイトルの通り障害に耐えきったので，割と素早く復旧できたのです．
今回障害が起きたのは，メインストレージです(とほほ
構成はXeon E3-1220v3，メモリ32GBのExpress5800/T110g-EにSSDを5台，HDDを6台搭載しているものです．
ボリューム構成は，起動用にSSD2台のミラーボリューム，RAIDZ5のSSD3台構成のボリューム，RAIDZ2のHDD6台構成のボリュームです．
もちろんなんだけど，この台数ではポートが足りないので，HBAを内蔵してSATAポートを追加していたり．
どんな障害が起こったかというと，この追加していたHBAそのものが壊れ，その配下にあったドライブが全部見えなくなる，という事が起きました(汗)
幸い，起動ボリューム，RAIDZ5ボリューム，RAIDZ6ボリュームからそれぞれ1台ずつ消失しただけなので，冗長度こそ下がったものの停止には至らなかったのでした．
まぁ運良くって感じですね(笑)
やっぱり安物HBAはだめだなぁってことで，LSIのSAS-9207-8iを購入して導入しました．
SSDやHDDは，適当に繋ぎ直しても起動したらちゃんと認識してくれるあたりがZFSの便利なところですかね．
ちなみに，HBAが停止していた間にももちろん他のディスクには書き込みがあるので，復活したSSD，HDDは状態がずれてしまっています．
これもどうしようかなーなんて思ったんですが，Scrubをかけたら全部修復されたのでよしとしました(笑)
元々安物HBAは，ここ最近よくエラーを出していたので，ドライブが消失したときは「やっぱりか・・・」って思いましたけどね．
故障を予感してLSIのHBAを投機的に手配していたんですけど，ばっちり当たっちゃった感じです(汗)
とりあえず後3台までなら増設できるので，どうしようかなーって感じですが(笑)
みなさんも安物HBAには気をつけましょうね(笑)
さよならQNAP
前回の日記で新しいストレージを構築しかけていた話を書いたんですが，いろいろあって思ったより早く構築する事になってしまいました．
今回構築したサーバは，HPE ProLiant ML110 Gen9をベースにしたFreeNASです．
ML110といえばG7以前の1万円そこそこで購入できるサーバが有名だったと思いますが，今回買っているのはだいぶ構成が違います．
おそらくML110 G7の後継機はML10 Gen9シリーズになるのかな．
なので，ML110 Gen9はXeon E5-1603v3を搭載しています．
最大メモリ搭載量は256GBまでサポートし，メモリ自体もDDR4のRDIMMだったりします．
具体的な構成としては，Xeon E5-1603v3，32GB(64GBに増設予定)，6TB HDD x8(RAIDZ2)という，そろそろ中古車とか買えそうな値段になってきました．
用途としては，メインストレージのバックアップ先兼コールドスタンバイ機，ストリームデータの記録先，といったところです．
その為に50万以上のストレージを導入するのもどうだって話もありますが，もう構築して稼動も開始してしまったので・・・(笑)
そして．
ついにQNAPを停止させた，という話ですね．
2013年4月に稼動を始め，ちまきのプライベートラボ構築のきっかけとなったストレージアプライアンスですが，TS-269Proに引き続きTS-569Lも停止となりました．
メインストレージをExpress5800ベースのXeon機にしてからはバックアップ機としての色が強くなりましたが，ようやくです．
というのも，あまりにOS(QTS4.x)の動作が安定しないってのが一因ですね．
あとBMCを積んでないってのも痛いところ．
10G NICも挿せないし，後継機は高いしってことで，完全にFreeNASに移行することを決めたのでした．
新しいストレージは，まだメインストレージからのレプリカを作り終わってないので，この週末にかけて実施予定です．
それにしても，実効30TB以上のストレージってのはいいですね，広くて．
余ってしまった5本の5TB HDDは，そのうちML110 G7に搭載して遠隔地レプリカ用にしてもいいかな．
その時は6本で構成したいけど(笑)
そうすればRaspberry Piも止められるしね(笑)
Raspberry PiはGPSを付けてNTPサーバにしたい！！(笑)
ともかく．
QNAPは二度と買いません．