11月27日早朝に、サーバが突然停止した。
2015年に購入したHPのMicroserverGen8というマシン。
朝、5:30頃までは正常に動作していて、朝食を済ませて仕事を始めようと
したところ、ファイルが保存できないメッセージが表示された。

 そこで、pingにて確認したらreplyが無い。
慌ててサーバのディスプレイをの電源を入れ、画面表示を見たらkernel panic
が発生していた。
少し前の行で、ディスクが壊れたメッセージが出ているのを発見。
仕方がないので、USBで接続しているディスクをすべて外して、電源を入れ直した。

 ところが、起動しない。
ただ、ブートマネージャまでは起動し、再起動を繰り返すいわゆるブートループの状況だった。
仕方がないので、シングルモードでの起動を試みた。
が、これも駄目。

 始業時間となり、車検整備などが必要だったため一時中断。

 終業後、あらためてブートループの様子を観察すると、ilo4でエラーメッセージが表示されていた。
早すぎるので、写真を取ってGoogle先生に聞くと、「10中8,9マザーボードである」というお告げをもらった。

 「マジか!!」っていうのが、第一印象。
んで、ここまでが金曜日の出来事。

 開けて土曜日。
まずは、何らかの回復が可能かどうか、ilo4へログインして確認してみる。
が、raid1のディスクを認識しない。
万が一の希望を託して、メモリを外して起動させてみる。
これも駄目。
仕方がないので、「暫定サーバを作ってそこへディスクをつなごう」と方針を切り替えて作業実施。
暫定サーバとしてノートPCを使ったんだけど、SSD換装後だったので、HDDへ戻してセットアップ
そこでCentOSを使おうかと思ったけど、別にCentOSに入れ込んでいるわけでもないのでUbuntuにしてみた。

 ちょっと時間はかかったけど、無事にインストールが済んだので、まずはバックアップのHDDを接続
ちゃんと認識したので、mountし確認。
すると、一ヶ月前からデータバックアップが取れていないことが判明。
「やばかったなぁ。世代管理しているから、もう片方のバックアップディスクは無事だろ。」って思いつつ、そちらを接続。

 こっちもちゃんと認識したので、mountし中身を確認したら、こっちも同様。
この時点で嫌な汗が全力で吹き出た。「まさか、今までのデータ全部駄目?」
半泣き。マジ半泣き。心臓はバクバク、まさに「夢なら覚めてくれ!!」って感じ。

 いよいよ最後の砦である、本番で運用していたディスクを取り出し、mountして中身を確認。
したら、無事に残っていました。
いやぁ、良かった。ホントに良かった。
思わず出ました、ガッツポーズ。
拍手と小躍りしましたよ、ホントに。
生き返った感じがしました。
大げさではなく、本当に神様ありがとうっていう瞬間、まさに「ああ、生きてる」って感じ。

 んで、とりあえず、バックアップを取ろうとバックアップディスクへコピーを開始したら、書き込みエラーですわ。
しかも、バックアップ開始後かなりの時間が経過してからそれが発生。
仕方がないので、ディスクのエラーチェックを実行して就寝
ここまでが土曜日。

 開けて日曜日
まずは、ディスクのエラーチェックの結果確認。特に異常がないって言ってます。
「嘘こけ、異常があるから」って言ったんですけど、「異常がない」って言い張るので、またコピーを開始。
したら、案の定エラーですわ。
「テメーなめてんのか?」って思わず毒づいてしまいました。
仕方がないので、バックアップは後回しでsambaの設定を優先。

したら、Groupの設定でしくじり。
sudorsから外れてしまったので、権限無しでいろいろ弾かれた。
トホホ。
調べるのが面倒なので、再インストールすることにして寝ました。
ここまでが日曜日

 あけて月曜日
インストールとsambaの設定を終わらせて、暫定運用開始。
なんとか始業時間までに終わらせることができました。

っとまぁ、大変な週末でございました。
カレンダー配りも停滞してしまって、マイッタまいった。

総括としては、
 1.バックアップ大事
 2.マシンもバックアップしよう。
 3.バックアップ、ちゃんと取れているか確認しよう。
でしょうか。
クラウドへファイルを保管することも考えたのですが、巻き添えを食らうのも嫌だしセキュリティー面で後悔したくないし。
#や。
#弊社よりもセキュリティーが甘いとかではなく、セキュリティーを任せてしま#うことによって、ブラックボックスになるのが気持ちが悪いっていうか、後悔#が残るっていうか・・・。
#そんな感じです。

 DXってキーワードでいろいろ仕掛けているけど、中小企業にとって
けっこうハードルが高いんじゃないかなと言う感想です。
Linux+sambaでけっこういい感じに安くできると思うんだけど、営業担当の話につられて大きなお金を出してしまう経営層がと思います。

投資金額 < 得られるリターン

っていう言い方がいいのか

支払った金額 < 得られる価値

となれば良いのですが、どうなんだろう・・・。

と、ここまで書いたら新サーバが届きました。
来週の朝と夜はインストールと設定に追われるのでしょう、きっと。
今回の暫定サーバ、バックアップ用のサーバとしてひっそり運用しようかなと思ってみたり、ノートPCだからやめておこうかなと思ってみたり・・・。
24/7の運用をノートPCに求めるのは、酷だからなぁ。