03/22鯖障害詳細報告

2010/03/22
0:30頃、鯖へのアクセスが出来なくなる状況が判明。
ICMP応答も無い為、鯖再起動を実施するも起動してこず、何度か試行。

0:45頃、鯖起動を確認。

0:55頃、アクセスしていたsshが落ち、再度ICMP応答も無い状況へ。
鯖電源再起動でも反応せず、他鯖電源を拝借し起動を試行、起動せず。

1:30頃、他鯖へHDDを繋げ代え起動を試みる。
fsck()でひたすら待ち。
Kernelをビルドしなおしていた為NICが認識せず、標準でインストールされていたKernelで再起動。
fsck()でエラー多発。/usr/bin以下のコマンドが破損。（パーミッションが?---------って状態に）
MySQL、Apache2共に起動できない状態へ。。。
手作業でパーミッションを変更してみるが、ファイルが多すぎて途中で断念。

3:00頃、仮想環境（VMware）上に環境を準備。（Slackware → Zenwalk）
ZenwalkのVMがちょうど作成ずみだったので、餌食に。
UIDなどがSlackwareと同等の為、コンテンツ移行がラクに。。。

5:00頃、仮想環境（VMware）上にWebコンテンツデータを移行。

6:00頃、Webコンテンツデータ移行完了。（www.srchack.orgのみ）
ネットワークの設定変更。

7:00頃、一次復旧完了とみなし仮眠。。。。。。。。

12:00頃、原因調査の為、鯖解体。
当初マザーボードが逝ったのかと思われましたが、電源が問題と判明。
（FANを静音FANに交換していた為、熱かもしれない。。。←交換は火災の危険もある為、オススメできません。）
・・・4年（メンテナンス、引越しなど除き24時間365日）ほど動かしていたので、寿命の可能性も。。。

14:00頃、代わりの電源が無い為、本日修理を断念。
21日15:00頃からのログが欠損している為、21日から既に動作に問題があったと思われる。。。
MySQLのデータをディレクトリごと取得してみるが、21日分データは完全には復旧できず。