« ドイツ遠征準備続く | メイン | ドイツ遠征(帰省)前夜 »

2007年09月20日

メインサーバ障害

 弊社メインサーバが不調。 /usrパーティションに書き込めなくなった。どうやらディスク障害のようである。 急きょ出陣を中止し(スマソ)、状況の把握と復旧を試みるが、 先日購入した新サーバ(DELL SC440)に移行させることにした。 

/usr パーティションになんらかの障害が発生したようだ。
/var/log/messagesに記録されたログは以下の通り。
Sep 20 04:04:08 tsubame syslogd: /usr/local/pgsql/logs/postgresql.log: Read-only file system
Sep 20 04:04:08 tsubame kernel: hda: dma_intr: status=0x59 { DriveReady SeekComplete DataRequest Error }
Sep 20 04:04:08 tsubame kernel: hda: dma_intr: error=0x40 { UncorrectableError }, LBAsect=134727, sector=28880
Sep 20 04:04:08 tsubame kernel: end_request: I/O error, dev 03:02 (hda), sector 28880
Sep 20 04:04:08 tsubame kernel: journal_bmap_R31961ab1: journal block not found at offset 3084 on ide0(3,2)
Sep 20 04:04:08 tsubame kernel: Aborting journal on device ide0(3,2).
Sep 20 04:04:08 tsubame kernel: ext3_abort called.
Sep 20 04:04:08 tsubame kernel: EXT3-fs abort (device ide0(3,2)): ext3_journal_start: Detected aborted journal
Sep 20 04:04:08 tsubame kernel: Remounting filesystem read-only
Sep 20 04:04:08 tsubame kernel: EXT3-fs error (device ide0(3,2)) in start_transaction: Journal has aborted

どうやらHDDが壊れかけているようで。。。orz

ReadOnlyになってしまったため /usr/local/apache/配下にあるapache起動できず。

新サーバ 急遽構築
ひとまずNFSで 新サーバから現サーバを見に行くように設定
現サーバの
/etc/exports
/etc/hosts.allow
を編集。
新サーバからマウント

/usr ディレクトリに書き込めないので、apacheのルートディレクトリを/home/hoge に変更してapache/PHP再インストール

とりあえずapacheは上がったが コンテンツ移植がまだだ。


---
新サーバ側
apache,PHPをインストール

php make でエラー
/home/hoge/php-5.2.3/ext/ming/ming.c: In function 'getFontOrFontChar':
/home/hoge/php-5.2.3/ext/ming/ming.c:3854: error: 'fontchar_class_entry_ptr' undeclared (first use in this function)
/home/hoge/php-5.2.3/ext/ming/ming.c:3854: error: (Each undeclared identifier is reported only once
/home/hoge/php-5.2.3/ext/ming/ming.c:3854: error: for each function it appears in.)
/home/hoge/php-5.2.3/ext/ming/ming.c: In function 'zm_startup_ming':
/home/hoge/php-5.2.3/ext/ming/ming.c:4241: error: 'SWFTEXTFIELD_USEFONT' undeclared (first use in this function)
(ry
/home/hoge/php-5.2.3/ext/ming/ming.c:4274: error: 'SWF_SOUND_STEREO' undeclared (first use in this function)
make: *** [ext/ming/ming.lo] エラー 1

mingのバージョンが古かった 0.2→0.3をインストール

再度makeでエラー
/usr/bin/ld: cannot find -lltdl

libmcrypt-2.5.7/libltdlをインストール

# cd /path/to/libmcrypt-2.5.7/libltdl
# ./configure --enable-ltdl-install
# make
# make install

/usrパーティションが 書き込みできないので /home/hoge/apache/htdocsに
コンテンツを移す。

試運転するも、includeファイルは/usr/local/apache/inc を参照してしまう

PHPのconfigureオプションで --with-config-file-pathをつけて make cleanしてから
再インストールすれば任意の場所にphp.iniをおけるようになる。
備忘録がてらconfig.niceをあげておく。

'./configure' \
--prefix=/home/hoge/php \
--with-config-file-path=/home/hoge/php/etc \
--with-pgsql \
--with-gd \
--with-jpeg \
--with-png \
--with-gif \
--with-apxs=/home/hoge/apache/bin/apxs \
--enable-mbstring \
--with-zlib-dir=/usr/lib \
--without-mysql \
--with-mhash \
--enable-mbregex \
--with-ming=shared \
--enable-shmop \
--with-magickwand=/usr \
--with-mcrypt \
--enable-exif \
--enable-gd-native-ttf \
--with-freetype-dir=/usr/local/lib \
"$@"

次の重大なインシデントは、postgresqlが参照できないことだ。
psqlも/usr/local/pgsql/配下にあり、 /usr/パーティションが書き込みできないため
db_openすらできない。postmasterは上がっているのだが コマンドラインのpsql も、ダメダメである。

新サーバに postgresqlをインストールし、現サーバの ./data ディレクトリを丸ごとtar で固めて 新サーバへ移行。 pg_ctl start させるも、DBないよー、みたいなことを言われてしまう。 うーむ、環境変数の定義が足りないようだ。
以下の呪文を唱えたあと、再試したところ、無事DBが移行できた。
export PATH=$PATH:/usr/local/pgsql/bin
export POSTGRES_HOME=/usr/local/pgsql
export PGLIB=/usr/local/pgsql/lib
export PGDATA=/usr/local/pgsql/data

 落ち穂拾いをしつつ仮復旧にこぎ着ける。 14:00仮復旧。ふぅ

新サーバへ全機能を移行させるには期間が足りない。とりあえずweb、DBだけ移行させよう。

NFSで新旧サーバを結合し コンテンツなどを移行。

 なんとか22時にはWeb部門のみ新サーバに切り替えた。PHPのアップグレードも同時に行ったこともあり、一部のPHP3関数が認識されなかったりしたが、おおむね 良好だ。
と思ったら当日誌のMovableTypeのプラグインが動作しなくなっていたのでCPANからライブラリをGETしてインストール。結局3時までかかってしまった。ねむねむ。

 メールやDNSサーバについては今回障害発生したパーティションとは別だったこともあり、しばらく新旧2台サーバの構成で運用となりそうである。

 途中IMでホワイト達人(仮名)、監督(仮名)とソウル大会の打ち合わせ。あたふた(笑)。


にほんブログ村 旅行ブログ 旅行ガイド・プランへ

【他の年の本日の日誌】
2023:
2023年09月19日のつぶやき 2023年09月19日のつぶやき(39件) 00:19 明日上大岡に行くんよね 00:20 @hirokun88 撮影地は墓地で真っ暗ですわ 08:45 もるげん 08:56 @Kinoppi_ ニャシ 11:43 移動工場を買い戻し 11...
2022:
2022年09月19日のつぶやき 2022年09月19日のつぶやき(66件) 08:08 もるげん 08:48 @hirokun88 @yasuhiroUENO 노시 09:54 今日はここから。現在はフェニクスパークホテルにリニューアル 開業記念で安かった。 (@ センチ...
2021:
2021年09月19日のつぶやき 2021年09月19日のつぶやき(45件) 09:19 もるげん 09:22 @yasuhiroUENO 安酒のせいでしょうか? 09:22 @yasuhiroUENO 노시 09:44 @yasuhiroUENO ひひひ、グータラは安らぎ...
2020:
2020年09月19日のつぶやき 2020年09月19日のつぶやき(47件) 00:12 @arayashiki_b これ使うてビアライゼ行こう思うてます。 00:14 明日というか今日は墓参り予定むにだ。夜解放後にハネを少し伸ばそう 09:16 もるげん 09:20 @s...
2019:
2019年09月19日のつぶやき 2019年09月19日のつぶやき(31件) 00:22 きたくす 00:23 @shien0106 ふらふらするんすか? 00:24 @sakanawo_eat ぞっとしない。 00:30 連休は各地で #ボンビーレース 開催か。 09:0...
2018:
2018年09月19日のつぶやき 2018年09月19日のつぶやき(35件) 01:45 きたくす 08:46 もるげん 10:43 @yasuhiroUENO 悪い客(?)ですわー 10:44 @yasuhiroUENO 一酸化炭素の臭いがしそうですな。 10:45 また...
2017:
2017年09月19日のつぶやき 2017年09月19日のつぶやき(20件) 00:08 カープの優勝貢献しちゃったよタイガースorz 00:14 18日は立ち作業が続き息絶えそうだったが、歩数は19000だった。もっと多いと思ってた。 00:39 今日はHawaiiのBe...
2016:
2016年09月19日のつぶやき 2016年09月19日のつぶやき(42件) 09:18 もるげん 11:20 @haiyo_2san ノシ 11:21 @nomobucho ノ 11:46 雨だけど出かけるるー 12:05 久々に2100形快特にログイン (@ 京急 横浜...
2015:
2015年09月19日のつぶやき 2015年09月19日のつぶやき(60件) 00:29 太郎君再び牛歩大会 00:32 @kntr2013 ふ、ふえてますね(震え 00:34 @yasuhiroUENO こんな輩が国会議員してるようじゃダメだよ 00:34 @haiyo_...
2014:
2014年09月19日のつぶやき 2014年09月19日のつぶやき(46件) 08:52 もるげん 09:03 @nomobucho ノ 09:03 @Kinoppi_ ノシ 09:08 @SH7_1223 あるあるなのでいちいちプンスカしてるときりがないです。 25分も遅...
2013:
2013年09月19日のつぶやき 2013年09月19日のつぶやき(38件) 00:16 @SH7_1223 コンビニもダメなんですねφ(..)メモメモ 08:44 もるげん 10:26 @nomobucho ノ 10:57 @higealoha ありがとうございます。楽し...
2012:
2012年09月19日のつぶやき 2012年09月19日のつぶやき(27件) 00:06 @yasuhiroUENO どっちが降るか競争しましょう! 00:23 停電してるところもあるのか。 UPS買い換えなきゃ。 07:46 もるげん 07:59 @nomobucho ノ...
2011:
2011年09月19日のつぶやき 2011年09月19日のつぶやき(43件) 00:15 お内儀が運転できたらなあ(今はペーパー級に格下げ)。タイムズプラスで迎えに来てもらえるのに~ 00:16 というわけで首都高突入 00:20 @WiLL_VS_4 午前0時、ストイック...
2010:
2010年09月19日のつぶやき 2010年09月19日のつぶやき(49件) 08:51 おはです。今日はB級グルメの祭典へ厚木に出陣 #b1gp 09:10 [コロプラ:富山地域で栄養ドリンクの小瓶を手に入れました] #colopl_msg 10:30 遅刻だ(笑) (@...
2009:
初めてSNAに 乗りましたが連休なのにガラガラ沖縄→長崎は連休はあまり関係ないかちゃんぽんとカステラが出迎えてくれたとはねどちらも食べられないので念のため (画像は見られない場合があります)...
宜野座村漢那 順調に沖縄上陸首里城盗るついでにコロプラスタンプ集めちゅら海水族館まで行きたかったけど時間の都合により次回の課題とする高速バスで来たけど帰りは一般道経由のバスで戻りまする (画像は見られない場合があります)...
OKAへ 今日から城盗りファイナル那覇へ向かいますでも夜には長崎県にいる予定とはね(笑) (画像は見られない場合があります)...
2008:
シェッファーホッファー グレープフルーツ入荷/GoogleAdsense 今日からドイツ遠征、と当初は予定していたが、23日にacha'sRoomイベントのため出発を延期していた。本日は事務所にてacha'sRoom会員管理プログラムの作成。会員登録/検索/
2006:
レタッチ職人 出陣。M案件落ち穂拾い。PaintShopPro8を駆使して画像編集。ソフトについてきた攻略本「できる!PaintShopPro特別版」が大変役にたった。  タイでクーデター。一夜にして成功。タイでの疑惑の総合商社タクシン首相の留守中をつい...
2005:
バックアップバッテリの重要性 連休明けて出陣。 旧インタフェースとの互換姓を保つための新規能を実装。移行の法則の資料を発見し、おもいのほか順調に運ぶ。 途中何度か予想外のお客様からの電話で中断したが事なきをえた模様。  256色のパレットを持つアイコンが描画できなくな...

投稿者 onsenfan [ Linuxサーバ, NEWSニュース , PC・インターネット , トホホ ] : 2007年09月20日 23:34

この記事が役に立った/おもしろいと思ったら、ワンクリックで応援お願いします

トラックバック

このエントリーのトラックバックURL:
https://blog.odorokutamegoro.com/mt-tb.cgi/2047_0352593122341

コメント

コメントしてください




保存しますか?


counter
15