< | >

インターネット回線障害で業務が止まる
  • (2009-08-01 11:10:56)


ネットワークをいじる際は稼働状況を事前に確認しておく



事情があり仕事机を替えた。昨日の早朝一番の仕事は仕事机の入れ替えだった。机に載っていたPCの電源を落としケーブルを外し、机を入れ替えて、ケーブルつなぎ直す。その際、NTTの回線終端装置(ONUとか書いてある)とルータの電源も落とした。

この作業によるトラブルは予想していなかった。PCに火を入れるとメールが動作しない。原因はネットワーク断。ネットワーク設定の変更をしたわけでないし、新しいネットワーク機器やPCを導入したわけでもない。ケーブルの付け違いもない。

何が起きたか原因がわからなかった。いつからトラブっているのかもわからなかった。作業前にネットワークが動作していることを確認していれば、作業前後でトラブルが発生したかどうかの切り分けが付くが、それはやっていない。

NTTサポートセンターの体制の充実度



NTTの故障担当に電話する。最初NTT支給の回線終端装置ONUのランプの確認を求められた。「4つのLEDがオンであれば回線問題の可能性は薄い」と言われた。同感だ。少なくと物理的に回線はOKだろう。

彼らはリモートでデータ折り返しテストができると言う。つまりNTT局からONUまでデータを送り正常に局まで戻ってくることで回線とONUの動作が確認できる。驚いたことはこのテストが技術部門ではなくコールセンターの一サポート担当者が行ったこと。しかもすぐにやってくれた。

昔ならこのようなテストは数時間後に技術担当者から別途電話をもらったものだが、NTTさんのサポート体制の強化が感じられる。折り返し試験は何ら問題がかなった。

次にNTTのテストサーバーへの接続(コネクションリンクの確立)を求められた。ONUとPCをLANケーブルで直結し、NTTのテスト用アカウント(ID、パスワード)でフレッツスクエアというサーバーに接続する。

テスト用アカウントを準備されていることもやや驚いた。

昔のNTTなら折り返し試験で問題なければあとはユーザーの問題と突き放されたものだが、担当者は「念のためテストしましょう」とテストアカウントを教えてくれた。親切だ。コールセンターの膨大な運用コストが逆に心配になる。

フレッツスクエアへのコネクションリンクの確立、これもOKである。これでNTT回線は物理的にもソフト的にも問題ないことが証明された。

「証明された」と結論づけたことが今から思えば伏線だったが、それはこの時点では誰も回線やその間にあるネットワーク機器などの問題は疑わなかった。

行き詰まり。「どこも何も悪くないように見える」



NTT回線が正常なら、あとはインターネットへのソフト的な接続手順を提供しているプロバイダーが怪しいことになる。プロバイダーの「ぷらら」に電話。エラー内容が「691認証エラー」だったのでID・パスワードの再確認を求められる。コピー&ぺイストで、手打ちはしていないので、それは問題ないと何度か言うが、彼らも次に試す手段がないようで無駄な繰り返しを求められた。

そのうち私のWindowsXPが英語版であることを知り「それが原因かも?」と言われた。内心「もっと他に何かアイデアはないのか」と思いつつ口に出さなかった。OSが英語版・日本語版は現行トラブルには無関係だろう。しかし、OSとは無関係に、私も自分のPCを疑う価値はあると考えた。そこで、もう一台の日本語版XPからテストすることで電話を切った。

しかし、日本語版XPでも同じ現象「認証エラー」が再現。実はぷらら以外のアカウント(複数のプロバイダーに契約している)を使用してテストを行った結果「認証エラー」は他のプロバイダーでも再現したので、ぷららにも問題がないことは確信していた。

つまり、どこにも問題がなさそうに見えるところが苦しかった。

NTT動く



すでに12時。9時半から始まったトラブルシューティングは午前中の業務を食いつぶす。もはやぷららに電話してもムダだったが、私も他に手段がないことと、話している内にサポートセンターの担当者と私の間で何かヒントがでてくるかもと期待して再度電話した。

別の担当者に当たったが、前担当者との通話内容の履歴が確認できるという。今時のコールセンターのすばらしいシステムにまたまた感動。新しい担当者からは驚くべき情報を得る。

「お客様の回線はフレッツ光ネクストですか?都内全域で認証エラーが発生している模様です。何をやってもダメだそうです」と。

しかもその情報を掴んだのはわずか10分前という。11時くらいにNTTさんのサポートセンターと話した時はNTTさんでさえ障害情報を把握していなかったので、今回のトラブルはかなり発見が遅い。

回線トラブルの発見が遅れたことはトラブル被害者が少なかったためではなかろうか。案外数千人のユーザーに影響があってコールセンターのトラフィックがは通常より「なんか違うぞ」という状況証拠的な推論から技術部隊が動くというのもあったかもしれない。いずれにしても内部の状況は私のような一ユーザーには伺い知ることができない。

ONUを落とさず、そのまま接続している人は問題がなく、私のように今日この日、運悪くトラブルが発生している時間帯にONUの電源を落として再度ネットワーク接続を試みた人だけにトラブルが発生した可能性がある。

推測しにくいトラブルの原因



それにしてもフレッツスクエアにログインできて、他のプロバイダーにはログインできない?どんな種類のトラブルだろうか?

認証エラーなら、プロバイダー側のログインサーバーからエラーコードが返されることからサーバーまでのリンクは確立していることになる。

IDやパスワードの入力ではじかれる?パケットデータの一部がクラッシュしているか、欠損しているか、途中のルータが余計なデータをパケットの頭に付与してしまうなどか?意味がわからないトラブルである。

過去半年で業務用のネットワークが止まった記憶はこれで2回目。前回は回線でなくプロバイダーに問題があった。

今回は回線である。切り分けは完全だと思われたが、実は検証方法にミスがあった。NTTのサポート担当者が「回線に問題ない」と判断したことは充分納得できる。

復旧と教訓



復旧したのは12時半。ようやく今日の業務が始められる。今回のトラブルもいろいろ教訓を残した。

・ネットワークインフラは必ず落ちる

・ネットワークインフラにトラブルが発生した場合、インフラを運営する参加プレイヤーは複数あるので発生源の特定には時間がかかる

・ネットワーク機器をさわる際、必ずネットワーク稼働の有無を事前に確認する

・ONUはなるべく電源を落とさない方が安全(後ろ向きの対策)

当社の場合、事務所用の回線断は一日続いても業務への影響は何とかなるが、一瞬のネットワーク切断も致命傷になるようなビジネス運営者、たとえば株式や外為のデイトレイダーやリアルタイムオンラインシステム運営者は複数回線準備しておいた方がよいだろう。

しかも常時パラレルに稼働させておく方が安全だと思う。プロバイダーも多重化したほうがよいしサーバーも多重化すしたい。しかし、お金の方はいくらあっても足りない。








< | >

HDDはテラ時代
  • (2009-07-19 11:19:13)


感覚は鈍感になる



ハードディスクを新調した。ビジネスデータだけなら当社の場合、数十ギガで大丈夫。しかし、最近のHDDは極端に安価になってきているためソフトウェアベンダーも容赦なく大きなファイルやプログラムを制作・使用・配布する傾向にある。それで当社の保管データもそれ相応に大きくなっていくことは確か。

そういう変化によって新しい需要を生み出しているIT業界の事情もあるだろう。大容量化の流れは止まらない。

当社の場合、動画を制作するようになって、あっというまに1桁容量が上がったが、映像業界ではハイビジョン化の流れが止まらず、今後2桁や3桁の容量が求められていくようになる気配だ。

これだけ保存媒体が安価になってくれば動画もデータ保存に関しては無圧縮時代が来るかも知れない。今回のHDD新調では動画を扱うという理由で、容量の大きめの物を買うことに。久々パーツショップをのぞくと1テラバイトのHDDが数万円。

「テラか・・・」

HDDはいつのまにかテラの時代に突入してた。しかも安い。HDDメーカーの経営は大丈夫なのだろうかと心配になる。

キロからメガになった頃、それは凄いことだった。ギガが出た頃、私は使いこなせなかった。それが10G、20G、30G、80G、100G、250G、320Gとジリジリを上がっていった。

何か意識革命が迫られていたが、うまく分析し解釈し適応し前に、現実はすでに日常的に使ったことがなかったコトバ「TERA」の時代へ突入していた。

こうなると驚くというより感覚自体が鈍くなる。無限に技術革新は可能なのかとも感じる。ある意味私の意識は危険な症状を呈している。

凡庸な発送だが「テラの次は?」と考え、ネットを引くと

「Kilo Mega Giga Tera Peta Exa Zetta Yotta Xona Weka Vunda Uda Treda・・・」

と書いてあるサイトがあった。本当かどうか私にはわからないが、テラの次はどうやら「ピータ」のようだ。「ペタ」と呼んだ方がよいのだろうか?

大容量時代が来ると何が変わるのか?ここにもビジネスチャンスがあるように感じているが、凡人には実感が湧かない。

回線やCPUは追いつけない



HDD容量が10年で3桁上がることに対して、CPUスピードはたとえばCPUの性能スペックの一つの周波数は10年前の100MHzが、現在4GHz程度なので1桁しか上がっていないし、これ以上の増加は漏電や発熱問題で見込めない。

何か違った技術革新が必要だが、その対策はDual CoreやQuad CoreのようにCPUを並列に並べる方式だった。処理能力の向上は足し算的なものでHDDの指数的革新とは違う。

ネットワーク回線は幹線スピードは不明だがローカルラインは10年前の64kbpsや1Mbpsが、現在では100Mbps程度なので2桁程度の伸びを示すが、回線の場合は不特定多数の人と共有する公共道路のようなもの。スピードアップされても参加者が増加すれば渋滞は避けがたい。

つまり、HDDはインターネット関連技術の中で突出した費用対効果を見せている。他方、他の技術の進歩はそれなりに凄いものながら、HDDと比較すると穏やかで、どうかすると頭打ちも感じられる。

アンバランスな進化ということになる。

記憶メディアのノーコスト時代がもたらすもの



記憶媒体・記憶メディアが、限りなくコスト0円に近づいていく世界がもたらすことは情報のむやみかまわない保存かもしれない。たとえば、全世界のWEBデータをタイムスタンプを押しながら保管する行為など。

それが何の役に立つか?といわれると回答できないが、そういう酔狂なことを喜んで企てる人が、アメリカンにはたくさんいるはず。意味も意義も不明確ながらとりあえず「全コピー」。

いるだろう。10年前のWEBも簡単に取り出せるせービスの出現もありうるように感じている。たとえば、Internet Archive Wayback Machine。アメリカ人は計り知れない。








< | >

ハードディスクの故障で学ぶ教訓
  • (2009-07-11 09:33:09)


HDDが壊れそうなら、なんとしても最初にデータ救済を優先すべき



自宅PCのハードディスクがエラーとなる。ハード的なエラーの可能性があるが原因不明。セーフモードでも立ち上がらず、しぶしぶXPを再インストール。しかし、Cドライブ(基本パーティション)へのOSインストールに失敗。基本パーティションのエリアでのハードエラーを疑い、Dドライブ(論理パーティション)へのインストールを行う。

一応インストールできたものの文字化けなどの発生や将来のトラブル時のデータ保全のためパーティション分け作業を行う。この時点で私のやるべきことはハードエラーが疑わしいのだから、「一刻も早いデータの救済と保全」であるが、夕食時にお酒を飲んだ後で、夜遅く眠気もあって判断力や集中力は緩慢だった。

何のリスクも感じることなく、PartitionMagicを走らせる。リブートでハングアップしすべてが台無しとなる。起動ディスクは作成していない。中途半端なフォーマットをかけられたハードディスクはOSから認識さえされない状態となる。ここに至り事の重大さを認識。眠気も吹き飛ぶ。

模索するも破壊されたパーティションを復旧させることはできない。フォーマットをやり直し新しくパーティションを切るしか選択肢はない。しかし、それでハードディスクが認識できてもデータは戻ってこない。人生と同じ不可逆変化である。

天災の後、人災で不幸を拡大しないこと



自然災害が発生し、対処の過程で人間のミスが加わり事態がさらに悪化する。愚か者のお手本のようなパターンを演じてしまった。とりあえず人災による被害をこれ以上拡大させないために触らないことにした。そして、対策案を練る。

今回のフォーマットではデータが保管されている位置情報だけが削除され、データ自体は残されていると推測されるので10万円くらいかけて専門の復旧業者に出すか、復旧用のソフトウェアによって救済を試みるしかない。

ネットを調べると「ファイナルデータ」なるソフトウェアがよく上がってくる。OSが起動しないことにはファイナルデータのインストールと起動さえできないが、ファイナルデータの最新バージョンではCDブートができるようになっていた。救われた。

深夜、サイトからクレジットで購入し製品版をダウンロードする。そして、ダウンロードしたisoデータをCDに焼く。isoファイルは「イメージファイル」と呼ばれている。私にはその意味は不明だが、XPから一個の塊ファイルのように見えるものらしい。CDやDVD内ではこの形態にて保存されているとのこと。このままの状態でCDに焼けば、起動ディスクが出来上がるらしい。

焼き方がわからない。目標までハードルがいくつかある。深夜ごそごそと苦悩する。焼き方を調べると「DVD Decrypter」というソフトウェアが「DVD」という名称ながら、CDへのisoファイルの焼き込みもできるらしい。運よくファイナルデータのisoイメージを焼き込みができた。

起動する。

どんなOSもどきが立ち上がるのかと起動中のメッセージを眺めると、なんとLinuxのようだ。Knoppix(ノピックス)というDebianディストリビューションの一派生バージョンだった。

データ救済ソフトで繋ぎ止める



CDブート用「ファイナルデータ」はLinux用アプリケーションとして開発されたデータ復旧ソフトウェアということになる。ハードディスク内に残されたデータの位置情報を数時間かけて収集しリスト化する。復元したいデータはネットワークの共有フォルダーに戻すことができる。驚くべき事はネットワーク内にある別のPCの共有フォルダーを認識できる点。

私のPCはXPをインストールしても、そのままではネットワークカードがOSから認識されず、メーカー提供のドライバーを入れる必要があったが、Knoppixは楽々とネットワークカードを認識し、TCP/IPを起動させ、Windowsの共有フォルダーを認識できる。

ネットワークを介したファイルの共有はWindowsではSMBというプロトコルが使用されているので、KnoppixにはおそらくSMBをサポートするSambaというファイル共有プログラムが実装されているのだろう。SMBは下層レイヤーにはNetBIOS over TCP/IPが使用されている。

ところでネットワークフォルダーを共有するさい、IPアドレス+フォルダー名が求められる。さらに、ユーザーIDとパスワードも必要なる。見よう見まねでフォルダーアドレスとして「192.168.1.100/data」、ID/パスワードとして「Administrator」とWindowsのAdminパスワードを入れると、「/mntの下にマウントされました」とメッセージが返る。

「/mnt」がどこにあるのか不安だったが問題なかった。Linuxの通常のディレクトリー構成となっていた。ネットワークフォルダーを仮想的に自己ドライブのディレクトリーとして認識される。

「ファイナルデータ」のデータ救済はハードディスクごとや論理パーティションごとの単位で可能。救済方法にはいくつかのオプションが用意されている。後日Widnows版の「ファイナルデータ」を試したが、救済オプションはWidnows版の方がはるかい多い。

しかし、今回のように間違ってファーマットした場合は「クラスタースキャン」が基本のようだ。ディスク表面をすべてなめてデータを調べる方式。CDブートKnoppix版では2時間程度で、Windows版では一晩かけてHDD内をすべてスキャンかけて救済可能なファイルをリストアップしてくれる(Knoppix版が断然速かった)。

運が良ければフォルダー構造ごと救済可能なファイルのリストアップがされるが、フォルダー構造情報が失われたもの(フォーマットなどを繰り返して人災を重ねた場合など)でも、単体のファイル名がソートされてリストアップされる。よくできたソフトウェアと感心した。

逆にデータ復旧サービスベンダーはこのソフトウェアでできるレベルなのか、それとももっと奥深い技が駆使されているのかと脳裏をよぎる。理論的にはディスク表面の磁気データが読み出せればだいたいのものは復旧できるのだろうが、逆にいろいろ手が加えられた後はどうしようもない。

教訓



今回はたまたま「ファイナルデータ」のおかげで最低限のファイルを救済することができた。ただただ運が良かった。今回のトラブルはいろいろ反省させられた。

ハードは際限なく安くなりコモディディティ化の一途だから購入負担も激減しているが、そのことが逆にデータの重要性を忘れさせる。「油断」という言葉がぴったり。ハードは買い直せばよいが、データは戻ってこない。もし絶対必要なデータなら、データ復旧専門業者に依頼しなければならない。10万でも100万でも、戻ってくれば運がよいほうかもしれない。

それだけ貴重なデータなら場合によって機密性もあるかもしれないので、データ復旧専門業者に開示するというリスクも発生する。

・「データは財産」という心構え

データは財産。バックアップをとる。リアルタイムによる完全なバックアップは労力など費用対効果が悪いので、失われても最悪やむを得ない損害の範囲、たとえば半年、1ヶ月、1週間、1日など設定し定期バックアップのルーティンワークを決めておく。

・トラブルの予兆

今回のトラブルには予兆があった。メールの取り込みが非常に遅かったので「何か変だ」と感じていた。事務所から操作するメールサーバも同じサーバだが、それには問題がないのでネットワーク回線の問題と考えていたが、調査することもなく放置していた。今から思えば時間とともに遅さは次第に悪化していった。

ADSLから光回線にアップグレードした時は大きなヒントだった。回線の理論的なスピード差は数百倍、Webの表示などは格段に速くなったにもかかわらずメールは依然遅かった。このヒントを見逃した。

さらに時々カタカタとPCから音がでていることを感じた。「何か音がしたようだ」とか「何が鳴っているのか?」で終わる。ハードディスクが壊れる際「音がする」現象は昔から聞いていたが、初めての体験だった。

なぜ音がでるのか、ヘッドがディスクに接触しているのか?(まさか!)、あるいは読めないセクターに対して、激しいリトライを繰り返すヘッドの動作音なのか?それは今も不明だが、物理的に音がしていたことは事実。

こうやってみればいくつもの大きな予兆を見逃していたことになる。

・トラブル発生に至っても重大性の認識欠如

夕食でお酒を飲んだ後に緩慢な動作でトラブルに対処。判断力のない危険な操作を繰り返す。本番に至ってもステージに上がっても自分は状況を認識できなかった。

最終的にはデータ救済ソフトという駆け込み寺のおかげで、最悪の事態は回避できたが、喜んでいる場合ではない。むしろここで多少痛い目に遭って、データに対する態度を体全体で悔い改める必要があったかもしれない。今回は運が良かった。甘えないようにしないと次回は運が悪いかもしれない。

・事故は必ず発生する

それは避けがたい。しかし、わずかな事前作業で被害を最小限にコントロールできる方策もある。しない手はない。

ハードディスクのデータ程度で大げさに考えるほどのことでもないが、こうやって文章にして反省してみると、一連の状況は原発の事故のような重大な事故の状況とも図式はそっくり。小さなトラブルも大きなトラブルもミスしやすいポイントは同じ。








< | >

便利なサービス:リマインダー&未来メール
  • (2009-07-04 10:50:59)
スケジュール管理。ヤフーのカレンダーを使おうかとも考えたが、野球の試合予定など既存の書き込みがあり使いにくい。

そこでリマインダー&未来メールサービスを利用することにした。無料で公開してくれている個人や会社があって助かる。

無料だけにいつサービスが中断するか不明だし、保証もないが、それを覚悟すれば大変便利である。

(1)宛先:todomail@aivy.co.jp

(2)タイトル:受信したい日時。例:200907040000

(3)内容:要件を書く






< | >

動画のスクリーンショット
  • (2009-07-03 18:05:46)
自社制作のプロモーションビデオが上がってきた。ムービー・メイキングの記事書きのために動画のスクリーンショットを取ろうとしたが、様子がおかしい。

ショットした画面が動画に合わせて動く。ファイルとして保存しても、保存後に動画に合わせて動く。意味がわかなないが、とにかく動く。動画を止めると真っ暗な画面の画像が残される。

ネットで検索するとポピュラーなトラブルのようで多くの人の書き込みがあった。オーバーレイという技術が使用されている動画アプリケーションで発生する模様。DirectXを使用しているアプリケーションも同様。

オーバーレイやDirectXの機能を未使用にすればショットが採取できるが、今度は画像品質が落ちる。カラー数が落ちるようだ。

動画アプリケーションで静止画をショットできる機能がある場合はそれで取るしかない。案外苦しんだ。オーバーレイやDirectXの仕組みはわからないが、今日のところは小手先解決。






search
layout
admin

[▲page top]