楽天証券ネット証券Blogでは、12月27日の記事で「システムが重くなる証券会社が多発するかもしれない。資金を複数の証券会社に分散するなどの対策を準備しておいたほうがいいだろう」という警告を発していたが、ついに楽天証券が長時間のシステム停止という大障害を発生させてしまった。昔の障害時に比べて口座数も格段に増え、ちょうど市場も活況だったために、損害を被った投資家数が多く、実質的にネット証券史上最大の障害となった。ところで、今回の障害の原因は、人災だった可能性が高い。
★トピックス★
<人災その1>夜間バッチのリカバリ処理に失敗
楽天証券では、障害の根本原因を以下のように説明している。
■障害の原因
このたびの一連の障害は、本日(2004年1月12日)未明に実行した夜間バッチ処理の一部にエラーが発生したことに起因いたします。
エラー処理をリカバリするためにバッチ処理を再度実行しましたが、この際、リカバリ対象外のデータテーブルに二重の書き込みがなされてしまいました。このため、後続のバッチ処理において複数のデータテーブルに誤った情報が反映されてしまいました。

つまり、夜間バッチが何らかの原因でエラーしたので、オペレータか誰かが手動でバッチを再実行したら、問題ないところまで動いてしまって、二重処理が発生してしまったということだ。このため、夜間にユーザーが発注した注文や前日からの繰越注文が二重にデータベースに登録されてしまい、余力が減りすぎたり、朝になって注文を取り消しても、取り消しが反映されないといった状況が発生したようだ。要するに、オペレーションミスである。まさに人災。

<人災その2>事態を把握しないまま?前場の取引を受付?

前場は、余力が異常になったユーザーは注文ができなくなる状況に陥ったが、電話による注文は受付ていて、そうでない人は通常通りインターネットで注文を受け付けていた。しかし、昼から急遽、強制切断を行い、後場も取引をう受け付けることはなかった。このため、前場に注文を発注したり、株を買ってしまったユーザーは、注文の取消しができなかったり、売却や返済ができないといった状況が発生してしまった。これが被害の拡大につながったのだろう。
ちなみに、楽天証券が障害の第一報を出したのは、9時37分である。

<人災その3>障害時には役に立たないコールセンタでの注文受付

第一報の時点で、インターネットで注文できない人のために、電話(フリーダイヤル)での注文を受け付けていた。しかし、2chやYahoo掲示板で電話で注文をしたという人は特に見つからず、つながらなかったようだ。そもそもインターネットの取引をコールセンターでまかない切れるわけがないのが原因だが、コールセンターの要員も結局同じシステムか繋がったシステムをつかって注文を取り次がなければならないので、取引所への発注はできなかったのではないだろうか。自己売買で補ったのかもしれないが。
 また、インターネット取引を中断した、後場以降は、コールセンターでの受付はどうなったのかということもまったく音沙汰がなかった。

<人災その4>システムコストのケチりすぎ
今回の障害と直接関係あるのかはわからないが、楽天証券は、「従来のHP A500、N4000、L1000、L2000、rpシリーズを30台のSun Fire V210に切り替えたことで、運用コストだけを考えても現状3割減(約2億円)のコスト削減効果」という。しかし、2億円のコスト削減は本当に必要だったのだろうか。たかが2億円である。それぐらい、1週間活況が続けば、元が取れる値段ではないだろうか。今回の障害の損失は億近くになるはず。今後の新機能追加や新生銀行との提携、手数料値下げも遅れるかもしれない。


でも、楽天証券にしてみれば、とりあえず今日はシステム会社に損害賠償を請求するのでへっちゃらなんでしょう。(笑)
だから、今日の楽天の株価の下落が障害のせいだったとしても、実際にはなんら影響はないのですぐもどるかもしれない。


■関連リンク
・楽天証券執行役員情報システム本部長兼システム企画部長原田勉氏
「インターネット専業の会社となるとシステムの停止は、会社の心停止を意味する。」

■関連記事
ネット証券Blog:楽天証券のシステムが重くて文句がでているようだ
22日後場、複数の証券会社で同時多発障害が断続的に発生したらしい
年末年始は、2004年4月並の活況か!一部ネット証券が臨時のシステム増強
切込隊長が、HANABI氏の見せ板疑惑で利用された証券会社のひとつは楽天証券であるとして、公的機関に再度の情報を提供を行ったそうだ