楽天証券楽天証券は、今年1月の大規模な障害で基幹系DBサーバの能力を1.7倍にしたが、また基幹系DBサーバで障害が発生してしまった。今回は「高負荷時にある特殊なタイミングで発生する競合状況が起き、所定のメモリ領域を消費するという不具合」ということだが、復旧に時間がかかり広範囲なサービスに影響が出たようだ。

8月11日(木)のシステム障害に関するご報告 (8.12 01:06)

日頃、弊社をご愛顧いただき誠にありがとうございます。

8月11日に発生いたしました弊社基幹DBの障害によりお客様のお取引に多大なご迷惑をお掛けし、誠に申し訳ございませんでした。
このたびの事態経緯、原因および今後の対応についてご報告をさせていただきます。

■ 今回の経緯および現在の状況について

基幹DBの障害を検知したため、待機系DBへの切替を行って事態の復旧を進めました。この間、お客様におかれましてはログインができない、注文ができないなどの影響が出てしまいました。

障害発生から事態復旧に至る経緯は以下の通りとなります。

13:20頃 基幹DBの異常を検知
      東証とジャスダック向けの注文執行に遅延発生を確認
13:40  基幹DB障害のため待機系DBへ切替作業を開始
14:01  待機系DBへの切替完了
      国内株式受注再開
15:46  中国株式受注再開
17:15  正規系基幹DBへ切り戻し作業開始(〜17:31作業完了)
18:01  モバイルシステム復旧
18:16  カバードワラント受注再開
18:24  夕方のバッチ処理開始 (〜19:02 処理終了)
19:02  国内株式8月12日分受注開始
21:05  先物・オプション受注再開

また既にホームページにて告知させていただいておりますが、以下の影響もございましたので改めてお知らせさせていただくとともに深くお詫び申し上げます。

・入金処理の遅延について
上記の障害発生時よりATMなどからの入金処理について弊社側での確認作業ができない状況が継続しておりましたが、既に復旧し入金処理が完了しております。尚、リアルタイム入金については問題ございませんでした。

・出金受付について
上記の障害発生時より受付できない状況になっておりましたが、現時点では既に復旧しております。

・新規公開株式の申込みについて
本日14時締め切りのビズネット株式会社(3381)の新規公開株式の購入申込みについて、上記の事態から14時の少し前に締め切らざるをえない結果になりました。

・信用取引における現引・現渡注文について
本日、上記注文を執行されたお客様の中で約定が「出来ず」と表示されているケースがあります。夜間バッチ終了後、明朝には正しい約定状況を画面にてご確認いただくことができる予定でございます。

■ 今回の原因について

このたびの障害の原因は特定できております。
弊社が基幹DBとして利用しているデータベースシステムにおいて、高負荷時にある特殊なタイミングで発生する競合状況が起き、所定のメモリ領域を消費するという不具合が発生したものです。大変まれな状況でのみ発生する不具合として報告されています。この事態の回避手段や修復方法については既にデータベースベンダーにて把握されております。

■ 今後の対応について

今後、以下のような二段階の対応措置を取りつつ、抜本的な解消を進めてまいります。

明日8月12日(金)からの取引に際しては上記原因の発生を予防するため、早急にメモリ領域の拡大を実施して対応いたします。加えて万一の事態をいち早く検知するため、監視体制を強化して臨みます。

また抜本策についてはDBシステムの一部修正が必要となりますので影響範囲を十分に調査の上で実施することといたします。詳しい対応方針やスケジュールは改めてご連絡させていただきます。

最後に、今回の事態につきましては重ねてお詫び申し上げます。今後ともお客様におかれましては、何卒、深いご理解と変わらぬご支援を賜りますようお願い申し上げます。


楽天証券のお知らせに書いてあるとおり、今回の障害は、株取引だけでなく、入出金、IPOなど広範囲に影響があった。きっかけは、取引が活発になったことだ。しかし、1月に発生した大規模な障害と同じ基幹系DBサーバが原因で、そのDBサーバの処理能力は1月の時点で1.7倍にしていたのである。「大変まれな状況でのみ発生」とは、取引が急増した場合のことだと思われるが、手数料を値下げや口座数増加にあわせて取引量の増加を予想しておかなくてはならないはずで、それを想定したシステムの性能テストが不十分だったことが根本原因なのではないだろうか。

楽天証券は、マーケットスピードを中心にサービスの質量ともに充実しているところは評価したいが、データベースの処理やバッチ処理の安定性とそれに対する取り組みに関してだけは残念ながら大手5社の中で一番低いといわざるを得ない。障害が発生するのはいつも口座数が増えた後で取引が急増する局面。その場しのぎではなく、中長期的なシステムの安定性を確保してほしいものだ。

【関連記事】
楽天証券 6/15発生の障害のお詫びを掲載 原因は取引所直結システムのディスク障害と待機系システムとの接続ソフトの障害
楽天証券 2月7日(月)〜10日(木)の4日間手数料半額、信頼回復の正念場に
楽天証券が、28日大引けの注文処理遅延は東証に原因があると説明
楽天証券 26日も夜間バッチのデータ不整合でサービス開始が遅れた
楽天証券 基幹系DBサーバ1.7倍にしたが、取引時間中に重くなる状況が続く
楽天証券のシステム障害は人災 被害はネット証券史上最大
楽天証券のシステムが重くて文句がでているようだ
22日後場、複数の証券会社で同時多発障害が断続的に発生したらしい
年末年始は、2004年4月並の活況か!一部ネット証券が臨時のシステム増強