平素は楽天証券をご愛顧いただき、誠にありがとうございます。
2008年11月11日(火)に発生しましたシステム障害におきまして、お客様には多大なご迷惑をおかけいたしました。あらためてお詫び申し上げます。
また、経緯と対策、進捗状況につきましても、あらためてご報告申し上げます。
このたび発生した障害は、当社の基幹データベースにおいて、データを高速に検索するためのインデックス(索引)情報の一部に不具合が生じたことにより発生いたしました。
基幹データベースは、お客様の口座情報やお取引データ等、大量のデータを管理しており、インデックス(索引)情報はそのデータのなかから必要なデータを高速に検索するために必要な情報を管理しております。また、データベースへのデータの書き込みや削除がおこなわれるたびに、インデックス(索引)情報が随時更新される仕組みになっております。
11月11日未明におこなった基幹データベースの夜間メンテナンス(バッチ処理)において、お客様のお取引や残高のデータに前日までのお取引の情報を反映する勘定履歴の作成処理中に、上記のインデックス(索引)情報の不具合が発生いたしました。そのため、データの検索処理が正常に機能せず、バッチ処理がループ状態に陥ったため、このたびの事態を引き起こすこととなりました。
当社では、異常な状態を検知した後、全力を挙げて原因を特定し、処理を正常化すべく作業をおこないましたが、復旧に大幅な時間を要したため、11日朝からの受注を開始することができませんでした。結果として、同日午後0時45分まで米国株式とFXを除くすべての商品において、お取引いただけない事態となってしまいました。
事態の経緯は以下の通りです。
午前 3:24頃 | 夜間メンテナンスにおけるお客様の勘定履歴を作成するバッチ処理を開始 |
---|---|
午前 8:40頃 | 受注の見込みが立たず、寄付からの注文について全面的に受注停止を決定 |
午前 9:53 | お客様のログインを停止 |
午前 10:35頃 | リカバリー処理方針の目処が立ち、異常の発生したバッチ処理を再実行 |
午後 0:38頃 | 前日夜間受注分の一括発注完了 |
午後 0:45頃 | 復旧。受注開始 |
お客様にはおかれましては以下のような影響がございました。
障害の影響を受けたご注文については、当社のシステム障害時の対応方針に基づき、当社での注文受付・発注時刻と市場での取引状況とを照合・検証し、約定等の訂正処理させていただいております。
当社では今回の事態を重く受け止め、以下のような対策を講じてまいりました。
2008年11月11日のシステム障害は、弊社の基幹データベースソフトウェア製品の不具合により、データを高速に検索するためのインデックス(索引)情報の一部が不正な状態となったことに起因します。本システム障害の原因となった基幹データベースソフトウェアの不具合を解消するとともに、万が一同様のシステム障害が発生した場合に、可能なかぎりその影響を少なくするための対策に取り組んでおります。
障害の原因となりましたデータベースソフトウェアの不具合につきましては、修正プログラム(パッチプログラム)の適用を完了し、今回のシステム障害の原因となりましたインデックス(索引)情報が不正な状態となる不具合を根本的に解決しております。
今回と同様のインデックス(索引)情報に関連するデータベース障害を回避する策として、すべてのインデックス(索引)情報の再作成を実施しております。また、インデックス(索引)情報については、今後定期的な再作成を実施してまいります。
データベースソフトウェア会社と直接連絡が可能な24時間専用窓口を新たに設置いたしました。万一夜間に障害が発生した場合でも、より早期の復旧を目的として、即時の連絡体制を整備いたしました。
夜間バッチ処理の障害および遅延事象を早期に発見するため、従来のチェックポイントに加えて遅延検知チェックポイントを追加設定いたしました。また、今回のようにシステムがループ状態に陥りエラーを出力しない障害に備えるため、特に重要なバッチ処理については、標準的な処理時間を設定し、これを超えた場合に遅延を検知する仕組みを導入いたしました。
従来、約90分の処理時間であった夜間バッチ処理を約60分に短縮いたしました。これにより、夜間バッチ処理で発生したシステム障害に対する復旧時間を確保いたしました。
基幹データベースごとに受注停止やログイン停止を可能とする仕組みを構築し、一台のデータベースに障害が発生した場合でも、他のデータベースに影響が及ばず、継続してサービスが提供できる体制を構築いたしました。
お客様がメンバーページにログインできない障害が発生した場合でも、お客様ごとに取引への影響をお知らせし、システムの稼働状況が把握できる専用告知ページを構築いたしました。
このたびの障害におきましては、お客様には多大なご迷惑をおかけいたしました。重ねてお詫び申し上げます。基本となる再発防止策は完了しておりますが、同様の事態を二度と招かぬよう、継続した対策に全力をあげて取り組んで参ります。今後とも深いご理解と変わらぬご支援を賜りますよう、何卒お願い申し上げます。
ポートフォリオ機能・お気に入り銘柄機能
楽天証券へ資料請求して、今すぐご利用いただけます。
「ログイン前の登録銘柄と同期する」設定をしていただくことでご利用いただけます。