原因不明の高負荷状態が発生。その時にとった対策とは

この決済システムにおいて、ある日、特定の画面が極端に遅くなり処理ができなくなるという問題が発生。ユーザー様にお約束していたサービスレベルの維持が難しくなる事態となりました。OracleのEnterprise ManagerやOSのパフォーマンスモニターの数値から、ネットワークに問題があると考え、ネットワークの設定を変更することで対応を実施しました。
しかし、根本的にボトルネックの究明にはいたっていなかったため、日々24時間監視に貼り付け、安定運用化が難しいと判断。
そこで、以前、別のシステムでデータベースの性能問題を見事に解決した実績を持つアクアシステムズに、急遽、性能診断とボトルネック分析を依頼することになりました。

連絡から１週間で性能問題が解決

その依頼の電話の翌日、アクアシステムズ社に状況を見てもらったところ、パフォーマンスモニターで見る限り、データベースがボトルネックになっている可能性が高いとの見込みもあり、アクアシステムズの持つ性能分析・診断ツール「Performance Analyzer 4」を使ってOracleデータベースの詳細調査を実施することとし、早速その翌日から仕掛けることとしました。

1日分の情報を取得しその情報を元に性能診断をした結果、Oracleが大量のI/Oを発生させていて、DB全体の性能劣化が発生しており、その原因は、1本のSQLが、データベース全体のI/Oのうち、98%を発生させることで引き起こされていました。また、SQL文の実行計画が変化しやすくなっていて、よい日はよいのですが、悪い日は問題となった日のように極端に悪くなるという不安定な状態になっていたこともわかりました。
他の監視ツールもいくつか導入していましたが、最も早く導入でき、かつ原因究明までたどりつくことができたのは、「Performance Analyzer 4」でした。

チューニングによる最適化と安定化

アクアシステムズの診断結果を受け、更にチューニングの実施をお願いしました。SQL 文の最適化、実行計画の安定化のためのパラメータ調整を行うことで、60%高速化を実現し、性能問題は劇的に改善、また性能を維持することができるようになりました。

プロアクティブな運用を提案

今回の突然の性能劣化は、どこのデータベース環境でもよく起こることで、アクアシステムズでは、そういったお客様に対してチューニングを支援している例が数多くあり、しかもそのほとんどはどうしようもなくなってから依頼されるものになります。

問題が起こる前に事前に予兆を検知し、プロアクティブに運用をすることが、こういったミッションクリティカルな環境には求められます。サービス自体は定期的に機能開発・リリースが発生しますが、その際にも、リリース前に性能問題がないかを事前検証し、リリース後の問題をなくす必要があります。
そこでアグレックス社では、TIS 社を交えて今後の運用をより安定化させるべく、運用改善に取り組むこととなりました。
その中で、アクアシステムズの「Performance Analyzer 4」をベースに、定期的に性能情報を取得、監視し、問題が起こる前に対処する、という方針を決定。さらに、製品の機能を最大限に活用し性能情報をより深く分析できるよう、アクアシステムズからのトレーニングや性能分析・チューニング支援サービスを組み込んでいくこととなりました。

豊富なサービスメニューでライフサイクル全般を支援

今回、アクアシステムズのコンサルティングを依頼するにあたり、別の案件での実績や他でも多くの成功事例を持っていること、性能診断、チューニングといった、データベースに特化したサービスがメニューとしてあり、データベース部分での問題点をしっかり切り分けできること、といった点にも多くのメリットがあると判断したことが決め手となりました。
また、「Performance Analyzer 4」は、通常のライセンス利用以外にも、急に性能診断やチューニングが必要になった際にスポットで利用することもできるような柔軟なライセンス体系になっていて、突発的な利用、開発期間での利用といったことができる点も魅力です。
今後は、自社サービスでの利用に加えて、システム運用を支援するお客様先でのトラブル対応、安定稼働、性能向上を図るべく、「Performance Analyzer 4」活用のトレーニング、支援サービスなどを通してアクアシステムズとさらに連携してサービスの提供をしていきたいと考えています。