以下、不具合情報です。
発生時間:
2020年01月21日 19:00
回復時間:
2020年07月31日 17:00
影響サービス:
全てのサービス共通
影響内容:
コントロールパネルに誤った状態が表示、及びCプレーン断の誤ったメール通知が発生する事象
状況
クラウド基盤の一時的な負荷上昇やクラウド環境の故障によって、
オーケストレーター内でステータスを管理する一部のプロセスが高負荷となり、ステータスが正しく認識されず、
結果、コントローラの表示誤りやCプレーン監視の誤通知が過去複数回発生していました。
対応:
以下の負荷軽減対処および運用改善を実施致しました。
また、対処後の経過観測においても、事象の改善が確認されました。
負荷軽減対処①：2020年07月09日適用済み
・エッジ装置とオーケストレーター間の同期処理時間の分散化
負荷軽減対処②：2020年07月16日適用済み
・オーケストレーターのバージョンアップによる内部処理の最適化
運用改善①：2020年07月10日適用済み
・サービス全体の影響をより早く検知できるよう、より精度の高い監視閾値への見直し
運用改善②：2020年07月16日適用済み
・誤検知を発生させないための監視ロジックを追加
原因:
ソフトウェアトラブル（オーケストレーター）
状況:
対処により事象は改善されました
ご迷惑をお掛けして申し訳ございません。
コメント
5件のコメント
負荷軽減対処①：2020年07月09日に対処が完了しました
・エッジ装置とオーケストレータ間の同期処理時間の分散化
運用改善①：2020年07月10日に対応が完了しました
・サービス全体の影響をより早く検知できるよう、より精度の高い監視閾値への見直し
負荷軽減対処②：2020年07月16日に対処が完了しました
・オーケストレータのバージョンアップによる内部処理の最適化
運用改善②：2020年07月16日に対応が完了しました
・誤検知を発生させないための監視ロジックを追加
対処は全て完了しました。
2週間程度、対処の効果・負荷状態を観測させていただく予定です。
記事コメントは受け付けていません。