2022/09/08に発生した故障について

この度はご迷惑をお掛けいたしまして誠に申し訳ございません。
2022/09/08に発生いたしました、2つの故障についてご報告いたします。

■故障①
■故障②
■影響内容
■原因と対策
■時系列
■状況

■故障①

発生日時: 2022-09-08 02:15
回復日時: 2022-09-08 05:08

・オーバーレイタイプ　故障情報
・セキュアパッケージタイプ　故障情報

影響範囲:
・Master'sONE CloudWAN オーバーレイタイプ、セキュアパッケージタイプをご利用中の
　オーケストレーター＃５に収容されているお客様の一部

■故障②

発生日時: 2022-09-08 03:00
回復日時: 2022-09-08 11:06

・オーバーレイタイプ　故障情報
・セキュアパッケージタイプ　故障情報

影響範囲:
・Master'sONE CloudWAN オーバーレイタイプ、セキュアパッケージタイプをご利用中の
　オーケストレーター＃５に収容されているお客様の一部

■影響内容

2022/09/08に、オーケストレーター#5自体のバージョンアップを、
2022/09/15に、オーケストレーター#5に収容されているお客様宅内エッジ装置のバージョンアップを予定しておりました。

・オーバーレイタイプ　メンテナンス情報（2022/09/08）
・セキュアパッケージタイプ　メンテナンス情報（2022/09/08）
・オーバーレイタイプ　メンテナンス情報（2022/09/15）
・セキュアパッケージタイプ　メンテナンス情報（2022/09/15）

メンテナンス通知にてご案内の通り、2022/09/08のメンテナンスでは、
オーケストレーター#5～エッジ装置間のCプレーントンネルのみの通信影響を想定しておりました。

しかしながら、お客様拠点（弊社設備のコアエッジ装置）が確立しているDプレーントンネルの一部に通信断がございました。
※お客様宅内エッジ装置間、およびお客様宅内エッジ装置～コアエッジ装置間のDプレーントンネルには影響がございませんでした。

事前のメンテナンス情報と相違がございましたため、故障通知を掲載いたしました。（故障①）

また、オーケストレーター#5のバージョンアップ時に、オーケストレーターが生成しエッジ装置へ配布するコンフィグデータの一部が欠損いたしました。

欠損したデータには、LANポートからWANポートへのパケット転送をつかさどる機能が含まれており、エッジ装置配下のお客様端末から、対向拠点への拠点間通信、およびインターネットブレイクアウトする通信が行えない事象が発生いたしました。

お客様よりご申告いただき調査、当該事象を確認しましたため、復旧対処として、当該コンフィグデータを再生成、エッジ装置へ再度配布し、お客様通信が回復しております。（故障②）

・故障①の概要

・故障②の概要

■原因と対策

故障①

一部お客様エッジ装置（弊社設備のコアエッジ装置）のネットワーク環境に起因して発生しました。
メンテナンス通知における工事影響については、誤りの無いよう確認し通知いたします。

故障②

誤ったコンフィグデータの生成は、WANポートに設定された「インターフェースタグ」が正しく設定されていないことに起因しておりました。
インターフェースタグの設定不備は、オーケストレーターのバージョンアップ作業中のデータ処理ロジックにて発生しました。

その後、オーケストレーターのバージョンアップ後に実施した、経路情報をコントロールする機能の最適化処理を契機として、お客様宅内エッジ装置へ配布するコンフィグデータの生成が行われました。

本来であればこれまで使用していたものと差分が無いコンフィグデータが生成されるはずでしたが、前述のインターフェースタグの設定不備により誤ったコンフィグデータが生成、配布されました。

本バージョンアップの事前試験において本事象が確認できなかった原因について、インターフェースタグの設定不備は事前試験でも発生しておりましたが、経路情報をコントロールする機能の最適化処理は試験工程に含まれておらず、誤ったコンフィグデータが生成されないままの状態で評価したことで、データ処理ロジックの不具合を検知することができませんでした。

この最適化処理はオーケストレーターのバージョンアップと分離されたプロセスのため、一連の工程として評価ができておりませんでした。

再発防止として、試験におけるオーケストレーター内部の事前事後のリソース差分に関する評価を改善いたします。
また、工事後の正常性確認手段として、サンプル環境での通信試験の強化により、類似事象発生時にも早期検知できる体制を整えます。

■時系列

2022/09/08
・00:00
　・メンテナンス開始
・02:15
　・お客様拠点（弊社設備のコアエッジ装置）が確立しているDプレーントンネルの一部に
　　通信断が発生。（故障①　発生）
・03:00頃
　・お客様宅内エッジ装置のコンフィグデータの一部が欠損。
　　お客様通信断が発生。（故障②　発生）
・05:08
　・お客様拠点（弊社設備のコアエッジ装置）が確立しているDプレーントンネルの
　　通信断が回復。（故障①　回復）
・08:00
　・メンテナンス終了
・09:00頃
　・複数のお客様より通信不可をご申告。
・10:05
　・復旧手順を確立、順次お客様宅内エッジ装置へ再生成したコンフィグデータを配布開始。
・11:06
　・すべてのお客様宅内エッジ装置へ再生成したコンフィグデータの配布が完了。
　　お客様通信断が回復。（故障②　回復）

■状況

現在は回復しております

ご迷惑をお掛けして申し訳ございません。