WASABI Cloud NASの検証では発生しなかった、お客様環境での想定外の動作発生(障害?)(~2024年05月25日)

お客様先で発生したWasabi Cloud NASの想定外の動作

【お客様のサーバー構成】

・ファイルサーバー01(マスターサーバー):エンドユーザーが日常的に利用するサーバー

・ファイルサーバー02(バックアップサーバー):ファイルサーバー01の本体故障に備えるバックアップサーバー(日常利用無し)

・2台のサーバーへWasabi Cloud NAS(以降WCN)アプリケーションをインストール

・WCNの設定はそれぞれのサーバー共に同じ設定

 「Replication Policy」(イメージ的にはWasabiバケットへのアップロード):1Minute

 「Synchronization」(イメージ的にはWasabiバケットからのダウンロード):1Minute

 細かい設定は他もありますがこの記事では省略しています


【問題発生】

1.WCNをご利用のお客様からファイルサーバー01で削除もしくは移動(削除か移動かは正確には不明)したファイルが

 一定間隔で元々あったフォルダ内に復元されるとのご指摘

2.お客様からファイルサーバー01とファイルサーバー02の同一フォルダのファイル数に差があるとご指摘


【問題解消までの一時的な対策】

下記のWCNの設定変更を行う事でお客様のマスターサーバーのファイル差分による意図しないファイル復元を回避する、

この暫定対策の間でWasabiサポートと問題解消と原因究明に取り組みたかった(←最終的には原因不明)

A.ファイルサーバー01(マスターサーバー)のWCNの設定

A1.「Replication Policy」:1Minute

A2.「Synchronization」:無効

この設定による動作のイメージはWasabiバケットへのアップロードのみ行う

B.ファイルサーバー02(バックアップサーバー)のWCNの設定

B1.「Replication Policy」:無効設定が無い為、100年を指定

B2.「Synchronization」:1Minute

この設定による動作のイメージはWasabiバケットからのダウンロードのみ行う


【私共のHyper-v仮想環境での検証01】

1.私共の検証環境に複数のサーバーOSを構築

2.複数のサーバーOSにWCNをインストール

3.ファイル差分を発生させる為にWCNの設定変更等による検証

(24-04-05)WASABI_CloudNAS_動作検証(2.3.0.17).xlsx

(24-04-05)WASABI_CloudNAS_動作検証02(2.3.0.17).xlsx

(24-04-12)WASABI_CloudNAS_動作検証03(2.3.0.17).xlsx

(24-04-13)WASABI_CloudNAS_動作検証(tiercliコマンド).xlsx

(24-04-16)WASABI_CloudNAS_動作検証04(2.3.0.17).xlsx

(24-04-17)WASABI_CloudNAS_動作検証05(2.3.0.17).xlsx

 ※検証結果としてはファイル差分が確実に発生する(←ただしお客様先での問題発生の原因とは全く異なる原因が後に判明


【検証01のファイル差分発生の原因】

私共の検証の環境はHyper-v上にゲストサーバーを複数構築し、そのサーバーにWCNをインストールする事で実施していたが

そのサーバーOSはクリーンインストールされた環境では無く、OSインストールディスクをコピーして複数の環境を作成した為に

WCNのインストール時にWCNが同一のOSと認識をして、WCNのシリアルキーが同一になってしまい、WCNの動作が異常を起こしていた

(24-04-17)WASABI_CloudNAS_同一シリアルキー(YorozuFServer02、YorozuFServer04).xlsx

※沢山のWCNクローンが発生しているような状態になりファイル差分が発生、お客様で発生している現象の検証がブレてしまった


【私共のHyper-v仮想環境での検証02】

※全てのサーバーをクリーンインストールしWCNの環境を再構築

1.私共の検証環境に複数のサーバーOSを構築(クリーンインストール)

2.複数のサーバーOSにWCNをインストール

3.ファイル差分を発生させる為にWCNの設定変更等による検証

(24-04-25)WASABI_CloudNAS_動作検証06(2.3.0.17).xlsx


【検証02のまとめ】

1.ファイル作成、ファイル更新:「Replication Policy」でWasabiバケットと同期する

2.ファイル削除:「Replication Policy」とは関係なくWasabiバケットと同期する

3.「Synchronization」はファイル操作(作成、更新、削除)に関係無く、Wasabiバケットと同期する

※つまりWCN環境は「Replication Policy」1Minute、「Synchronization」1Minuteのような、

 (現時点では)即時同期イメージで環境構築・運用を意識する必要がある

※特にファイル削除はWCNの指定に関係なく実行されるので注意が必要である


【ファイル差分の調査】

検証環境では差分発生の再現は難しいと判断し、お客様環境の復旧を優先と考え

ゴールデンウイークの長期休暇に入ったので、お客様もお休みされていると想定し、

ファイル差分がどの程度発生しているのか調査を開始

(24-05-05)WASABI_CloudNAS_動作検証07(2.3.0.17)(A社様).xlsx

(24-05-06)WASABI_CloudNAS_動作検証08(2.3.0.17)(B社様).xlsx

実データなので検証の結果は公開できないが多数のファイル数の差分を確認

差分の調査方法は別ページにて公開→調査方法手順

※この差分の調査時点で差分がどこで発生しているか不明

 つまりはWasabiバケット内のファイル自体が信頼できない状態にあると判断

 <差分発生個所の可能性>

 可能性1:ファイルサーバー01⇔Wasabiバケット間

 可能性2:Wasabiバケット⇔ファイルサーバー02間


【お客様環境の再構築】

1.Wasabiバケットに複数サーバーを接続すると差分が発生する可能性がある為、

 ファイルサーバー01のWCNのみでWasabiバケットを利用し、

 Wasabiバケットをファイルサーバー01のバックアップ先と限定した用途に決める事とした

2.新しいWasabiバケットを作成し、ファイルサーバー01のWCNの設定変更で新バケット名を指定する

3.ファイルサーバー01からファイルサーバー02へはWindowsの機能の

 コマンドを利用したバッチを作成し、ファイルコピーで夜間にバックアップする


【まとめ】

2024年05月25日時点でWasabi Cloud NASを複数のサーバーで利用する構成はリスクがあると判断し、

以下を満たすまで、私共はお客様への提供を停止する事としました

<私共が決定したお客様への再提供の条件>

・WCNでファイル差分が発生しない確実な証拠や根拠がある事

・仮にファイル差分が発生しても差分の有無を確認できる方法がある事

・ファイル差分が発生しても修復できる方法を確立している事

※お客様への提供中断はあくまでも私共の検証及び発生した問題から判断した私共の方針です

 WCNが想定通りに動作すればオンプレとクラウドのいいとこ取りの画期的なファイル管理が可能ですので

 是非、検証はされてみてはいかがでしょうか