機械学習とシステム運用
こんにちは。フィックスポイントの冨です。
セミナーの際にいろいろと質問をお受けするのですが、その一つに「機械学習とか人工知能系のシステムにKompiraは使えるのでしょうか？」というのがありました。
最近では、いわゆる"MLOps"と称される領域ですが、もちろん適用できる部分はあると思います。
また改めて気づいたのですが、機械学習／AIとシステム運用の関連でご相談がある場合、
(1) 機械学習をシステム化する際の構成や運用という見方と
(2)システム運用に機械学習を利用して効率化したい、
という2通りです。
（１）のパターンは、データサイエンティストの方が作ったモデルを、 大量データに適用して結果を出すシステムです。
私もいくつか経験がありますが、データの発生頻度やリアルタイム処理などの要件により、 大きくシステム構成の考え方が変わってきます。
そしてオペレータの方などがコマンドを叩いて行う作業がある以上は、 そこに自動化する余地があるわけです。
（２）のパターンは、運用自動化に伴って、これからも重要になってくる領域でしょう。
意思決定支援が主な領域になるわけですが、従来の閾値を基準とした判断のみでなく、 計測指標の変化のパターンなどで故障の予兆を探ろうとしたり、故障個所の推定を行おうという試みです。
この場合は、機械学習のみならず、昔からの統計手法やモデリング手法も多く用いられます。 例えば時系列データをk-shape法などを用いてパターン分類してみたり、 自己回帰モデルなどの予測値との差分や、トレンドからの外れ具合から異常判定を試みたりするわけです。
例えばHDDやメモリーなどの読み取りエラー発生頻度が急に増えてきたとか、 ネットワーク・トラフィックの増減パターンがいつもと違うなど、 モニター結果の平常時における変化のトレンドから変わったことを検知し、 それらが障害につながりそうかを評価したいわけです。
そして現時点でのKompraシリーズには、ログ分析や計測メトリックを直接扱うサービスはございません。
お客様側で上記のようなモニタリングシステムを構築した場合、それと連携して、 自動的に予防保守を行うようなシステム構成を作ることは可能です。
また各所に散らばったログを集約してDWHにロードするような処理を自動化するなども考えられます。
（１）も（２）も、まだまだこれからといった分野と思いますので、 先行して進められている方々からはいろいろと知見を伺えればと思います。
