LLMで時系列データの異常検出を行う方法／論文紹介編

概要

大規模言語モデル（LLM）は、文中の次の単語を予測することで文章を生成します。この特性を時系列データに応用した、LLMによる時系列予測に関する研究が盛んに行われています。今回は、時系列の異常検出に焦点を当てた論文「Large language models can be zero-shot anomaly detectors for time series?」を紹介します。この論文では、時系列データをテキストに変換し、LLMの言語処理能力を応用することで、「時系列の異常検出」という非言語的課題に対して、追加学習なし（ゼロショット）でどこまで対応できるかを検証しています。

論文情報

タイトル：Large language models can be zero-shot anomaly detectors for time series?

著者：Sarah Alnegheimish, Linh Nguyen, Laure Berti-Equille and Kalyan Veeramachaneni

URL：https://arxiv.org/abs/2405.14755

時系列データの変換

時系列データをLLMで扱える形式に変換するため、以下の4つのステップで数値列を文字列へと変換します。

スケーリング
- 目的：値の正負に依存せず処理できるようにすること、また、正負記号（＋/−）に起因するトークン数を削減すること
- 方法：各値から最小値を引き、すべての値が0以上になるように変換する
- 例：[6.357, 12.760, 18.201] → [0, 6.403, 11.844]
量子化
- 目的：連続値を離散化すること、また、小数点に起因するトークン数を削減すること
- 方法：数値を丸めて桁数を調整し、浮動小数点数から整数に変換する
- 例：[0, 6.403, 11.844] → [0, 640, 1184]
移動窓による分割
- 目的：LLMの入力トークン数の制限に対応すること
- 方法：所定の長さとステップ幅でスライディングウィンドウを適用して分割する
- 例：[0, 640, 1184, 1561, …] → [[0, 640, 1184], [640, 1184, 1561], …]
文字列化
- 目的：数値列をトークン化可能な文字列に変換すること
- 方法：数値列を文字列に変換する
- 例：[0, 640, 1184] → ‘0,640,1184’

異常検出手法

LLMによる時系列異常検出のため、以下の2つの手法が提案されています。

1. PROMPTER

テキストプロンプトを通じて、LLMに時系列の異常を直接問い合わせる手法。論文中では以下のようなプロンプトが使用されている。（(x1, x2, ..., xw)は数値列）

You are an exceptionally intelligent assistant that detects anomalies in time series data by listing all the anomalies. Below is a sequence, please return the anomalies in that sequence. Do not say anything like ‘the anomalous indices in the sequence are’, just return the numbers. Sequence: {the input sequence (x1, x2, ..., xw)}

これにより、LLMに異常値のリストを出力させる。

2. DETECTOR

LLMを用いて次の時点の値を予測し、その予測値と実測値との差（残差）に基づいて異常を判定する手法。最も基本的な方法としては、残差に閾値を設定し、それを超えた場合に異常と判断する。