TSB - AD 解读 — 迈向可靠、透明的 TSAD 任务

如有侵权或其他问题欢迎留言联系更正或删除。目录一 文章动机二 TSAD 领域内的两类缺陷三 数据集的构建四 实验结果及结论项目宣传链接TSB-AD代码链接 TheDatumOrg/TSB-AD: TSB-AD: Towards A Reliable Time-Series Anomaly Detection Benchmark原作者解读NeurIPS 2024 | 时序异常检测基准 TSB-AD - 知乎TSB - AD 与其他TSAD基准的全面对比一 文章动机1. 长期以来由于使用含缺陷的基准数据集、存在偏见的评估方法、不一致的基准实践TSAD 领域面临诸多困扰2. Wu Keogh 发起对 TSAD 数据集含缺陷的讨论triviality, anomaly density, mislabeling, and run-to-failure bias异常标注琐碎、异常密度、标签错误、运行失败偏差3. UCR 数据集虽近期收到较多推崇但仍存在重大缺陷① 它忽视了某些时序异常区域② 它通过 “人为引入” 时序异常4. “everyone wants to do the model work instead of the data work”, resulting in limited new efforts to produce a large-scale, high-quality dataset.典中典的问题;5. 存在偏见的评估方法尤其指“点调整” 后的指标随机分数、噪音输入、“嘈杂” 输入会造成“进步错觉”*此处补充 SimAD 的示意图进行说明不属于原文内容6. “模型预处理” 及 “模型评测方式” 的不一致也会造成不合理的 TSAD 模型质量评估7. 指标推荐VUS - PR、VUS - ROC 等二 TSAD 领域内的两类缺陷① 基准数据集的缺陷(a) 漏标、误标数据集标注者被许可访问并接触 “额外的、未批露的数据”因此 “不显著” 的时序异常标记是合理的然而数据集内存在 “相似” 时序被赋予 “不同” 标签则不合理TSB - AD 对其进行修正(b) 偏差现象Yahoo 数据集通常在数据末端标注异常使结果不合理地倾向将末端数据点预测为异常的算法UCR 数据集仅标注最显著的异常现象忽略对潜在异常的标注此外单变量时序不符合真实世界场景(c) 可行性、实用性为 “分类” 任务设计的数据集被不恰当用于 “异常检测”仅仅简单地将少数类重新分类为 “异常”然而“少数类” 的占比超出了 “异常” 的占比不切实际的异常比率违反 “异常不应频繁发生” 的基本原则与异常检测器的设计原则相悖② 评估指标的缺陷(a)AUC - ROC 不适配针对 “不平衡分类任务” 的模型评估AUC - PR 更优(b)基于点的一系列评估指标对 “靠前或滞后lag” 检测到异常的行为过分敏感惩罚力度过大不够合理(c)点调整PA假设检测到异常段内的任何点都被视为检测到该段内的所有点。然而该指标倾向于支持 “有噪声” 的预测随机分数也有机会预测真实异常序列中的点性能与SOTA相当。随机生成的预测在点调整下甚至优于SOTA方法异常平均长度增加时点调整后的F分数接近1。三 数据集的构建四 实验结果及结论1. 各类模型在 TSB - AD - U单变量及 TSB - AD - M多变量数据集上的整体实验结果2. 对 各类“模型评测指标” 的评估实验(主推VUS - PR)3. 部分有价值的结论1. 统计方法表现出稳健的性能而神经网络方法并未表现出通常被认为的优势。然而神经网络和基础模型在检测点异常以及处理多变量场景时仍展现了较大的潜力2. 简单的架构如CNN 和 LSTM通常优于更复杂的设计如高级 Transformer 架构3. 基础模型在检测基于点的异常方面表现出色但在处理序列异常时表现较弱主要原因在于其预测机制仅基于有限的回溯窗口逐步估算新的值。当面对长序列异常时受限的时间上下文往往导致性能下降和噪声较大的得分。此外使用有缺陷的点调整技术偏向这些噪声得分进一步加剧了问题导致进展的假象4. 时间序列基础模型的表现展现出极大潜力它们在微调后不仅能取得良好表现还在零样本能力上优于大多数现有的统计方法和神经网络方法。然而基础模型的主要担忧是由于预训练数据规模庞大可能导致数据污染因此在实际部署时需谨慎5. 将大型语言模型LLM应用于时间序列异常检测的努力结果并不令人满意表明该领域仍存在显著的研究空白6. 在表现最佳的方法中Sub-PCA 和 KShapeAD 表现出色尽管它们多年来一直被忽视为基本基线且未在先前的广泛评估研究中被发现。CNN 和 OmniAnomaly 在多变量场景中的强劲表现 — 与之前的基准结果相反当时 KMeansAD 被认为更优 — 表明多变量时间序列中的复杂场景需要更高的建模能力通常超出统计方法的范围。