标准解读 | T/CES 208-2023《电力视觉检测算法评价方法》
2023-12-30中国电工技术学会团体标准T/CES 208-2023《电力视觉检测算法评价方法》由中国电工技术学会提出，国网河北省电力有限公司电力科学研究院等单位起草编制完成。该标准规定了电力场景视觉检测算法的指标计算方法、评价数据集的质量要求、模型评价方法、模型质量评价等方面技术要求。
1. 标准起草单位及主要起草人
（1）起草单位
国网河北省电力有限公司电力科学研究院、河北工业大学、中国电力科学研究院有限公司、国网雄安新区供电公司、华北电力大学、智洋创新科技股份有限公司。
（2）主要起草人
刘良帅、陈泽、李喆锋、赵建利、霍振飞、赵建斌、赵劭康、姬艳鹏、杜晓东、冯海燕、景皓、董娜、王春璞、陈海永、周颖、林涛、刘坤、龚奕霖、张东岳、刘博洋、曹振、王晓辉、李道兴、郑碧煌、季知祥、郭鹏天、陶陈彬、计昊、赵振兵、翟永杰、赵文清、张磊、朱言庆、申朕。
2. 标准制定背景
本标准按照GB/T1.1-2020《标准化工作导则第1部分:标准化文件的结构与起草规则》的规定起草，遵循科学性、先进性、经济性，坚持实事求是，以人工智能算法在电力领域的各种缺陷识别方面为基础，遵守国家有关法律、法规，符合团体标准要求，目的在于规范用于电力视觉检测算法的质量评价方法，明确基于图像识别技术的电力视觉检测算法评价指标、模型功能性、效率性等方面基本原则，规范评价流程与功能性等级判定，为电力视觉检测算法评价提供标准依据。
3. 标准主要内容
（1）范围
本文件规定了电力场景视觉检测算法的指标计算方法、评价数据集的质量要求、模型评价方法、模型质量评价。通过对电力视觉检测算法进行定量和可对比的测试，为电力各业务领域视觉检测模型研发、入网、在运等环节的评价工作提供量化参考依据。
本文件适用于电力生产场景含有大目标、中目标或小目标的可见光场景目标图片、红外光场景目标图片或紫外光场景目标图片进行检测、分割或分类的人工智能模型的评价。主要用于评价输电、变电、配电等专业智能巡检业务中应用到的设备本体或周围环境缺陷视觉检测模型，以及安监、基建等专业违章行为智能识别业务中应用到的行为违章、装置违章或管理违章视觉检测模型等场景。
（2）规范性引用文件
本标准主要引用的文件主要包括：
ITU-T F.748.12: Deep learning software framework evaluation methodology.
ITU-T L Suppl. 48: Data centre energy saving: Application of artificial intelligence technology in improving energy efficiency of telecommunication room and data centre infrastructure.
GB/T 41867-2022 信息技术 人工智能 术语；
GB/T 5271.28-2001 信息技术 词汇 第28部分：人工智能 基本概念与专家系统；
Q/GDW 12118.1-2021 人工智能平台架构及技术要求 第1部分：总体架构与技术要求；
Q/GDW 12118.2-2021 人工智能平台架构及技术要求 第2部分：算法模型共享应用要求；
Q/GDW 12118.3-2021 人工智能平台架构及技术要求 第3部分：样本库格式要求；
- Lin, M. Maire, S. Belongie, et al.,《Microsoft COCO: Common Objects in Context》
（3）术语及定义
主要包括人工智能、人工智能模型、视觉检测、电力图像处理、正样本、负样本、检测模型、分割模型、分类模型、训练数据集、测试数据集、大目标、中目标、小目标、准确率、精确率、召回率、F1分数、平均精度、平均交并比的定义。
（4）符号、代号和缩略语
主要包括真正例、假正例、真负例、假负例、交并比、平均交并比、平均精度的符号、代号和缩略语。
（5）评价指标与计算方法
主要包括用于评价模型精度、准确率、召回率、平均召回率、F1度量、等性能指标的评价要素和效率性、稳定性、可信性这些指标的评价要素。
（6）评价数据集的质量要求
主要包括用于评价模型的可见光、红外线、紫外线测试数据集的质量要求。
（7）评价方法
主要包括提交验评申请、确定模型测试任务、提交模型、选择评价指标、制作测试数据集、模型测试、模型质量评价7个关键步骤的具体评价内容。
4. 标准制定效益
规范了用于电力视觉检测算法的质量评价方法，明确了基于图像识别技术的电力视觉检测算法评价指标、模型功能性、效率性等方面基本原则，规范评价流程与功能性等级判定，为电力视觉检测算法评价提供了标准依据。