西安交通大学：
《电力人工智能多模态大模型创新技术及应用》

（完整版.pdf ）
以下仅展示部分内容
下载方式见文末

一、研究背景

（一）人工智能的概念及发展

人工智能是模拟、延伸和扩展人类智能的技术科学，历经多个发展时期，形成不同技术流派，目前深度学习为主流。从 1950s-1970s 的推理期（以符号逻辑为核心，依赖人工，强解释性但泛化能力弱），到 1970s 中期的知识期（聚焦知识工程与专家系统构建，靠人工整理知识库驱动决策，受限于知识获取），再到 1980s-2000s 早期的统计学习时期（依赖统计学和人工设计特征构造算法，如支持向量机、朴素贝叶斯算法等）、2000s-2010s 的集成方法时期（通过模型组合提升预测精度，如决策树、随机森林等）、2010s-2018s 的早期神经网络时期（神经网络在多个领域初步应用，如循环神经网络、卷积神经网络），直至 2018s 至今的大模型时期（基于海量数据与大规模预训练，如 GPT 系列、Qwen 系列等），人工智能不断演进。

在人工智能领域，数据、算力与算法构成发展基石。数据方面，有监督数据人工搜集标注成本高、扩展性差，无监督数据可通过互联网爬取且无需标注，合成数据利用模型、仿真生成；算力方面，生态底层计算库有 CUDA、华为 CANN 等，英伟达是主流算力平台，国产算力平台如寒武纪 MLU、华为昇腾、海光 DCU 等快速崛起，还需高效互联通讯技术如 NVLINK、华为 HCCL；算法方面，从单任务模型向通用模型发展，语言通用模型如 DeepSeek-R1，多模态通用模型如 Qwen2-VL，训练算法包括无监督预训练、强化学习、有监督微调、对比学习等。早期深度学习受计算能力和数据规模限制，多层感知机与卷积神经网络结合反向传播算法提升学习能力，Transformer 架构改变自然语言处理范式，使大规模预训练成为可能，近年大模型凭借超大规模参数和海量数据学习，在多模态学习、推理和通用人工智能方向取得重要进展。

（二）人工智能大模型引领新一轮科技革命

自 2022 年 ChatGPT 问世，全球大模型呈井喷式发展，百种大模型竞相发布，推动性能、规模和应用全面突破，成为科技进步重要动力源。从 2019 年 GPT - 3 等模型，到 2020 年 T5、PanGu - α 等，2021 年 CPM - 2、Yuan 1.0 等，2022 年 ChatGPT、GPT - 4 等，2023 年 LLaMA2、Baichuan 等，再到 2024 年 Baichuan2、XVERSE 等，大模型不断迭代。在应用层面，大模型已赋能医疗、遥感、基础科学、元宇宙、城市等多个领域，在电力领域也有电力专家与客服系统、多模态运维安全助手等应用探索。

（三）人工智能赋能新型电力系统发展

传统电网人工依赖度高，存在资源配置低效、故障响应不及时、电力生产和分配低效、人工监控与巡检成本较高等问题。而人工智能赋能后的新型电网，通过实时调度优化、智能维护和精确能源管理，实现发电智能调度、输电网络优化损耗低，配电灵活管控、变电精准检修响应快，用户负荷预测、用电科学管理体验佳，大幅提升电网运行效率、稳定性与可持续性。同时，国家出台多项针对人工智能的专项政策，如《中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要》等，助力人工智能赋能新型电力系统可持续蓬勃发展。

（四）自研电力大模型意义重大

从数据角度看，通用数据分布与电力领域多模态数据差异过大，专业程度低、关联性弱，电力数据如电力负荷曲线图、设备故障诊断图等与通用数据分布差异大，现有数据类型无法满足电力行业对高质量、多场景覆盖、多模态、多维度集成数据集的需求，且电力数据获取难度高、质量差异大、覆盖模态多，数据集构建难度大。

从模型角度看，传统电力 AI 模型基于特定任务开发，多为单模态算法，综合成本高、智能性与泛化性不足，需根据任务场景定制开发和训练对应模型，处理多模态数据能力差；开源 AI 大模型缺少电力领域预训练，专业知识缺失，处理实际电力任务能力差，趋于闭源化，无法原生支持电力多模态数据，如电气信号、红外图像、气体组分等。

从应用角度看，现有国产化电力大模型在真实电力任务上性能不够高、与实际需求存在差距，通用大模型在电力文本数据理解、图像数据分析等方面存在偏差，现有单任务算法模型在电力复杂场景下可靠性不足。且电力安全是国家安全问题，电力人工智能多模态大模型核心技术必须自主可控，因此自研电力大模型意义重大。

二、关键技术实现

（一）电力大模型全流程关键技术体系

1. 数据生成：大规模高质量电力专业数据集构建

数据采集方面，从书籍、网页、公开数据、现场数据等多种渠道获取电力相关数据，涵盖文本数据、电气信号、图像与视频等多种类型。数据清洗环节，进行特殊符号过滤、图像裁剪过滤、敏感词去除等操作，保证数据质量。数据生成阶段，通过图像描述生成、自动化生成、人类评估、检测数据增强、多样化问答数据、反馈优化等方式，提供真实数据感知的多模态数据，为后续模型训练奠定基础。

2. 模型构建：电力通用大模型研发

构建多模态编码器，包括电力图像编码器、电力视频编码器、电力文本编码器、电气信号编码器等。电力文本编码器将原始文本按照预定义词表进行向量映射，转化为统一的特征序列；图像编码器、视频编码器、电气信号编码器也通过相应编码算法和线性映射层等，将不同模态数据转化为统一的序列形式，映射至同一个特征空间内。在此基础上，构建电力通用多模态大模型，基于多层 Transformer 架构和多模态重构器，对多模态输入进行（非线性）特征运算、多模态特征对齐、多模态特征重构，最终实现多模态输出，为电力领域多模态、多场景任务处理提供统一、通用的解决方案。

3. 模型训练：电力大模型分布式训练关键技术

预训练技术上，以图像模态为例，先训练多模态分词编码器与重构模块，将图像通过视觉编码器编码为单模态序列，再经 Transformer 和扩散解码器等构成的图像重构模块处理；随后进行电力领域多模态大模型预训练，采用多模态统一预训练框架，在多模态交错序列上应用统一的自回归预测优化目标，统一多模态数据的理解与生成任务，实现电力场景中文本、图像等数据类型的统一建模、统一理解、统一生成。

后训练技术采用 “指令微调 + 强化学习” 模式，首先进行有监督指令微调，收集人工标注多模态数据，对预训练模型进行微调，增强模型在特定场景下理解和遵循人类指令的能力；接着训练奖励模型，收集人工选择数据，基于指令微调模型构建奖励模型；最后通过 PPO（近端策略优化）调整策略，根据奖励模型给出的奖励值更新指令微调模型参数，将人类反馈引入训练过程，使模型输出对齐人类价值观和偏好，提高回答质量与可靠性。

此外，还采用混合立体并行训练方案，基于国产计算集群（如包含海光 CPU、海光 DCU 等设备）搭建大模型训练软硬件体系，支持千卡并行训练，实现精度对齐、高效数据读写、任务自动恢复等功能，综合运用数据并行、张量并行、流水线并行等并行策略，适配国产平台和高效训练算法，提升大模型训练效率。

4. 部署应用：电力大模型轻量化与边缘计算部署

针对现有 AI 大模型对计算资源需求高，难以在资源受限边侧设备部署的问题，采用大模型轻量化全流程方案。一方面，基于特征关系保留的知识蒸馏技术，教师模型（大参数、高精度）将知识传递给学生模型（小参数），通过特征关系计算等方式，减少知识蒸馏过程中的信息损失，保持模型性能；另一方面，基于梯度精度分析的模型量化技术，搜集每层梯度信息、估计量化敏感度，基于量化敏感度确定量化步长，进行模型量化，解决传统量化缺陷，将推理结果转换回浮点数，在保证精度的前提下，降低模型参数规模和推理复杂度。

同时，采用 “边缘计算 + 云边协同” 的部署方式。边缘计算方面，载入并构建计算图，进行算子描述、计算图解析、Block 重构、数据重载、计算图分析优化融合、Kernel 选取、数据类型转换、量化 / 反量化、访存优化、子图划分、后端算子接入与硬件运行等操作，完善对 CPU、NPU 等多种后端的算子支持，推动模型在边侧设备落地；云边协同方面，中心服务器集群进行任务调度，实现自适应负载均衡与资源管理，支持优先级动态任务调度算法，各边缘终端在中心服务器统一调度下，将云端所需数据上传，在云端实现战级状态综合的感知、诊断与预测，满足电力场景对数据安全和响应速度的要求。

三、应用案例

（一）电力专家与客服系统

随着用户规模和业务复杂度提升，电网公司面临海量客服需求，传统人工客服难以实现高效响应和全天候服务，且成本高昂，现有通用模型缺乏电力领域专业知识，处理用电客户实际问题能力较弱。电力专家与客服系统依托电力多模态大模型，可对海量客户提供全天候、实时、专业的服务，能解答用户电费缴纳、电价查询、停电原因排查等问题，结合电力专业知识和实时数据，为用户提供准确、可靠的解决方案，如针对用户家中停电问题，可分析可能原因（如电力公司设备检修、线路故障、家庭内部电路问题等）并给出处理建议，还能提供多语种支持，减少人为因素影响，提升服务一致性和实时性。

（二）多模态运维安全助手

电力设备故障易引发人身安全事故，急需高效精准的电力运维规划与安全预警模型。多模态运维安全助手整合历史信息、监控视频、振动信号、油色谱、现场图像、红外图像等多模态数据，实现变电站危险预警和运维人员路径规划。通过多模态感知电力运维助手分析数据，快速预警响应，精准定位故障，保障运维人员人身安全，例如当配电柜存在潜在爆炸风险时，可及时预警并指导运维人员规避危险区域，规划安全运维路径。

（三）多模态电力设备状态感知助手

现有电力人工智能算法多为单任务算法，针对不同故障诊断任务需开发不同算法模型，研发程序繁琐、成本高、泛化性差，且处理多模态数据能力较差，难以应对多场景结合的复杂任务。多模态电力设备状态感知助手可接收运维人员或电力专家的图像输入、语言指令，通过图像编码器和文本编码器对数据进行编码，借助电力多模态大模型完成电力设备的多模态数据状态感知任务，如 GIS 局部放电诊断、断路器故障诊断等，并实现与运维人员的实时交互，能回答关于电力设备类型、作用、运行状态等问题，为设备运维提供专业支持，例如根据隔离开关运行视频，可判断其类型、作用及当前开合状态，并给出运维建议。

（四）电力时序数据分析监测模型

时序数据（如电压、电流信号）是电力场景中基本、易获取且参考性大的数据，利用此类数据可进行电力场景精细化感知与深度分析。电力时序数据分析监测模型可根据人类交互输入生成任务指令，获取监测视频、UHF 信号等实时监测数据，对发电装置、电能使用等多种时序数据进行智能分析。以 GIS 开关状态监测为例，模型可分析监测视频（如判断 GIS 开关表面是否有裂痕、损坏）和 UHF 信号（如分析是否存在悬浮电位缺陷等异常情况），进而生成决策建议，还可拓展应用于电力系统发电控制、损耗估算、状态监测、故障检修、危险预警、电能质量分析、系统调节、生产监控、环境治理、经济规划等全方面细粒度分析。

（五）新能源发电功率预测、智能调度与评估

随着新能源（主要是风力与光伏）发电接入电网比例持续提升，需对短期到中长期时间尺度的发电数据进行可靠预测，形成智能化调度建议与后续建设规划。该应用基于历史气象数据和发电出力数据，开展短期功率预测（结合前几日发电数据和当地天气预报数据，预测未来 4 小时～3 日内发电情况）和中长期功率预测（结合月际至年际发电数据和气候变化预测数据，预测未来 10 日～12 个月发电情况）。在此基础上，进行智能调度与运维，包括智慧调度、波动分析、风险告警、运维建议等，同时为风力发电厂和光伏电站的后续建设规划与评估提供支持，如装机扩容、储能配置、选址规划、方案评估等，保障新能源发电稳定接入电网，提升电网对新能源的消纳能力。

（六）电力设备运维助手边侧模型

依托多种全国产边缘计算设备（如 VIM3、瑞芯微、华为 Atlas 系列）开发电力设备运维助手边侧模型，在保证推理精度的前提下，实现高速推理且功耗较低。例如针对 GIS 内温度异常上升问题，边侧模型可快速分析常见原因（如电气过载、连接松动、部件故障、冷却系统失效、绝缘材料老化或污染、环境温度过高、内部积尘或杂质等），并给出初步诊断方法（如视觉检查烧焦痕迹或变色现象、用钳形电流表测量运行电流等）。通过不同平台速度测试表明，端侧模型部署在保证精度的前提下能取得满意的推理速度，如在 NPU（vim3）上，功耗小于 5W，推理时间为 164.41ms，满足电力设备运维实时性需求。

四、未来展望

未来将建立并优化以典型场景为导向、以 AI 赋能为抓手、以落地应用为目标的电力 AI 多模态大模型。在资源层，整合云端和本地服务器训练资源，构建电力领域典型数据库、电力标准数据集打包，推进电力场景数据样本智能标注，制定电力业务场景数据规范；在底层平台层，打造电力行业校企合作开发平台、电力人工智能实训平台，封装电力场景预训练模型，提供典型电力场景算法模型包，开发电力领域人工智能基础模型；在功能层，研发电力设备智能运维大模型、电力系统负荷预测与调控大模型、电力智能问答专家系统等，形成典型场景智慧解决方案；在应用层，推动这些大模型和解决方案在电力各业务场景落地应用。

同时，将整合资源优势，加强企业与高校合作，推进技术交流、数据共享，建立电力行业数据规范、打造电力行业人工智能合作联盟，推进行业有序蓬勃发展，助力电力系统向更智能、高效、安全、可持续的方向发展，充分发挥人工智能多模态大模型在新型电力系统建设中的核心作用。

【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！

如需获取更多报告

扫码加入

“人工智能产业链联盟”

知识星球，任意下载相关报告！

报告部分截图

声明

来源：西安交通大学，人工智能产业链union（ID:aiyuexingqiu）推荐阅读，不代表人工智能产业链union立场，转载请注明，如涉及作品版权问题，请联系我们删除或做相关处理！

编辑：Zero

文末福利

1.赠送800G人工智能资源。

获取方式：关注本公众号，回复“人工智能”。

2.「超级公开课NVIDIA专场」免费下载

获取方式：关注本公众号，回复“公开课”。

3.免费微信交流群：

人工智能行业研究报告分享群、

人工智能知识分享群、

智能机器人交流论坛、

人工智能厂家交流群、

AI产业链服务交流群、

STEAM创客教育交流群、

人工智能技术论坛、

人工智能未来发展论坛、

AI企业家交流俱乐部

雄安企业家交流俱乐部

细分领域交流群：

【智能家居系统论坛】【智慧城市系统论坛】【智能医疗养老论坛】【自动驾驶产业论坛】【智慧金融交流论坛】【智慧农业交流论坛】【无人飞行器产业论坛】【人工智能大数据论坛】【人工智能※区块链论坛】【人工智能＆物联网论坛】【青少年教育机器人论坛】【人工智能智能制造论坛】【AI/AR/VR/MR畅享畅聊】【机械自动化交流论坛】【工业互联网交流论坛】

入群方式：关注本公众号，回复“入群”

戳“阅读原文”下载报告。