ISACA：
《2025年可信人工智能行业治理调研报告》

（完整版.pdf ）
以下仅展示部分内容
下载方式见文末

一、报告基础信息与核心定位

该报告由 ISACA 中国办公室（北京阿萨卡信息技术有限公司）发布，版权归其所有，转载等使用需注明来源，违者将被追究法律责任。报告围绕可信人工智能治理展开，旨在深入探讨其重要性、全球现状、行业实践、挑战与机遇，全面且客观地呈现当前人工智能治理图景，助力塑造可信人工智能未来，为企业、行业及相关方提供治理参考，推动可信人工智能安全高效应用与可持续发展。

二、全球可信人工智能治理现状及挑战

（一）可信人工智能治理的意义和调研目标

1. 意义
   ：人工智能是新一轮科技革命和产业变革的重要驱动力量，广泛应用于自动驾驶、精准医疗等领域，带来机遇的同时，也引发算法歧视、数据隐私泄露等问题，对个人权益、社会公平和国家安全构成考验。可信人工智能可确保人工智能系统设计、开发等环节符合伦理原则，保障产出可靠性，降低潜在风险，其核心是具备公平性、透明性等关键特征，治理框架不仅能规避风险，还能引导技术造福人类。
2. 调研目标
   ：深入探讨可信人工智能治理的重要性、现状、挑战和机遇，关注其在不同行业的实际应用，全面客观呈现当前治理图景。

（二）全球人工智能的治理现状

1. 国际层面

• 欧盟
  ：采取以风险为本的全面监管路径，2024 年 8 月 1 日生效的《人工智能法案》是全球首部综合性人工智能立法，将人工智能系统按潜在风险分四个等级并实施差异化监管，同年 11 月 14 日还发布 “通用人工智能守则（初稿）”，为通用人工智能模型提供者提供指导。
• 美国
  ：实行灵活监管与行业自律并行的分散监管体系，2023 年 10 月 30 日发布相关行政命令确保人工智能安全可靠可信，NIST 于 2023 年 1 月 26 日发布人工智能风险管理框架，2024 年 8 月 28 日加州通过法案对大型人工智能模型开发者提具体安全要求，同时注重创新，通过多种措施维持竞争优势，但存在监管碎片化可能。
• 英国
  ：视人工智能为提升全球影响力的机遇，2021 年 9 月发布《国家人工智能战略》，2023 年 3 月发布白皮书提出基于安全、透明等核心原则的治理方法，同年 11 月举办首届全球人工智能安全峰会并推动签署《布莱切利宣言》。
• 其他国家和地区
  ：新加坡 2024 年 5 月发布《生成式人工智能治理模型框架》；日本 2024 年 1 月发布《人工智能运营商指南（草案）》；肯尼亚 2024 年推出相关实践守则；埃及 2019 年组建国家人工智能委员会并发布战略；哈萨克斯坦 2024 年发布人工智能发展构想草案；G20 里约热内卢领导人重申对可信赖人工智能的承诺。

（三）人工智能治理框架

1. 高层原则与伦理基础
   ：OECD 的人工智能原则、G20 的人工智能原则、联合国教科文组织的《人工智能伦理建议书》等，奠定了以人为本、公平、透明、安全和问责的伦理基石。
2. 国际标准和框架
   ：NIST 的人工智能风险管理框架、ISO/IEC 的人工智能标准等提供操作性指南，如 ISO/EC42001:2023 人工智能管理体系标准。ISACA 的 COBIT 框架在企业 IT 治理和管理方面经验丰富，可指导人工智能治理；其数字信任生态系统框架 DTEF 专注构建和维护数字信任，通过人员、流程等核心节点及多个领域，帮助企业识别和管理人工智能相关信任风险。
3. 立法和监管实践
   ：欧盟《人工智能法案》提供基于风险的监管思路，各国和地区根据自身情况采取不同治理策略，共同构成复杂的人工智能治理图景，治理框架构建是多层级、多维度且不断演进的过程。

（四）可信人工智能治理的机遇与挑战

1. 挑战

• 技术层面
  ：人工智能技术快速迭代，深度学习模型 “黑箱” 特性导致决策缺乏透明度和可解释性，生成式人工智能带来虚假信息传播等新挑战。
• 伦理层面
  ：需解决确保人工智能系统公平性、融入人类伦理价值观、平衡隐私与效益、应对对人类就业等冲击等难题，需社会共识和伦理反思。
• 安全层面
  ：人工智能系统面临数据投毒等安全威胁，技术被恶意使用也带来巨大安全风险，保障系统稳健性和安全性是核心目标之一。
• 国际合作层面
  ：各国在人工智能发展战略等方面存在差异，构建全球协调一致的治理框架艰巨且紧迫，需加强国际对话与合作。

三、可信人工智能治理调研结果分析

（一）调研基本情况

调研通过向 ISACA 中国社区分发详细问卷收集数据，涵盖人工智能使用情况、投入与产出效果等方面，问卷匿名以鼓励真实反馈，数据经严格清洗和预处理，但结果因调查对象局限可能存在局限性。

（二）人工智能的使用情况

1. 应用阶段
   ：252 个有效反馈中，39.7% 的企业处于技术规划阶段，17.5% 正在考虑人工智能技术治理，21.8% 已开始技术与基础设施部署，进入后期成熟度评估及维护的企业相对较少。
2. 应用场景
   ：客户服务（53.8%）和日常经营管理（51.1%）是主要场景，研发设计（33.3%）和生产制造（21.5%）应用占比相对较低，未来生产制造和研发设计领域应用可能更普遍，还有 10.5% 无计划，9.1% 暂未应用计划中。
3. 应用技术方式
   ：34% 的企业使用外部厂商成熟产品，28% 选择私有数据训练小模型或与外部厂商共建，仅 13% 完全自建大模型。
4. 使用的人工智能模型
   ：OpenAI 系列大模型使用数量最多（89 个），其次是文心一言（63 个）、开源 LLM 模型（36 个），通义千问（35 个）、WPS 人工智能（33 个）、微软 CoPilot（27 个）及微软认知工具包（25 个）使用数量也超过 20 个。
5. 选择模型的看重因素
   ：70.4% 的企业最看重性能指标，46.8% 关注处理数据的安全性，39.8% 考虑成本收益，29.6% 重视算法的透明度和可解释性，仅 24.2% 关注伦理性问题。
6. 海外工具受限后的选择
   ：41% 的企业会选择本土化工具 / 模型替代，5% 已应用，7% 正在部署，34% 需根据本土化工具 / 模型能力而定，仅 4% 选择 “否”。
7. 应用普及程度
   ：40.86% 的企业认为普及程度一般，37.63% 认为相对普及，15.05% 认为不太普及，仅有 1 家制造企业认为完全不普及。

（三）人工智能的投入与产出效果

1. 开发与应用团队人员数量
   ：46% 的企业团队人员超过 10 人，23% 在 5-10 人之间，31% 少于 5 人。
2. 投入金额
   ：45% 的企业过去 12 个月投入不超过 100 万元人民币，30% 在 100 万 - 500 万元之间，10% 在 500 万 - 2000 万元之间，15% 超过 2000 万元，呈现两极分化。
3. 投入满足需求程度
   ：69% 的受访者认为当前投入基本满足需求，26% 认为无法满足，仅 5% 觉得超出需求。
4. 对业务流程的改进效果
   ：11% 的企业认为改进效果非常显著，34% 认为显著，51% 认为一般，4% 认为没有任何改进。
5. 对企业竞争力的提升作用
   ：72% 的企业认为有助于提高竞争力，25% 不确定，仅 3% 认为没有帮助。

（四）人工智能使用过程中的风险与挑战

1. 对业务和数字环境的了解程度
   ：仅 41% 的受访者了解公司的人工智能业务环境和数字环境，24% 不了解，35% 不确定。
2. 主要挑战
   ：技术和业务流程融合问题（20%）、数据安全问题（19%）、算法合规性问题（13%）是最受关注的挑战，伦理性问题（6%）关注度最低，但随着技术发展其重要性将日益凸显。
3. 数据管理方面挑战
   ：27% 关注数据安全和隐私保护，23% 关注数据使用的合规性问题，21% 认为数据清洗和预处理复杂，16% 面临数据收集困难，13% 关注生成内容安全。
4. 数据安全和隐私保护方面挑战
   ：31% 最关注在保护个人隐私的同时确保数据可用性，28% 担心因数据量增加导致数据泄露风险，26% 关注数据全生命周期保护，15% 关注全球化发展中的数据出境规制。
5. 伦理性问题方面挑战
   ：27% 关注人工智能应用出错或导致不良后果后的责任归属，22% 认为算法决策过程复杂难以向非技术用户解释，19% 担心技术应用加剧或产生偏见歧视、不同国家地区伦理标准不同，13% 关注人工智能与人类工作者的关系。
6. 与长期业务战略融合的挑战
   ：23% 认为数据源可靠性和数据使用合规性是主要挑战，21% 担心持续成本投入能否带来预期收益，20% 认为监管政策不断调整有影响，19% 面临技术快速迭代导致的研发和算力问题，17% 缺乏专业人才。
7. 模型算法方面挑战
   ：26% 认为可解释性差，25% 认为输出不可靠，16% 面临偏见或歧视风险，13% 认为鲁棒性弱，10% 担心算法被窃取、遭遇对抗攻击。
8. 系统安全方面挑战
   ：36% 认为系统缺陷漏洞是主要挑战，32% 关注算力资源风险和供应链安全问题。

（五）可信人工智能治理现状与展望

1. 治理责任主体
   ：技术团队在可信人工智能治理中处于核心地位，同时需要管理层统筹资源、合规和法律团队参与、全体员工提升数字素养与监督意识，通过组织协同实现治理效能。
2. 内部政策成熟度
   ：电信 / 通信（46%）和互联网行业（44%）的可信人工智能相关内部政策或指导原则成熟度较高，接近一半已制定全面或有限政策，技术服务 / 咨询（38%）、金融 / 银行（28%）、制造 / 工程行业（23%）相对较低。
3. 政策参考依据
   ：38% 的企业制定内部政策时主要参考《中国人工智能相关法规与标准》，25% 参考《ISO/IEC42001-2023 人工智能管理体系》，14% 参考《ISACADTEF 数字信任生态系统框架》，参考欧盟《人工智能法案》和美国 NISTAI 风险管理框架的占比相对较低，且参考《ISACADTEF 数字信任生态系统框架》的企业多来自技术服务 / 咨询、金融 / 银行业。
4. 培训情况
   ：超过半数公司 “没有提供过可信人工智能方面的培训” 或 “仅面向人工智能技术相关岗位的员工”，针对不同群体设计培训内容、提升全体员工认知和信任度的企业较少。
5. 风险评估情况
   ：电信 / 通信行业（46%）对人工智能技术进行风险评估的比例最高，互联网行业（38%）次之，技术服务 / 咨询（25%）、金融 / 银行（23%）、制造 / 工程行业（14%）相对较低，且电信 / 通信行业将可信人工智能相关风险视为 “紧急优先事项” 或 “长期优先事项” 的占比最高，其治理水平达到 “高级别” 和 “卓越级别” 的公司占比也最高。
6. 治理水平与投入关系
   ：人工智能治理水平与企业过去 12 个月在人工智能技术应用方面的投入无明显正比关系，可能因治理框架滞后、设计测试优化需时间等原因导致。
7. 风险评估关注重点
   ：25% 的企业在风险评估中最关注性能指标，20% 关注数据全生命周期保护情况，19% 关注成本与预期收益、算法透明度和可解释性，17% 关注伦理合规性。

四、可信人工智能治理的行业实践

（一）互联网行业

1. 治理痛点

• 数据隐私和安全风险
  ：人工智能需大量数据训练，涉及个人隐私数据收集处理，可能导致泄露、滥用和开放不可控，数据安全风险随模型普及日益突出，泄露会给企业带来经济和声誉损失。
• 算法偏见和歧视
  ：因训练数据偏差或算法设计问题，人工智能系统可能对特定群体不公平对待，在招聘、信贷等领域引发不公平决策。
• 网络安全挑战
  ：人工智能技术提升了网络攻击能力，攻击者可能利用其发现漏洞、发起隐秘攻击，还可能生成钓鱼信息增加攻击风险。
• 知识产权侵权风险
  ：人工智能绘画、文本生成等应用普及，可能侵犯原创作品权利，或在生成内容中夹杂不当信息。
• 输出不准确性
  ：生成式人工智能基于概率模型，可能存在误差或放大数据偏差，影响输出准确性，甚至产生 “幻觉”。
• 法律和监管挑战
  ：现有法律监管难以适应人工智能技术发展，需及时更新完善以应对新问题。
• 人工智能竞赛压迫
  ：部分组织或国家可能在人工智能领域形成局部优势，利用技术或供应链优势进行封锁打压。
• 社会伦理风险
  ：可能引发失业恐慌、知识产权问题，影响正常社会秩序。

• 数据隐私与合规治理
  ：遵循数据收集使用和个人信息处理安全规则，落实用户合法权益，对个人信息加密，采用强密码和多因素身份验证。
• 数据权限与匿名化
  ：明确最小数据集，避免过度收集用户信息，采取敏感数据脱敏等匿名化处理措施。
• 加密与访问控制
  ：采用先进加密技术保护数据隐私，建立严格访问控制机制，满足互联网安全要求。
• 用户赋权与同意
  ：明确告知用户数据使用方式并征得同意，为用户提供数据访问、修改和删除渠道。
• 伦理与偏见消除
  ：定期评估人工智能模型，确保数据处理和决策无偏见，设立伦理审查机制。
• 可控沙盒机制
  ：在安全风险可控前提下，允许创新产品技术服务或商业模式在真实市场环境中深度测试。

（二）医疗健康行业

1. 治理痛点

• 数据问题
  ：数据源分散、不一致、密闭且不可透露导致应用不一致；已审批治疗方案集中在特定病种，数据质量一致性影响生成人工智能应用；医药行业对数据可追溯性、一致性和标签一致性要求高，存在专业门槛；数据具有封闭性且需更广泛多样的数据内容。
• 其他风险
  ：输入端存在数据泄露风险，如甲方数据滥用及算法产权问题；人工智能主要用于辅助过程，算法透明性与数据溯源性存疑；数据版本和算法更新频次无法保证，SaaS 服务数据召回有问题；人工智能结果可信度存疑，人工复审成本和风险高，语料来源可信度待验证。

• 审批与合同约束
  ：建立严格审批流程，确保人工智能应用和数据处理活动经审查批准；在合同中明确数据使用范围、保密义务和违约责任，约束合作方行为。
• 供应链控制
  ：严格管理供应链，确保数据来源合法安全；实施供应链风险评估，识别潜在风险点并制定缓解措施。
• 垂类局限与长期确认
  ：针对人工智能应用垂直领域，采用长期确认方案，定期评估应用效果，确保一致性和可靠性。
• 事件响应机制
  ：建立事件响应机制，按风险事件处理问题，制定包含报告、评估、处理和恢复等步骤的应急计划和流程。
• 人才培养
  ：鼓励实践教学，打造实网、实兵、实战的课程体系，拓展传统安全人员在人工智能领域的安全技能。

（三）智能制造行业

1. 治理痛点

• 智能化基础差异
  ：不同分公司智能化基础差异大，缺乏统一解决方案，人工智能起点和实施方式不同，难以规模化推广。
• 技术要求高
  ：场景应用对实时性、可靠性、准确性要求高，尤其在连续性和安全性上有高标准，对生产及时性要求高，处理突发未知事件能力和灵活性不足。
• 成本问题
  ：产品多样性导致对 ROI 产出担忧，场景周期长增加软件开发成本，技术人力和算力成本高，技术人员储备不足。
• 人员阻力
  ：智能化转型影响原有人群既得利益，员工对新工具存在抵触情绪，担心增加工作量或被替代。

• 提高通用性
  ：提升应用场景通用性，补全基础薄弱场景，加强基础建设。
• 提升场景洞察
  ：提炼核心需求，逐步推广人工智能方案，满足通用性和可扩展性要求。
• 制定管理指南
  ：制定具体操作指南，推荐机器学习

【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！

如需获取更多报告

扫码加入

“人工智能产业链联盟”

知识星球，任意下载相关报告！

报告部分截图

声明

来源：ISACA，人工智能产业链union（ID:aiyuexingqiu）推荐阅读，不代表人工智能产业链union立场，转载请注明，如涉及作品版权问题，请联系我们删除或做相关处理！

编辑：Zero

文末福利

1.赠送800G人工智能资源。

获取方式：关注本公众号，回复“人工智能”。

2.「超级公开课NVIDIA专场」免费下载

获取方式：关注本公众号，回复“公开课”。

3.免费微信交流群：

人工智能行业研究报告分享群、

人工智能知识分享群、

智能机器人交流论坛、

人工智能厂家交流群、

AI产业链服务交流群、

STEAM创客教育交流群、

人工智能技术论坛、

人工智能未来发展论坛、

AI企业家交流俱乐部

雄安企业家交流俱乐部

细分领域交流群：

【智能家居系统论坛】【智慧城市系统论坛】【智能医疗养老论坛】【自动驾驶产业论坛】【智慧金融交流论坛】【智慧农业交流论坛】【无人飞行器产业论坛】【人工智能大数据论坛】【人工智能※区块链论坛】【人工智能＆物联网论坛】【青少年教育机器人论坛】【人工智能智能制造论坛】【AI/AR/VR/MR畅享畅聊】【机械自动化交流论坛】【工业互联网交流论坛】

入群方式：关注本公众号，回复“入群”

戳“阅读原文”下载报告。