作者简介
李诗婧
中国信息通信研究院安全研究所工程师，长期从事工业互联网安全、人工智能、网络安全、数据安全等领域相关研究工作。
赵爽
中国信息通信研究院安全研究所高级工程师，长期从事工业互联网安全、人工智能、网络安全、数据安全等领域相关研究工作。
论文引用格式：
李诗婧, 赵爽. 生成式人工智能应用于制造业的网络安全风险及对策研究[J]. 信息通信技术与政策, 2025, 51(1): 20-24.
生成式人工智能应用于制造业的网络安全风险及对策研究
李诗婧 赵爽
（中国信息通信研究院安全研究所，北京 100191）
摘要：自2022年ChatGPT的出现，到2024年Sora发布，生成式人工智能再次成为大众关注的焦点。生成式人工智能作为新一代人工智能的重要部分，正加速融入经济社会，促进传统产业生产方式的变革和流通路径的升级，打造数字产业集群，对制造业数字化和智能化转型的催化作用也逐渐显现。然而基于大数据训练实现的自动化内容生成也引发新的网络安全风险，生成有害内容、数据泄露等问题日益突出。通过对生成式人工智能与制造业融合发展及安全态势进行综合分析，科学论证生成式人工智能应用于制造业面临的网络安全风险，并提出有关应对策略。
关键词：生成式人工智能；制造业；网络安全；大模型
0 引言
随着新一代人工智能技术不断发展，加之大规模的数据集成和模型运算，使得融入自然语言处理和生成方法的生成式人工智能深刻改变了传统内容生成模式，对传统产业生产方式产生重大冲击，工业和信息化部赛迪研究院数据显示，2023年我国生成式人工智能的企业采用率已达15%，市场规模约为14.4万亿元[1]。当前我国制造业正加快数字化、网络化、智能化转型的步伐，生成式人工智能具有数据量需求大、创新性和灵活性强、依赖机器学习和深度学习等算法、可生成原创性内容等特点，基于海量工业数据和工业大模型，在高算力推动下，生成式人工智能与各类工业应用深度融合，能够满足制造业不同环节更为具体、细化的特定需求，进一步提高了智能决策的效率和精准度，助力重塑研发、生产、管理、服务等生产制造全要素、全产业链，对培育新质生产力、推动制造业高质量发展和产业升级转型发挥着积极作用。Marketresearch预测，全球生成式人工智能技术在制造业的市场规模将从2022年的2.23亿美元增长到2032年的63.99亿美元，复合年增长率为41.06%[2]。
然而，网络安全不稳定形势、不确定因素日益突出，针对制造业的勒索病毒、数据窃取、供应链攻击等安全事件频频发生，从当前人工智能的发展趋势来看，生成式人工智能引发的网络安全风险很可能成为制造业未来面临的重大挑战。
1 生成式人工智能与制造业融合发展及安全态势
1.1 生成式人工智能在制造业的主要应用
生成式人工智能的蓬勃发展和加速迭代，使其在广泛的工业场景和领域中崭露头角。依靠海量工业数据，通过“基础模型+各类应用”新范式，自动化生成与用户需求相匹配的创新性内容，提供个性化服务，极大促进全要素生产率的提升，为制造业实现数字化和智能化转型提供新动力。
1.1.1 优化制造流程
生成式人工智能应用贯穿于工业领域重点环节的具体场景。设计研发方面，利用生成式人工智能创建多个信息技术（Information Technology， IT）架构、赋能产品设计、迭代优化配置、帮助完善编码工作甚至支持生成代码，大大加速了开发周期，有效解决了业务承载能力与快速增长的业务需求之间的矛盾。原料采购方面，基于大语言模型新增智能问答、数据分析等能力，支撑企业实现智能订单生成、供应商风控、检验入库等应用。生产加工方面，生成式人工智能通过直接参与产品生产、赋予产品附加值等途径完成产品重塑，还可通过大模型服务引擎实现工业机器人控制、企业私域数据分析和知识库构建，以及提供故障诊断和排除等设备运维服务。质量检测方面，利用生成式人工智能可以自动识别、精细化检测和分类产品缺陷，极大节省了检测成本，同时提高了检测效率。仓储物流方面，生成式人工智能主要应用于动态库存优化，以及流通设备的智能化与自动化，有效提升仓库周转速度，加速建立和完善数字化运输体系。
1.1.2 提升管理效率
利用生成式人工智能帮助制造企业构建基于搜索引擎和大语言模型的智能知识库，可以支撑企业经营洞察，助力企业员工在智能知识库中快速且精准地找到所需信息，提供智能高效的客户服务，有效减少了人工成本、提升了管理效率。运用生成式人工智能技术，完善企业管理和决策支持系统，制定科学的发展战略和生产计划，大大提升了企业资源配置效率、降低了管理成本，同时生成式人工智能参与决策制定在一定程度上能够避免人为失误，系统化的生成式决断可以为企业的发展导向提供可行的参考规范。IDC FutureScape 2024对中国制造业市场预测，到2025年，45%的中国头部制造商将IT系统与生成式人工智能集成，以更好地挖掘数据、识别问题并为管理部门提供决策依据，从而将效率提高5%[3]。
1.2 网络安全发展态势
随着大模型不断涌现，模型参数达千亿级，生成式人工智能在制造业的应用具备非常广阔的前景，普及率仍有很大提升空间，但同时也给制造业带来一定的网络安全挑战。
一方面，随着新一代信息通信技术加速与工业领域融合，网联化程度进一步加深，工业控制系统进一步向“开放化、网联化、协作化、智能化”的方向发展，工业现场部署智能传感器、智能芯片、智算服务器等更多智能设备终端，人机交互和数据流动变得更加便捷，工业企业生产制造全流程、多工序的协同优化和智能化需求更加旺盛，但是由此带来的安全边界模糊化，给攻击者提供了可乘之机。攻击者利用机器学习、深度学习等人工智能算法模型训练中对数据集和数据规律的记忆，通过“黑盒”访问进行能量延迟攻击和隐私攻击，或向模型发出查询并接收预测，一旦恶意控制可编程逻辑控制器（Programmable Logic Controller，PLC）等工业控制系统，极易造成大规模生产停摆、核心数据泄露等后果。甚至部分攻击者能够通过构造目标模型、窃取算法模型和参数特征，还原模型训练过程和训练数据，从而掌握制造业企业的核心工业数据，直接威胁企业的网络资产安全和知识产权，带来核心数据泄露等重大风险。因此，制造业企业往往担心生成式人工智能相关产品、服务和应用带来网络和数据安全隐患，尤其是IT基础设施比较固定的“云下”企业，出于安全考虑，并不愿意将私域数据传输给大模型提供商。
另一方面，为满足制造业企业对网络安全风险管理、信息保密等方面的需求，各大网络安全厂商（如微软、谷歌、Mostly、SecurityScorecard等）将工业场景下传统网络安全技术与生成式人工智能深度融合，争先发布针对制造业企业网络安全管理的网络安全大语言模型工具和平台，解决制造业网络安全的共性问题。利用生成式人工智能大语言模型，通过增强的持续学习和分析预警信息，实现制造业领域网络安全威胁智能检测、风险评估、自动执行重复安全事件的响应、提供安全策略和建议等，有效保障生产运营安全；可以智能分析企业网络监测数据，实时发现异常的网络活动或可疑行为，出具实时漏洞报告、实现漏洞管理，甚至有效预测可能发生的威胁或入侵场景，并利用生成式人工智能对消除工控安全漏洞隐患、攻击溯源等提出建议或解决方案；还可以自动化查询安全信息和事件管理，为分析工业现场生产日志、识别异常行为提供了便利；此外，生成式人工智能可以最大程度降低制造业网络安全警报误报率等，保障了生产业务连续性。
2 生成式人工智能背景下制造业面临的网络安全风险分析
当前我国制造业企业应用生成式人工智能的过程中，大模型数据训练及部署应用存在诸多安全隐患，加之企业安全管理和技术水平仍有不足，无法应对不断升级的攻击手段，网络安全风险严峻。
训练数据缺陷造成生成内容安全风险。大模型本质由大数据驱动，利用大模型自动高效提取数据中的规律和模式，形成大模型中的大规模参数。工业领域训练数据包括工业设备、摄像头、传感器等数据采集终端实时采集的生产现场全景高清视频画面及各类终端数据，以及生产日志、设备和系统参数、运营数据等企业自身积累的工业多模态数据，攻击者通过恶意篡改训练数据或在训练数据集中定向添加异常数据[4]，破坏原有训练数据的概率分布或影响大模型中大规模参数和算法，导致模型产生分类或聚类错误[5]，对制造执行系统（Manufacturing Execution System，MES）、PLC等工业系统和设备下发错误的调度策略等相关指令，影响操控人员对现场工业设备的实时精准操控，甚至引发实体物理层面的危害，不仅无法有效释放数据价值，更会给相关工业场景带来灾难性后果。
大模型安全隐患引发智能决策安全风险。当前大模型技术驱动生成式人工智能“狂飙突进”，未来开源大模型更是势不可挡，训练完成的大模型若未经过严格工业验证，存在极大安全隐患，而大模型具备的强大通用性意味着大模型自身缺陷会被所有下游模型所继承，而工业环境下对决策错误容忍度低，大模型自身缺陷一旦被攻击者利用，极易泄露篡改数据、或影响算法关联的设备系统（如智能工厂的温度分析装置等）[5]，又或无法通过准确分析和处理用户需求、设备信息、生产计划等信息制定安全可靠的生产方案，进而改变生产者或经营者的正确决策，影响企业安全生产，给企业用户带来重大经济损失。
依赖模块化服务带来复杂安全风险。为更好地适应具体的工业应用场景，制造企业自主构建工业垂类大语言模型的需求逐渐显现，但由于高昂模型训练成本、工业环境复杂等因素，技术能力较薄弱的传统企业很难实现开发应用，因此一些服务商创新性提供机器学习、大数据分析以及应用开发环境等模块化服务，例如亚马逊云科技公司推出由基础设施层、基础模型服务层和人工智能应用层3层技术堆栈组成的一套生成式人工智能基础设施，可为制造企业搭建生成式人工智能开发的“快速通道”。然而，由于开源框架、第三方软件包、数据库和其他相关组件等缺乏严格的测试管理和安全认证[6]，模块化服务存在系统漏洞等隐患，制造企业将会面临不可预期的数据泄露和供应链断供等安全风险，甚至导致与生成式人工智能系统深度融合的MES等工业软件系统受到关联影响。
攻击手段升级大幅增加风险防御难度。随着生成式人工智能技术成熟度越来越高，攻击的数量和复杂度不断增加，攻击手段在生成式人工智能技术加持下变得更加难以防御，网络攻击者可以利用人工智能技术生成对抗样本，或利用遗传算法生成变异代码，又或通过自适应攻击和自动化隐蔽攻击行为等，制造虚假信息和实施欺骗操纵等网络攻击活动，传统的安全防御系统已经无法满足需求，加之攻击数据和风险数据缺乏，安全风险分析和预警难以做到位，导致数据泄露、业务中断、财产损失，甚至引发安全事故等严重后果。
3 应对策略
以生成式人工智能为代表的新一轮科技浪潮的迅猛发展，已成为制造业数字化转型的重要推动力。面对复杂多变的网络安全威胁，应提高安全意识[7]，处理好安全和发展的关系，防范生成式人工智能应用于制造业带来的安全风险，现提出以下应对策略。
增强大模型原生安全能力，保护自身免受恶意攻击。利用对抗训练、模型融合和更新等方法，增强模型的适应和抵抗能力，降低被攻击和欺骗的风险。通过对基础模型和工业垂类大语言模型等开展模型验证、模型测试、模型审计，及时发现工业大模型中的漏洞和缺陷。采取模型加密、模型隐藏等方式，防止模型被窃取或逆向。此外，加大审查工业多模态数据来源的力度，重要数据等敏感高风险数据不应纳入训练数据，对可能存在安全风险的数据采取必要的防护措施。
发展人工智能安全防御系统，应对变化多端的攻击方式。通过深度学习算法智能提取、分类、聚类和异常检测工业控制系统网络流量或系统日志，实现对端口扫描、暴力破解等网络攻击或异常行为的自动识别和报警，同时对恶意代码、文本和图像等进行语义分析、语言生成等操作，实现对恶意软件的自动分类、标记和溯源。利用生成式人工智能技术对重要工业场景网络安全数据进行预处理、特征选择、降维、模型构建等操作，实现对工业控制网络安全态势的智能评估和预测。利用生成式人工智能技术对生产活动进行高精度识别、自定义报警和区域监控，实时提醒异常状态，实现对生产现场的全方位智能化监测和管理。
做好安全管理和风险评估，强化大模型部署和应用安全。制定基于制造领域实际应用场景风险分类分级规制，根据风险根源和应用场景来划分大模型的风险等级，针对不同级别风险设计符合实际工业场景的防护策略[8]。确立贯穿大模型全生命周期的透明度制度，对大模型开展必要的安全评估和检查，同时在对工业企业开展常规网络安全风险评估时，应增加部署和应用大模型相关的风险评估要求[9]。
加强供应链上下游沟通合作，防范风险向更大范围蔓延。厘清基础模型和工业垂类大模型价值链上下游不同参与者的权责，畅通信息共享和风险协同共治的通道；利用生成式人工智能实现大模型供应商评价、优选推荐等精细化管理，预测供应链风险并动态响应；生成式人工智能基础设施服务提供商发现安全弱点和可疑事件，要及时与工业企业及其他上下游参与者共享信息，避免影响企业正常生产运营；此外，还可合作开发针对关键制造场景的网络安全解决方案，助力制造企业安全应用生成式人工智能。
加大复合型人才队伍建设，保障新一代人工智能应用安全。由于生成式人工智能的浪潮来得迅猛，多数制造领域传统企业内部紧缺人工智能部署及微调服务的人才，同时缺乏实际工业场景下的网络安全人才，因此，如何更好地帮助企业安全部署落地人工智能大模型，形成卓有成效的应用案例，与生成式人工智能等新一代人工智能技术发展相契合的网络安全人才显得格外重要。
4 结束语
面对生成式人工智能对制造业网络安全带来的深刻影响，本文基于对生成式人工智能在制造业的应用现状和发展趋势的研究，系统分析可能面临的安全风险，并提出相关对策建议，以适应生成式人工智能应用背景下制造业的安全需求。未来，通过各方协作和共同探索，一定会更好地释放生成式人工智能这一新兴技术优势，更好地服务制造业高质量发展。
Research on cyber security risks and countermeasure of generative artificial intelligence in manufacturing industry
LI Shijing, ZHAO Shuang
（Security Research Institute, China Academy of Information and Communications Technology, Beijing 100191, China）
Abstract: Since the appearance of ChatGPT in 2022 and the release of Sora in 2024, generative artificial intelligence has become the focus of public attention once again. As an important part of the new generation of artificial intelligence, generative artificial intelligence is accelerating its integration into the economy and society, promoting the transformation of traditional industrial production methods and the upgrading of circulation paths, creating digital industrial clusters. Generative artificial intelligence gradually shows its catalytic role in the digitalization and intelligent transformation of manufacturing. However, the automatic content generation based on big data training also leads to new cyber security risks, and the problems such as harmful content generation and data leakage are becoming increasingly prominent. Through a comprehensive analysis of the integrated development and security situation, this paper scientifically demonstrates the cyber security risks faced by the application of generative artificial intelligence in manufacturing industry, and puts forward relevant countermeasures.
Keywords: generative artificial intelligence; manufacturing industry; cyber security; foundation model
本文刊于《信息通信技术与政策》2025年 第1期
声明：本文来自信息通信技术与政策，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
