信息安全知识库

《大模型应用落地安全风险和防护实践》由火山引擎郑炎亭主讲，聚焦后DeepSeek时代的真实攻防：提示词越狱、RAG数据窃取、Log4j 诱导RCE、算力DDoS、幻觉误导五大高危场景，并给出从接入层到训练层的全栈防护方案——大模型应用防火墙+密文RAG+熔断限流+幻觉检测。报告强调，AI已进生产核心，安全即业务连续性，防护目标正从合规转向核心资产保险。

火山引擎大模型应用防火墙产品负责人 郑炎亭在《大模型应用落地的安全风险与防护实践》的分享中，探讨大模型应用在各行各业落地过程中面临的安全风险及相应的防护实践。

郑炎亭观察到，过去，不同行业在引入新技术时注重快速验证和部署，安全往往被视为次要考虑因素。随着 DeepSeek 等工具的普及，AI 技术的成本降低、门槛变低，越来越多的企业开始重视 AI 应用的安全性，特别是在生产环境暴露面增大后带来的潜在威胁。

当前的安全挑战不仅包括传统的 DDoS 攻击、薅羊毛滥用等，还涉及大模型特有的风险，如提示词注入、模型幻觉等问题。以提示词注入为例，通过简单的拼接即可实现对模型的操控，使得攻击成本大幅降低，这对企业的数据安全构成严重威胁。

为应对这些挑战，郑炎亭提出一些实践思路：一是对提示词过滤与监控，对输入输出实施严格过滤，减少恶意利用的可能性。二是对运行环境做安全保障，使用加密技术和机密计算来保护敏感信息处理过程中的安全性。三是模型安全性测评，测试模型识别并拒绝执行恶意代码或生成有害内容。

郑炎亭谈到大模型的幻觉问题确实不易解决。大模型幻觉分为事实性幻觉和忠实性幻觉。对于不同的幻觉应设计不同的应对方案，郑炎亭介绍几种在推理端处理幻觉问题的方法，强调在推理端更具性价比且更可控。

https://mp.weixin.qq.com/s/6rlyOEhF1CkX7Kvnj4ZISw

《安全领域大模型构建范式与实践》由腾讯安全科恩实验室吴石主讲，提出“高质量语料 + 科学评测”双轮驱动范式：自建SecCorpus对20 B token清洗去噪，使160 M小模型即达通用1.8 B效果；发布SecBench平台，5万道题覆盖证书、问答与攻防场景，为行业首套安全大模型评测基线。实践上，以混元+BinaryAI亿级函数向量RAG为核心，打造Security-X研判助手，输入IOC即可自动生成多智能体协同的综合报告，日调用破亿。报告总结：大模型落地需“数据-评测-场景”闭环，科恩已把AI能力嵌入腾讯云、iOA、电脑管家全线产品，实现精准威胁识别与智能运营。

自 2018 年起，科恩实验室开始对 AI+ 安全的研究，致力探索如何提升安全产品的智能化水平，落地相关产品，腾讯内部包含 QQ、微信在内的多个重要产品均在使用科恩实验室 AI+ 安全的能力。

当前在利用大模型解决实际安全问题上仍面临一些挑战，主要原因在于大模型本身并不产生新的知识，对于安全领域的专业知识掌握有限，导致其输出的实际效用不高。对此，吴石分享了科恩实验室在这方面所开展的工作：一是建立安全语料库，通过从多源收集数据并利用关键词过滤和分列器进行初步筛选，经过一系列数据清洗步骤，最终完成数据质量评测，目前此安全语料已部分开源。二是开发针对大模型安全能力的评测体系，填补行业空白，并部分开源评测工具，显著提升行业标准。

吴石介绍腾讯内部如何落地大模型+安全：首先通过优化 prompt 提高提问质量，解决大部分基础问题；其次，利用外挂的知识库和数据库增强大模型的能力，实现快速反应；还有，开发 Agent 来提升处理复杂任务的能力。其中，科恩实验室自研 BinaryAI 可以模糊匹配开源库信息识别恶意代码，现日调用量超 1 亿次。基于RAG的 Security-X 助手广泛应用于 URL 处理、威胁情报检索等场景。总的来说，科恩实验室具备三大核心能力：优秀的安全攻防技术、全面的基础安全大数据以及自安全算法，这些为大模型的应用提供坚实基础，并推动通用大模型与小模型的有效结合。

吴石指出，大模型作为网络安全领域的重要技术力量，已显著提升了威胁检测效率与安全防护能力，尤其在复杂场景中展现出独特价值。然而，当前技术范式下仍需理性看待其局限性：大模型在处理低频威胁、对抗性样本防御及实时决策场景中仍存在性能瓶颈。他强调，安全工作的核心仍需回归对抗本质——通过构建高保真威胁情报体系与攻击成本动态评估机制，迫使攻击者在技术、资源与时间维度付出更高代价。

https://mp.weixin.qq.com/s/6rlyOEhF1CkX7Kvnj4ZISw

《安全大模型发展路径洞察与实践》由360集团CTO潘剑锋主讲，提出“快思考-深度思考-慢思考”三级跃迁模型：先用统计性快思考解决告警降噪、钓鱼识别等高频任务，再借CoE多专家架构与Agentic Workflow实现复杂威胁狩猎的“慢思考”。依托360百亿级终端与网络攻防语料，CCoE模型在52个恶意家族检测中全面超越GPT-4；并通过“思想钢印”记忆机制与蒙特卡洛树搜索，持续沉淀专家经验，驱动终端、流量、云、浏览器全线产品升级。报告最终呼吁以安全大模型重塑攻防思维模式，迈向“AI即安全服务”新时代。

潘剑锋先是讨论大模型的理解能力，引入“快慢思考”概念来评估当前大模型的能力。他表示目前大模型的价值是很好地模拟人脑的“快思考”，即大模型通过海量数据训练，做文字符号层面的统计处理，从数据中找出统计性规律，在概括的意义上掌握学习样本所反映的隐含知识，并以此为基础生成内容。而“慢思考”需要对事物具有本质性理解，需借助事实性知识，通过多步推理、反思，是“深思熟虑”的结晶。针对慢思考任务的场景中，当前可编排专家经验，整合安全大模型、知识库、工具库的能力，实现半自主的推理 Agent。

当前，国内大模型赋能安全产品主要采用两种不同层次的方式：一是直接使用通用大模型的能力实现安全应用；二是应用安全垂直大模型。这两种方式之间的区别就像“一个博学的人拿着医科全书”与“主任医师”，前者虽然能够查到专业知识，但是不能够贯通运用；后者是具有丰富的临床实践经验。安全垂直大模型能够将专业的安全数据真正训练进入模型中。

潘剑锋分享如何基于以上理论进行落地实践，包括安全语料生产、模型分区训练和慢思考实现方式。高质量的安全语料被视为行业的护城河，360 首创的 CoE 技术架构允许不同的安全专家分区训练各自的模型，有效减少多任务冲突、过拟合等问题，保证训练效果同时降低资源消耗。

潘剑锋目前基于推理时计算扩展的方法，在外延方面进行创新，还尝试做本质性理解的相关工作。通过团队的持续探索，有望进一步提升大模型在安全领域的效能与适用范围，寻找新的发展范式。

https://mp.weixin.qq.com/s/6rlyOEhF1CkX7Kvnj4ZISw

《AI系统的安全风险和挑战》由CertiK AI安全监管与治理专家李康撰写，聚焦大模型时代“系统级”威胁。报告先以欧盟AI法案风险金字塔为框架，剖析近期字节跳动实习生投毒、DeepSeek数据库泄露、ShadowRay等真实事件，指出AI Agent浪潮下传统漏洞（RCE、供应链投毒、对抗样本）与新型风险（沙箱逃逸、物理世界攻击）并存。通过GPT-Academic、Invoke AI等沙箱绕过案例，演示攻击者如何利用模型加载、文件解析、任务执行链实现远程控制；并以Tesla FSD闯红灯攻击为例，警示物理AI Agent的安全边界。最后呼吁在“AI平权”趋势下，安全监管必须超越传统网络安全假设，建立覆盖模型、数据、运行环境、物理交互的全栈治理体系。

Certik 首席安全官 李康在《AI 系统的安全风险和挑战》的主题演讲中，谈到目前 AI 安全讨论通常集中在抽象层面（如 AI 对人类社会的威胁）和算法层面，但忽略系统安全层面的重要性和紧迫性，如今，AI 智能体的普及带来新的安全挑战，这些智能体带有执行环境，允许代码执行，这为攻击者提供机会。李康举例如何利用传统安全手段攻击 AI 智能体，通过简单的手段如命令注入、越权访问等，可轻易地对 AI 智能体进行攻击。

“攻击者并不一定针对AI的偏见或利用Prompt和幻觉进行攻击智能体，而是寻找有价值的目标，并用最简单的方式达成目的，当前AI的安全监管和检测尚未充分考虑这一点，未来需关注具体事件的爆发以应对这些潜在威胁。”李康提醒说。

随后，李康进一步分析物理世界中的 AI Agent 同样面临安全风险，阐述 AI 系统在现实世界中的安全隐患。李康表示，AI Agent 为安全研究带来机会与责任，既让我们重新审视和应用过去的安全手段进行防护，同时也要求我们在发现攻击路径和方法上进行创新，尤其是在面对真实场景时，不依赖传统的直接互动方式。

李康提醒道，AI 的普及不仅带来技术平权，也引入新的安全风险，希望安全从业者获得更多话语权和重视，尤其是在监管层面应更加关注底层安全问题。最后，李康呼吁更多人参与到 AI 安全的研究和实践中来。

https://mp.weixin.qq.com/s/6rlyOEhF1CkX7Kvnj4ZISw

《XCon×HG议题：数字人安全攻防白皮书》系统梳理了数字人直播、AI伴侣到元宇宙应用的完整生态架构，揭示提示词注入、TTS语音伪装、Deepfake身份伪造、供应链投毒等十大攻击面及真实案例；并给出覆盖模型、数据、内容、应用到基础设施的五层防御体系，为企业在爆发式增长中守住品牌、资金与合规红线。

《Prompt Hacks：终极指南》系统梳理了生成式 AI 面临的提示注入、越狱等攻击手法，并给出10类威胁模型与对应防御方案。文件揭示了 LLM 无法区分系统指令与用户输入的根本原因，展示攻击者如何通过角色扮演、故事编造、编码混淆、令牌注入等方式窃取数据或输出有害内容；同时提供红队演练、语义防火墙、实时观测、合规审计等落地策略，帮助企业守护品牌、资金与运营安全。NeuralTrust 的 AI Gateway、自动化红队、可观测平台三大工具贯穿始终，为零信任架构下的 AI 部署提供一站式解决方案。

传统安全运营正面临巨大的挑战，过度依赖专家团队，人力资源和知识有限等问题尤为突出。碳基生命的生理极限决定了在未来网络安全攻防战场，单纯依靠传统安全工具和方法是无法赢得战争的，必须借助当前最前沿的人工智能技术。

本议题将重点分享多个安全运营场景中使用大模型技术改进和增强现有的安全运营工作机制，全面提升安全运营的水准，包括：如果充分发挥智能体、大模型生成能力、编码能力实现几十倍甚至上百倍的运营效率提升。

当然，大模型的应用并非没有挑战，尤其是“幻觉”问题——即大模型在某些情况下可能会做出错误的推理和判断，从而导致误报或漏报。本议题在讨论大模型应用安全运营场景时，还将介绍作者所在团队过去的一些技术尝试，介绍如何克服“幻觉”问题，降低AI出错的概率，让大模型给出更加精准和可靠的决策结果。

通过对这些技术细节的深入分析，旨在帮助与会者理解大模型在安全运营中的实际应用价值，并展望其未来的发展方向。

报告以“AI是新质生产力”为主线，指出算力、模型、数据、应用正形成指数级放大效应，同时带来幻觉、伦理、攻防失控三大安全新图景。中国提出“全球共治、分级韧性”治理思路，将IT→DT→AI驱动的安全演进划分为三个阶段，倡导用AI提升自身安全、用韧性框架保障AI发展，并发布联合国首个人工智能全球决议，为强国建设与民族复兴守住底线、抓住机遇。

邬江兴院士指出，数字经济时代数据成为关键生产要素，但“存储程序控制”的先天基因缺陷使网络空间安全威胁愈演愈烈。为此提出中国原创的“内生安全+拟态防御”范式：通过动态异构冗余（DHR）构造，把未知漏洞扰动转化为可控概率问题，实现设计安全、默认安全、开箱即用。六年全球众测证明，采用内生安全架构的产品均未攻破，已纳入11项通信行业标准，成为数字生态底层驱动范式转型的“钢筋骨架”。

安恒信息 范渊在2024西湖论剑提出“AI+安全”全景方案：以恒脑大模型与隐私计算为底座，打通数据“供得出、流得动、用得好”全链路；AI分类分级效率提升30倍，隐私计算让跨域数据“可用不可见”。AI安全智能体在亚运、大运实战中告警处置效率提升200%，实现“智能辅助驾驶”式运营。同时发布生成式AI安全防御框架，覆盖训练、部署、运营全周期风险治理，为企业数字化与绿色化协同转型保驾护航。

龚克在《西湖论剑》提出：以人工智能为“使能技术”，在信创安全底座之上实现绿色化与数字化协同转型。报告呼应联合国“AI for SDGs”决议，强调大模型即服务（MaaS）降低门槛，通过智能监测、治理、决策重塑能源、制造、环保全链条；同时以信创自主可控保障数据与模型安全，助力中国抢占绿色新质生产力制高点。

汪玉凯教授在《西湖论剑》指出：数字经济正成为新质生产力的核心引擎，其关键在于平台、数据、互联共享三大新要素的协同放大。报告聚焦“制造强国”主战场，提出以“人工智能+工业互联网”提升智能制造水平；通过数据要素“流动—交易—价值实现”五大主体闭环，释放倍增效应；同时警示网络安全与算力一体化仍是瓶颈。政府应回归法治与政策营造，让市场与民营企业担当主角，方能在2025年把数字经济占比从当前水平拉升至10%。

《LLM越狱攻击预防与框架 v3.3》系统梳理了大语言模型从指令注入到多模态对抗、表征工程到智能体工具滥用的全部越狱路径，配套可落地的防御体系（对齐-检测-沙箱-监控）。文档以威胁模型为纲，将攻击按提示工程、输出结构、优化、模糊、组合、MCP滥用六大类拆解，并提供测试脚本与红队演练方案，帮助安全团队在模型全生命周期内快速定位脆弱点、迭代加固。适用于AI产品、红队及合规审计人员。

Gartner《2025安全运营成熟度曲线》系统梳理了从漏洞管理到持续威胁暴露管理（CTEM）的演进路径，突出AI SOC代理、暴露评估平台（EAP）、对抗性暴露验证（AEV）等前沿技术的成熟度与商业价值。报告强调将传统资产可见性、威胁检测与响应、身份威胁检测与响应、网络检测与响应等能力整合为可编排、可度量的运营体系，以应对云原生、混合办公及CPS（网络-物理系统）带来的新攻击面。同时提供优先级矩阵，帮助企业在2年内快速落地高价值场景，或在5-10年内布局变革性架构如网络安全网格（CSMA）。

本文是Black Hat USA 2025议题《AI Agents for Offsec with Zero False Positives》的讲稿，作者Brendan Dolan-Gavitt提出“AI代理+确定性验证”方案，解决传统LLM在漏洞挖掘中的高误报难题。通过“证据-验证”双阶段流程：LLM先定位可疑点，再用非AI脚本（flag回显、时延差异、缓存投毒等）进行可复现验证，已在Docker Hub 2500万镜像扫描中捕获174个漏洞、22个CVE，误报率趋近零。文中给出Redmine权限绕过、Druid SSRF、MapProxy文件读取等实战案例，并开源自动化工具链，为大规模安全测试提供新范式。

本书是欧盟“支持专家库”项目官方教材，专为AI、隐私与网络安全交叉人才写作。全书以MLOps生命周期为主线，系统讲解如何在训练、部署、监控AI系统的每个环节同时满足《人工智能法案》与GDPR要求：从隐私增强技术（差分隐私、联邦学习、合成数据等）到安全代码开发、模型测试、可信运行环境。书中用大量案例与练习帮助企业在处理个人数据时降低法律与伦理风险，实现“高性能+高合规”的AI落地。

这份文档详细介绍了火山引擎在AI领域的安全保障实践。首先，文档概述了火山引擎的AI业务架构，该架构涵盖了从底层AI基础设施（AI Infra）、大模型服务平台（MaaS）到智能体开发运维（Agent DevOps）和最终的AI智能体（AI Agent）应用的全方位服务。

文档的核心部分阐述了火山引擎的AI安全保障方案，强调“安全是一切Agent的基础”。该方案构建了一个多层次的纵深防御体系，包括针对大语言模型（LLM）本身的提示词攻击防护、模型平台安全；针对Agent和工具的协议安全、沙箱防护；以及覆盖底层基础设施和平台治理的全面安全措施。

文档重点分析了AI智能体场景中MCP（Model-as-a-Service Connector Protocol）面临的七大核心安全风险，例如传统的Web服务漏洞、工具描述投毒、间接提示词注入、恶意“地毯式骗局”（Rug Pull）以及企业数据安全风险等。

为应对这些挑战，火山引擎设计了MCP安全架构。该架构包含三大核心策略：

• 第一，严格的安全准入控制，确保所有接入MCP市场的服务都经过安全扫描和漏洞修复；
• 第二，原生安全设计，针对多租户体验场景和单租户私有化部署场景，分别采用临时凭证隔离和VPC内部署等不同安全机制；
• 第三，运行时安全防护，通过“大模型防火墙”和“AgentArmor”等工具，实时检测并拦截恶意输入和非预期行为，保障模型和智能体在运行过程中的安全。

演示首先概述了LLM面临的普遍安全风险，并引用OWASP的报告，强调“提示注入”是首要威胁。近期多所国际知名大学的论文被发现植入了操控AI给出好评的隐形指令，这便是提示注入的实例。研究数据表明，与直接提示注入相比，间接提示注入（IPI）的攻击成功率要高得多，因为它将恶意指令隐藏在模型处理的网页、文档等外部内容中，模型在解析时会自动执行。

接着，文稿深入分析了IPI的攻击原理。其有效性的关键在于模型本身无法区分“指令”和“数据”，且缺乏“不执行外部数据中指令”的意识。实证研究表明，即使是更强大的模型，也普遍受IPI影响，且攻击成功率更高，而现有的缓解技术（如提示工程和微调）虽有改善，但效果有限，并可能牺牲模型的实用性。

为了说明其危害，文稿展示了一个真实的攻击链条：攻击者将恶意指令（如窃取历史对话、钓鱼用户凭据）植入PDF文档中。当用户上传该文档让AI进行翻译或总结时，AI会执行恶意指令，将用户的历史对话记录发送到攻击者服务器，或生成一个仿冒的登录页面来骗取用户账号密码。测试显示，国内外多款主流大模型均存在此类风险。

最后，针对IPI攻击，演示提出了一个由输入过滤、指令结构强化和模型自身调优构成的纵深防御体系。具体措施包括：在模型处理输入前进行恶意指令检测；在架构上明确区分系统指令、用户指令和外部内容；以及通过安全增强微调，提升模型自身区分指令与数据的能力。

该报告深入探讨了AI Agent应用面临的攻击面。首先，报告概述了AI Agent的定义、决策流程（感知、规划、行动）和关键特性（自主性、适应性等），并介绍了其在客服、办公助手等领域的广泛应用。其核心技术架构由大型语言模型（Model）、代理运行时（Agent Runtime）、功能工具（Tools）以及底层支持服务（Supporting Services）构成。

报告的核心部分详细剖析了AI Agent各组件的潜在安全风险。 1. 大型语言模型（LLMs）：主要面临提示词注入攻击，攻击者可通过直接或间接方式注入恶意指令，从而操控Agent执行非预期的操作，如窃取数据或执行恶意代码。报告强调，不仅用户输入不可信，模型生成的内容同样需要被视为不可信来源。 2. 消息传输：以WebSocket为例，若缺乏正确的安全配置（如Origin校验），易遭受跨站WebSocket劫持（CSWSH），导致聊天数据被窃取。 3. 输入与输出处理：对模型生成内容的处理不当会引发严重漏洞。例如，直接执行模型生成的代码可能导致远程代码执行（RCE），而将模型输出渲染为HTML则可能造成跨站脚本（XSS）攻击。 4. 工具（Tools）：作为Agent与外部世界交互的桥梁，工具是风险最集中的区域。数据分析功能可能导致代码执行，网页访问功能可能引发服务端请求伪造（SSRF），数据库操作则可能存在SQL注入风险。 5. 沙盒环境：用于执行代码的沙盒若配置不当，如网络或文件系统隔离存在缺陷，攻击者可能实现沙盒逃逸，进一步危害宿主系统。

最后，报告对未来防御方向进行了展望，提出了三大关键策略：遵循最小权限原则限制Agent能力；通过动态监控实时追踪并拦截Agent的异常意图与行为；以及将传统应用安全与大模型安全相结合，构建纵深防御体系。

文稿深入探讨了随着大型语言模型（LLM）与AI智能体（Agent）能力日益强大，所带来的严峻安全挑战。

报告指出了几大核心风险领域：

• 有害内容输出：模型可能被诱导生成歧视性或极端的有害言论。
• 数据与隐私泄露：系统提示（System Prompt）和个人身份信息（PII）面临泄露风险。攻击者可通过路径遍历等手段实现数据越权访问。
• 目标劫持：通过间接注入恶意指令，改变Agent的原定功能，例如让应用只推荐特定商家。
• 网络与系统攻击：模型可被用于生成恶意代码（如类似WannaCry功能的代码），或被利用触发远程代码执行。
• 资源滥用：恶意用户可通过循环调用工具等方式，大量消耗模型的计算资源，造成拒绝服务。

这些风险源于模型指令遵循、泛化、推理等能力的提升。

为应对这些挑战，报告提出了一套多层次的Agent安全设计框架。该框架以模型安全对齐为基础，通过对齐算法（SFT, RL）和数据，使LLM具备基本的安全与权限意识。在此之上，通过Agent框架层面的安全设计，如Prompt优化、角色权限管控等进行加固。最后，设置输入输出过滤作为兜底策略，拦截恶意内容。