Aggregator

A new report from Resilience outlines a growing cyber crisis in the U.S. healthcare sector, where ransomware attacks, vendor compromise, and human error continue to cause widespread disruption. In 2023, breaches exposed 168 million records, and the first half of 2025 has already seen extortion demands as high as $4 million. The sector remains vulnerable, despite large investments in security tools and insurance. Severity of cyber claims in healthcare (Source: Resilience) The report highlights a … More →

The post Breaches are up, budgets are too, so why isn’t healthcare safer? appeared first on Help Net Security.

研究人员发现，在大约80%的案例中，针对边缘网络设备的恶意活动激增（如网络侦察、定向扫描和暴力破解尝试），是新安全漏洞（CVE）出现的前兆。

这一发现来自威胁监测公司GreyNoise。该公司表示，这些现象并非随机发生，而是根据案例统计得出的严谨结果。

GreyNoise的结论基于其“全球观测网格”（GOG）自2024年9月以来收集的数据，并通过应用客观的统计阈值，避免了可能扭曲结果的“选择性筛选”问题。

剔除一些模糊及低质量的数据后，该公司最终确定了216起符合条件的激增事件，这些事件与8家企业级边缘设备供应商相关。

研究人员解释道：“在我们研究的所有216起激增事件中，50%在三周内出现了新的CVE漏洞，80%在六周内出现了新的CVE漏洞。”

这种关联性在Ivanti、SonicWall、Palo Alto Networks和Fortinet的产品上尤为显著，而在MikroTik、Citrix和Cisco的产品上则相对较弱。有国家支持背景的黑客组织多次将此类系统作为目标，以获取初始访问权限并维持持久控制。

新cve的峰值活动和披露时间

GreyNoise指出，在大多数情况下，这些峰值背后，攻击者针对的是已知的旧漏洞进行攻击尝试。

研究人员认为，这种行为要么会推动新漏洞的发现，要么能让攻击者找到暴露在互联网上的端点，以便在攻击的下一阶段利用新型漏洞对这些端点展开攻击。

预警信号

传统上，防御方会在CVE漏洞公布后才采取应对措施，但GreyNoise的研究结果表明，攻击者的行为可以作为一种先行指标，成为组织主动防御的工具。

这些漏洞披露前的活动激增，为防御方提供了准备时间：他们可以加强监控、加固系统以抵御潜在攻击，即便安全更新无法提供保护，且他们并不清楚系统的哪个组件或功能才是实际攻击目标。

GreyNoise建议，应密切监控扫描活动并及时封禁来源IP，这样可以阻止这些IP进行通常会引发后续实际攻击的侦察行为。研究人员强调，在这类情况下，出现针对旧漏洞的扫描是意料之中的事，因为攻击者的目的是对暴露的资产进行分类记录。因此，不应将这些扫描视为针对已完全打补丁的端点的失败入侵尝试而置之不理。

活动峰值（白色）和新cve的发布（红色）

在相关的开发中，谷歌“Project Zero”宣布将在发现漏洞后的一周内向公众通报相关情况，并在供应商开发补丁时帮助系统管理员加强防御。Project Zero现在将共享受新漏洞影响的供应商/项目和产品、发现时间和披露截止日期（仍然是90天）。 

谷歌表示，由于不会公布技术细节、概念验证漏洞利用代码或其他可能让攻击者有机可乘的信息，但这一更改不会对安全性产生不利影响，同时还有助于缩短“补丁缺口”。

前 言

本文要点：

• 落地路线图

• 落地模式及选择（策略）

• 安全防护构架

• 安全落地技术方案

• 私域安全部署全流程示例

• 大模型安全评估

• 网络安全运营大模型参考架构与赋能

• 其它场景及应用案例

相关资料获取

请文末评论留言

落地 路线图

遵循原则

需求拉动、问题驱动、创新推动

四个阶段

现状诊断、能力建设、应用部署、运营管理

五个层面

基础设施、数据资源、算法模型、应用服务、安全可信

三个关键维度

安全、可靠、可控

工程实施方面

（1）基础设施侧

• 构建高性能和高可靠的训练和推理基础设施

• 根据行业属性或企业性质，明晰技术路径，如选择大模型部署方式等

（2）数据构建侧

• 全流程数据治理

• 构建数据隐私和安全保护体系

（3）服务能力侧

• 实现大模型与现有业务数据和信息系统对接

• 开展提示工程

• 开发人工智能原生应用等实施方案

技术选型方面

（1）技术指标侧

• 明确技术指标：涉及基础设施、数据资源、算法模型、应用模式和风险控制等方面

（2）评估方法侧

在模型应用的全生命周期，开展技术能力先进性和应用场景适用性等评估。

• 应用前，评估现有模型的性能水平

• 应用中，评估算法模型与实际业务需求的匹配程度

• 应用后，跟进模型使用效果，制定改进方案

落地 三种主要模式

端侧 部署模式

• 部署位置：用户终端设备，如智能手机、个人电脑或专业工作站。

• 主要优点：实现高度个性化的用户体验，最小化数据传输延迟。

• 适用场景：对隐私保护和实时性极高，如离线语音识别、即时翻译和全知个人助理等。

边缘 计算模式

• 部署位置：接近用户的边缘服务器。

• 主要优点：融合云计算强处理能力与端侧低延迟特性。

• 适用场景：适合处理计算和数据要求高、需快速响应的应用。

• 其它优点：减少数据远端云传输，降低带宽需求，提升数据安全性。

云平台 服务模式

• 部署位置：云端基础设施。

• 主要优点：存储和计算资源充足，支持复杂算法及大量数据处理；升级维护灵活，访问便利。

• 风险问题：网络延迟、数据隐私问题等。

• 应对方式：系统设计和改进策略。

大模型设施 安全风险框架

（点击可放大查看）

落地安全 防护构架

基于合规框架和技术风险矩阵，可分为三个层次：

• 底层（运行环境）：

• 保障基础设施安全，涵盖通信网络、区域边界、计算环境、云及容器的安全设计与实现。

• 中层（技术与管理）：

• 技术上实现供应链安全、数据安全、运营安全三类关键业务安全场景；管理上完成合规评估备案，纳入组织机构总体风险管理、安全监测预警及应急响应框架。

• 顶层（目标）：

• 实现基座、模型、数据与算法、运行的安全技术目标，以及模型风险可控、合法合规的管理目标。

安全落地 技术方案

落地的 安全性

（1）内生安全防御

1)数据安全防御

• 大模型数据隐私保护：数据脱敏、数据匿名化、数据加密

• 大模型分布式训练：联邦学习和区块链技术

2)模型安全防御

大模型越狱防御：模型生成优化、系统提示优化、输入输出检测

（点击可放大查看）

• 提示语泄露防御：输入检测、输入处理、输出处理

（点击可放大查看）

3)系统防御

• 硬件层面防御：涵盖漏洞修复防范技术、被动检测防范技术和主动防范技术。防范对模型存储介质的威胁。

• 
  

• 软件层面防御：涵盖用户数据防范技术 、模型数据防范技术。防范对用户及模型数据的威胁。

• 
  

• 框架层面防御：深度学习框架及其依赖的大规模第三方软件包漏洞会威胁模型安全。防范对深度学习框架及依赖库的威胁。

• 
  

• 操作系统层面防御：涵盖访问控制防范技术、加密防范技术 与其他防范技术。防范对操作系统调度过程的威胁。

• 
  

• 网络传输层面防御：涵盖端设备地址防范技术、传输路径防范技术、网络服务防范技术。从网络安全角度保障生成式AI安全。

（2）外生安全防御

1)面向隐私安全攻击的防御：

包含对抗训练、提示工程策略，正则化、Dropout、数据增强、差分隐私、隐私风险检测、生成内容过滤审查等技术。

2)针对毒化数据的防御：

• 采用数据溯源和对齐技术。

• 
  

• 发展高级对抗算法（用复杂数据分析识别异常模式、开发自动排除或修正此类数据的机制）。

• 
  

• 构建统一安全风险防御策略：针对多模态数据（对文本、图像、声音等）。

3)面向恶意后门的防御

• 检查神经元激活特征，识别并消除可能被恶意操纵的神经元。

• 通过模型微调和再训练清除后门。

• 持续监控和定期安全评估。

4)针对提示注入攻击的防御

• 常用防御技术：对抗训练，即迭代收集攻击样本，通过指令微调等优化模型，使其能以拒绝等方式应对新型恶意提示。

• 
  

• 注意事项：过于保守的防御策略会影响内容多样性和趣味性。

（3）衍生安全防御

1)偏见和毒性内容生成风险防范

• 预训练数据排毒

• 基于强化学习的对齐

• 推理阶段的安全风险防控

2)虚假新闻防范

• 大模型直接识别

• 微调的 AIGC 文本检测模型识别

• 依据困惑度与可信度

基于事实核查的虚假新闻检测关键技术：

• 声明检测

• 证据检索

• 声明核查

3)版权侵犯风险防范

• 面向 AI 训练数据安全的水印技术：后门攻击。

• 
  

• 面向 AI 生成内容溯源的水印技术：

✔数字水印技术

✔快速微调技术

✔有效水印提取技术

4)电信诈骗风险防范

• 深度伪造检测技术：

✔基于空间域信号

✔基于频域

✔基于生物信号

• 深度伪造主动防御技术：

✔基于主动干扰

✔基于主动取证

落地的 可靠性

（1）大模型的对抗鲁棒性

• 数据增强：针对不同内容模态设计策略以提升训练样本多样性。

• 训练优化：跨模态数据构建针对性对齐 loss 训练；采用预设攻击函数对样本变换进行对抗训练。

• 增强用户指令精细理解力，检测攻击诱导意图并前置干预。

（2）大模型的真实性

幻觉主要缓解方案：

• 训练阶段改进：涉及预训练、微调等所有模型参数更新。

• 推理阶段干预：根据用户输入生成回复时进行干预。

• 提示语优化：通过优化提示语提升生成效果。

• 输出后处理：对初步生成文本进一步编辑、修改。

• 结合外部知识检索：结合外部知识源的信息检索单元加强生成质量。

• 多智能体交互：引入多个大语言模型参与生成过程。

（3）大模型的价值对齐

1)基础优化手段：

• 清洗训练样本中的 “毒性” 数据

• 引入基于强化学习的对齐技术

2)基于人类偏好的强化学习技术（RLHF）：

包含三个子阶段：

• 指令微调

• 奖励模型训练

• 生成策略优化

3)基于 AI 反馈的强化学习技术（RLAIF）：

• 特点：用 LLM 代替人类标记偏好，对齐效果有限。

• 优化方向：结合人工反馈，兼顾成本与模型效果。

落地的 可控性

（1）大模型的可解释性

• 基于过程信息的解释性

• 基于 CoT（思维链）提示的解释性

• 基于模型内生的机制可解释性

（2）大模型的可标识和可追溯

• 数字水印追溯

• AIGC 检测技术

（3）大模型的指令遵循

• 监督微调

• 强化学习

• 指令优化

落地 安全测评

（1）试题的全面性：

要求：安全评估需覆盖多模态和各种应用场景，且评测试题需全面覆盖可能的安全问题类型。

（2）对抗样本的多样性：

方法：在已有试题基础上通过生成算法构建多样化测试样本。

（3）评估研判的自动化：

新方向：

• 基于商业化大模型服务构建研判策略，但存在成本高、数据隐私、可控性差等问题。

• 构建专用研判大模型

私域安全部署 全流程示例

以下内容仅供参考

具体需根据实际情况进行调整和优化

获取完整版

请文未评价留言

大模型 安全评估

以下内容仅供参考

具体需根据实际情况进行调整和优化

获取完整版

请文未评价留言

网络安全运营 大模型

参考架构与赋能

以下内容仅供参考

具体需根据实际情况进行调整和优化

获取完整版

请文未评价留言

其它场景及应用 案例

以下内容仅供参考

具体需根据实际情况进行调整和优化

获取完整版

请文未评价留言

参考资料：《大模型落地路线图研究报告》《大模型安全实践白皮书》《私有化部署必看!大模型设施的安全风险框架和防护方案》《专题·人工智能安全|大模型安全风险分析与防护架构》《超云2025私域大模型部署白皮书》《生成式大模型安全评估白皮书》《工业大模型白皮书》《金融行业大模型应用探索与实践》《网络安全运营大模型参考架构》《大模型安全研究报告》

来源：重庆信通设计院天空实验室