中美“网络空间地图(测绘)”趋势洞察,探访盛邦安全DayDayMap
导语
美国著名智库兰德公司曾断言:“工业时代的胜利依赖于核战争,而信息时代的胜利则取决于网络战。”随着中国人民解放军网络空间部队于2024年4月19日的正式成立,网络空间安全所承载的战略价值已不言而喻。作战必先有“图”,因此,发展国家与军事领域的“网络空间测绘”能力,构建完善的“网络空间地图”,其重要性不言而喻。
我国在2016年首次相对系统地提出了“网络空间地图”与“网络空间测绘”的概念,由解放军信息工程大学的罗向阳教授等专家指出,构建网络空间地图的技术核心即是网络空间测绘。时至2022年,盛邦安全成功发布了首张网络空间地图——“网络空间坤舆图”,标志着该领域的研究与探索进入了新的阶段。
另一方面,根据IDC的预测,到2027年,中国将有40%的企业采用量化模型来管理网络风险,寻求网络风险量化供应商的协助,以评估遭受网络攻击的概率及可能的经济损失。网络空间地图(cyberspace map)相关技术正是解决这一需求的关键,成为构建数字世界不可或缺的基础技术能力,预计至2027年,其市场规模将达到61.5亿元人民币。
2024年5月,盛邦安全在网络空间地图的研究领域再次迈出重要一步,发布了产学研一体化的全球网络空间资产测绘平台DayDayMap。该平台聚焦于网络空间测绘科研领域,测绘数据作为网络空间地图构建的基石,DayDayMap在继承盛邦安全原有内网、专网测绘技术的基础上,进一步拓展为全球互联网测绘平台。尽管Shodan、Censys、ZoomEye、FOFA等国内外高水平测绘平台已有所建树,但DayDayMap凭借其在大规模IPv6测绘、跨域测绘、资产动态与隐匿测绘等方面的创新解决方案,以及参与制定国家标准《网络安全技术网络空间测绘数据交换格式》和《网络空间测绘资产信息格式》、《网络空间测绘资产分类》等标准编制工作的贡献,使盛邦安全的网络空间地图更具科研成果工程化落地的能力。同时,盛邦安全与清华大学等高校科研机构深度合作,针对产业界面临的工程问题,投入大量科研人员,致力于解决网络空间测绘领域的科学难题。
这也是其备受业界关注的重要原因。
《史记》记载,刘邦大军攻陷咸阳城后,诸将领纷纷抢夺金银财宝,只有萧何独钟地图,因为他懂得地图的价值……以图得天下,以图治天下,似乎古今皆然。
图片来源于:网络
“互联网出现已经几十年,当前的网络空间和过去有天壤之别。”盛邦安全大数据与互联网产品线及烽火台实验室总经理何鹏程解释,过去的网络安全策略是“防御”,只要守住自己的网站、数据库等即可。而现在,生成式 AI、云原生、大数据、5G、工业互联网、IPv6 等技术的快速发展,网络空间变得更为庞大而复杂,应对网络攻击挑战的难度持续加大。作为第五维的空间,网络空间同时伴生着网络攻击持续席卷全球的现状。
比如,日益多样化且难以部署传统防御措施的物联网设备容易成为网络攻击焦点;随着数据中心、云服务等技术发展,网络资源分布呈现零散、随机趋势,外围突破防不胜防。“数字经济的发展对网络安全提出更高要求。”何鹏程说,由于能源、化工等行业的设备、数据等资产实现了联网,若无有效保护,这些数据资产将面临安全风险。
我国近年来实施网络安全法、数据安全法、《关键信息基础设施安全保护条例》等法律法规,指导各单位进行实战化网络攻防演习,从各个层面加强网络安全建设。经过多年网络攻防演练的经验积累,我们认识到全面绘制网络资产并实现"地图式"的全局管理,对于安全防御、日常管理和整个建设运营流程至关重要。这种全面的网络资产测绘提供了必要的透明度和控制力,是确保网络安全和效率的关键步骤。
通过网络空间测绘(以下简称网空测绘),将无形的网络空间有形化和可视化,正是透视网络空间的关键所在。
一:网络空间地图(测绘):如何巡天遥看一千河?
“网空测绘”借用了地理测绘的概念,二者形似而神殊。地理测绘是将有形的地理环境通过测绘手段(如遥感卫星等)获取的数据进行描述和还原。
图片来源于:网络
解放军信息工程大学游雄教授认为,网络空间地图 (cyberspace map)是对网络空间的抽象视觉表达,描述了网络空间的结构、要素或实体属性及其时空关系和逻辑关系,以及网络空间现象及其过程。截至目前,网络空间测绘的概念还在不断发展,测绘广度由区域、国家视角不断拓展至全球,测绘深度也将由网络空间物理域、逻辑域拓展至认知域、社会域。图片来源于:盛邦安全,《全球网络空间资产测绘平台:DayDayMap》
然而,IPv4仅有42亿可用IP地址资源,目前已经接近饱和,互联网正在快速转向IPv6(IPv6协议将IP地址的长度扩展至128位,约有“340亿亿亿”个可用的IP地址,完全覆盖现有互联网规模)。由于不同的交互协议特性,诸如Shodan和Censys这样的传统网络空间测绘工具在对IPv6网络的兼容性和支持方面尚未达到理想的水平。在这样的背景下,盛邦安全和清华大学合作研究探索,聚焦全球IPv6网络空间测绘,攻克IPv6网络空间设备隐匿性强、探测效率低、探测成本高等难题,提出活跃IPv6地址探测方法体系,采用高效的拓扑发现技术和网络安全策略遥测等先进技术,大大提升网络空间测绘的精确度和效率。
从国内外发展看,网空测绘是典型的军民两用技术,可广泛应用于诸多场景。
在军事领域,“网空测绘”是掌控网络战场的基础和前提,它能够实现网络战场要素的可视化,支撑网络空间作战筹划及指挥控制。通过整合网络空间测绘结果和多源情报数据,形成的网络通用作战图是指挥控制网络空间作战的关键工具。
"网空测绘"在民用领域的应用通过系统的网络测量技术,创建了一个全面的网络空间图谱,它能够详细展示网络空间的全息全景。这种图谱显著提高了网络空间的透明度、可控性和可管理性,对于维护国家网络安全具有重要意义。其应用范围广泛,包括但不限于网络监管、网络安全管理、互联网广告行业、关键基础设施保护以及数字政府的构建等多个方面。通过这种方式,"网空测绘"为相关领域提供了强有力的支撑和保障。
网络空间地图(测绘)典型应用场景分析
1/网络空间安全风险监管与预警
网络空间地图,通过全面搜集资产信息,为网络安全态势提供了精确的视图。这一工具在监管网络安全风险和预警方面扮演着至关重要的角色。监管机构可以利用网络空间地图实时监控安全风险,全面了解安全状况和趋势,及时发现问题资产、违规配置以及潜在的安全威胁。
借助网络空间地图的直观可视化功能和多维数据关联,监管单位能够迅速识别问题所在,并提前发现风险,为及时响应提供数据支撑。资产状态、漏洞情况和安全影响都清晰可见,使得在安全漏洞或事件发生时,相关单位能够立即收到警报,快速定位受影响资产,并立即采取必要的应急措施。
这种全面的网络空间测绘不仅提高了网络安全的透明度,也为风险管理和应急响应提供了强有力的工具,确保网络安全防护工作更加高效和有针对性。
2/网络空间军事行动指挥控制
网络空间地图作为攻防双方进行网络攻防演练的态势底图,可实时展示演练进展,为网络对抗演练活动指挥提供清晰的视图基础。它汇聚地理域、网络域、社会域等多维度交叉信息,是防御方全面理解和掌握网络对抗演练态势的关键工具。网络中的信息中枢、关键设施、防御要点和可用资源都能通过网络空间地图系统得到深度感知和明确标识,为相关单位提供有力的态势感知和指挥支持。
3/智慧城市数字资产感知与运营
网络空间地图是智慧城市深度感知和高效运营的基础。通过网络空间地图,管理者可清晰辨识环境中的数字资产,深度感知其 IT 环境,并了解其生命周期阶段,从而有效控制安全风险并提升安全运营效率。基于网络空间地图获取的状态信息,管理者可制定并执行针对性的数字资产管理计划,分析资产利用率,进行预算规划,提高资产利用效率,优化成本。此外,网络空间地图还为漏洞发现、威胁感知、事件响应和故障排除等工作提供了技术和数据支持,进一步提升智慧城市的整体运营效率。
4/企业外部攻击面管理
大型企业级客户,尤其是跨国企业,在面对传统网络资产管理不足所带来的风险之外,还必须应对广泛存在的泛资产风险。例如境外云服务上部署的仿冒/钓鱼网站、源代码托管平台上泄漏的企业重要系统代码、在线文库泄露的敏感文件、暗网/黑市上正在出售的企业人员邮箱和密码或者业务客户信息、疏于管理或被伪造的小程序或公众号等。企业除了使用本地测绘平台对自己管辖的内、外网地址段进行测绘之外,还需要借助具备全球网络空间(含泛资产空间》的空间测绘广商的数据,收集泛资产测绘数据,形成企业攻击面管理的重要部分,快速发现和处置隐患。
5/网络空间资产多维度整合治理
通过整合网络空间内分散的各种资产数据,构建一个全面、精确且实时更新的资产数据库,可以有效地管理和监控网络空间资产,帮助企业更好地了解自己的网络环境,管理网络资源,并做出数据驱动的决策。通过建立统一的数据标准,比如实施标准化的资产分类、标识和描述流程,能够实现不同来源和格式资产数据的兼容性与共享性,从而提升数据的准确性和实用性。这一过程还需确保资产数据的收集、处理和共享遵循所有适用的法律法规,包括但不限于个人信息保护法和网络安全法等,以保障数据的合法合规使用。同时,也需要遵守企业内部的数据管理政策和道德规范,例如数据隐私政策、数据归档政策等。通过对资产数据的分析和控掘,可以发现隐藏在数据中的有价值的信息和知识。有助于企业更好地管理和利用自己的网络资产数据,实现数字化转型和升级。
6/国内运营商 IPv6 资产管理
面对IPv6地址空间的巨大和复杂性,运营商和城市运营中心采取了部署可扩展的扫描集群、先进的IPv6测绘引擎、服务赋能、共享成果的方式,提升了自身的网络安全管理能力的同时,还为不具备大算力资源的普通企业,梳理了自身的IPv6资产。
7/暗网等隐蔽空间测绘
暗网和深网的测绘正成为网络安全的新焦点。这些隐蔽的网络空间不仅难以用传统方法测绘,而且常常是非法活动的温床。随着监管部门对这些空间的重视增加,暗网测绘不仅需要技术手段,还需要多维度的治理策略。这有助于及时发现并应对其中的违法犯罪行为,从而减少网络犯罪,增强网络空间的透明度和安全性。
8/威胁情报数据生产
网络空间测绘厂商基于主动探测获取的资产数据,配合进一步研发的恶意应用识别、AI 智能分析等恶意识别技术,自动提炼出黑灰产资产名单(包括黄赌毒网站、钓鱼网站、被篡改网站、代理服务网站、黑客控守资源网站、C&C 地址等),成为威胁情报数据的服务提供商。
9/面向网络安全防护策略调优的网络空间测绘数据分析
主动感知、研判全网安全态势,提供智能数据取证,为专网安全管理工作提供全面可靠的数据支撑。通过多维度捕捉网络攻击痕迹,深度挖掘异常网络行为,从而强化网络暴露面及边界设备风险隐患监测,帮助管理者消除网络监管盲区,强化网络管控能力。
网络空间地图(测绘)面临的问题和未来展望
尽管网络空间资产测绘的重要性已被广泛认识,但在实际应用中仍面临一系列挑战:
1.IPv6海量数据处理:IPv4资源接近饱和,互联网正在快速转向IPv6(IPv6协议将IP地址的长度扩展至128位,约有“340亿亿亿”个可用的IP地址),现有测绘技术尚未较好适配;
2.隐私保护与法律合规:资产测绘过程中可能涉及敏感信息和隐私数据,如何在合法合规的前提下进行测绘,避免侵犯他人权益,是技术与法律交织的复杂问题;
3.加密与反测绘技术:部分资产可能具有动态IP、隐藏服务、加密通信等特点,增加了发现与识别难度;
4.跨域测绘技术:全球网络空间资产分布广泛,跨越不同地域、网络环境和权限边界,实现跨域测绘需要突破技术壁垒。
5.缺乏统一标准:资产测绘数据格式、接口、分类标准等缺乏统一规范,导致数据互动操作性差,阻碍了跨组织、跨平台的数据共享与整合。随着 AI 大模型的普及,AI 能力也将在网络空间地图中发挥重要的作用,积极拥抱 AI 大模型相关技术是提高网络空间地图精准度的关键。
随着《关键信息基础设施安全保护条例》、《网络安全审查办法》和《网络数据安全管理条例》等法律法规政策的相继出台、实施,合规性要求将对网络空间地图相关市场起到正向促进作用。IDC预计到 2027 年市场规模将达到 61.5亿元,复合增长率将呈现 43.4%的高速发展态势。
二:国内外网络空间地图(测绘)发展情况
“网络空间测绘”是一个发展迅速但历史相对较短的领域,其起源尚不明确。由美国国家安全局发起的“藏宝图计划”,被认为是该领域首个具有里程碑意义的项目。在美国,众多新兴企业和老牌公司正活跃于这一行业。在中国,也有多家企业和机构开始涉足网络空间测绘。
不过,资源分散和缺乏统一的数据格式标准一直是影响该领域发展的瓶颈。为了解决这些问题,2023年4月,中国指挥与控制学会成立了网络空间测绘专委会。在专委会的引领和努力下,预期上述挑战将得到有效应对,推动网络空间测绘领域的规范化和进一步发展。
美国网络空间地图(测绘)发展现状
从发展脉络看,美国的网空测绘始于情报机构的大胆构想,扩散至诸多网络技术公司,尤其是网络安全技术公司,呈现出多点开花之势。从国家安全局的“藏宝图”计划,国防高级研究计划局的X计划以及与X计划关系极为紧密的艾克工程(Project Ike),网空测绘都是其关注重点。1/藏宝图计划
“藏宝图计划”源自美国家安全局瞰视全球网络的野心。
据掌握,该计划始于2006年,2013年在斯诺登事件中首次曝光。
藏宝图计划宣称“绘制全网地图,无论何时、何地、何设备”,“藏宝图计划”的主要目标是对网络空间进行多层次的信息探测和数据分析,持续绘制整个网络空间图景,包括整个IPv4和部分IPv6,涉及逻辑层、物理层、数据链路层、社交层数据的捕获和快速分析。
藏宝图计划通过对网络地理层,物理网络层以及逻辑网络层的探测,赋能对网络角色层以及个体层的分析
藏宝图计划多源数据关联分析
探测内容包括:BGP、AS和IP地址空间信息,世界各地的 Wi-Fi 网络和地理位置数据,以及3000万到5000万个唯一互联网提供商地址。该计划被斯诺登称为是“互联网的30万英尺视图”,其测绘覆盖面之广可见一斑。藏宝图计划路由跟踪分析
2/X计划
2012年,美国国防部国防高级研究计划局启动“X计划”。
按照美公开说辞,该计划旨在为美国防部开发一个防御性网络平台,用于支撑网络战的筹划、作战方案制定、网络战的实施及作战评估,其技术重点之一就是通过网空测绘形成网络空间地图。
X计划功能示意图
X计划的核心是网络空间的新图形视图,类似于大型电脑游戏,可显示正在进行的作战和实时网络数据。其网络空间地图包含网络世界的实时渲染以及连接网络空间的组件(如路由器、交换机等)的详细互联图。
X计划运用构想图
据该计划项目经理弗兰克·庞德(Frank Pound)表示,X 计划能让网络作战人员根据对关键网络地形(如邮件和文件服务器、路由器和网关等对其防御至关重要的地形)的防御情况来规划网络任务,并深入了解这些关键网络地形中的活动以及安全状况等。
庞德称,X 计划“以视觉方式识别关键的网络地形,以便作战人员能够看到它,就像通过双筒望远镜看到物理地形一样。”换而言之就是通过网空测绘实现了网络空间的有形化和可视化。2017年,美将X计划由国防高级研究计划局移交给网络司令部,其后续发展融入该司令部相关技术项目。
3/艾克工程
艾克工程最早于2013年启动,作为X计划下的子项目。从多方情况综合判断,艾克工程是X计划中聚焦于网空测绘的项目。
2019年7月,美将该项目移交给国防部战略能力办公室,并与承包商“二六实验室”(Two Six Labs)签了一份9500万美元的合同,由后者具体负责技术开发。2021年4月,项目又被移交给美网络司令部,置于联合网络指挥与控制 (JCC2) 项目管理办公室之下。
二六技术公司公布的艾克工程技术特点
据了解,艾克工程形成的技术主要用于绘制网络地图、网络战备评估、以及网络空间指挥控制。“二六实验室”网络与电子系统副总裁杰夫·卡雷尔斯(Jeff Karrels)表示,由于“艾克”是联合网络作战指挥控制的基础架构,“二六实验室”打算将联合网络作战指挥控制打造为一个基于应用程序的模型编排平台,用户可以从单个仪表板访问所有类型的信息和数据馈送,从而为指挥官提供更好的态势感知和决策辅助。未来,则计划利用机器学习为特定指挥官或网络团队的行动方案提供建议。
艾克工程界面示意图
“二六技术”公司网站显示,截止2024年“艾克”的用户已达9000个,涵盖美网络司令部、各军种和情报界。
在此,不得不提一下这家名为“二六技术”的公司。该公司由全球投资公司凯雷集团一家子公司收购的北弗吉尼亚州“IST研究”公司和“二六实验室”合并而成,是一家为情报界和国防部等参与者提供服务的国家安全技术公司。
艾克工程界面示意图
合并前,“IST研究”公司聚焦于开源数据收集和参与,而“二六实验室”主要从事网络安全业务。“二六技术”公司网站显示,其旗下产品有四种,包括:“西格玛”SaaS 系统、TrustedKeep数据加密平台、“艾克”军用数据分析工具、“脉冲”(Pulse)安全云工具。从“二六技术”公司公布的信息看,“艾克”已成为一个融合了网空测绘的自动化编排和分析平台,能够利用机器学习和交互式用户界面,加速和扩展对复杂的全领域情况的态势理解,从而达到掌控全域战场的目的。
艾克工程界面示意图
由此衍生出国外比较知名的网络空间资产测绘平台有Censys、Shodan。
Censys是一个测绘专用的互联网在线平台、易用性高且性能卓越的网络空间测绘工具,Censys通过对互联网进行全面的扫描,收集并整理了大量的互联网数据,包括主机、证书、协议等。同时,Censys还提供了多种实用工具,例如指纹识别、漏洞检测、安全策略管理等,帮助用户更好地进行网络安全管理和威胁情报分析。Shodan被誉为“暗黑谷歌”,是全球首个专门搜索互联网连接设备的搜索引擎。随着时间的发展,Shodan已经成长为一个功能强大、资源全面的网络资产搜索引擎。其核心能力在于能够识别和发现与互联网相连的设备及其特征。
国内网络空间地图(测绘)发展现状
国内的网空测绘起步虽晚于美国,但近年来也呈快速发展之势。在国家科技部重点研发、军委装备发展部预先研究等项目的牵引下,中科院信工所、中国电子科技网络信息安全有限公司、中国电子、清华大学等分别围绕网络空间资源探测、网络拓扑测量等技术展开关键技术攻关,取得了丰富的研究成果。一些企业敏锐把握网空测绘技术发展大势,纷纷发力该领域,形成了契合我国市场应用场景的技术产品。
见微知著,近日,由主管研究机构公安部第一研究所、公安部第三研究所、国家计算机网络与信息安全管理中心、国家工业信息安全发展研究中心、 国家互联网应急响应中心等牵头,全国网络安全标准化技术委员会发布了关于《网络安全技术网络空间测绘数据交换格式》国家标准编制需求,拟规范资产测绘时的资产分类、数据格式,以统一来自不同资产测绘源的测绘数据。解决不同测绘源数据格式不统一问题,并为资产测绘数据共享、网络空间安全图谱构建提供基础数据。汇聚行业智慧,形成高质量的标准成果,是国家标准化建设的重要工作。从产学研一体化深入构建国家网空测绘的立体架构,一些企业敏锐把握网空测绘技术发展大势,纷纷发力该领域,形成了契合我国市场应用场景的技术产品。
DayDayMap(盛邦安全)
盛邦安全推出的一款产学研一体的聚焦空间测绘科研领域的全球网络空间资产测绘平台DayDayMap,致力于让网络空间资产可感知、易定位、更有价值。
DayDayMap自动扫描和智能识别用户在互联网上的多元资产,包括域名、IP地址、端口、服务、组件等信息。通过构建详尽的资产和主机画像,能够揭示出互联网资产的暴露边界,并精准识别各类资产属性,实现互联网资产的可查、可定位。
DayDayMap具备领先的IPv6探测探测技术(IPv6地址池资产数据62亿条)、强大的科研加持,迅捷的指纹检索能力,可定位资产社会属性、多维资产画像、漏洞详情以及友好的使用界面而获得业内认可。其在相似性检索、空间定位、资产拓线等方面,有计划加大重点投入。
DayDayMap优势创新点
网络空间的瞬息万变及浩渺庞杂对网空测绘提出了极大挑战。充分利用机器学习和其他人工智能技术实现网空测绘的智能化是未来发展大势,多层次网络发现、微分段、IPv6、则是重要技术着力点。2024年5月,盛邦安全针对IPv6的新一代网空测绘平台——DayDayMap全球网络空间资产测绘平台正式发布,受到业界广泛关注。
DayDayMap可以对目标资产梳理,挂图作战,绘制网络空间资产底图,对抗先机,提升网络攻防实战能力,而DayDayMap全球网络空间资产测绘系统,处于ATT&CK攻击矩阵的第一个步骤“侦察”。是攻击前的情报侦察,为制定战术、战法、武器选配提供数据和脆弱性分析提供辅助支撑。一般用于目标网络打点攻击前情报获取,平台同时做无痕化处理和设计。DayDayMap提供卫星互联网测绘服务,能够分析和测绘全球的卫星网络资产,如星链starlink等。
该平台具有如下几大特点:
领先的IPv6探测技术
为保证资产覆盖的全面性,DayDayMap支持IPv4和IPv6类型资产的测绘能力, IPv6地址池数量62亿,在线IPv6资产不少于37亿。同时通过无状态防溯源探测、高性能端口扫描等技术、大规模分布式扫描引擎资源,覆盖60亿+IPV6数据,在业界处于领先地位。
对于海量的IPv6数据,基于传统的扫描机制很难遍历全部存活数据,因此,而采用基于IP集的熵预测算法能够极大程度解决这个问题。
IPv6测绘技术涉及对IPv6地址空间的分布情况、网络拓扑结构、流量分析等方面的研究内容。常用的方法包括基于网络探测的活跃测绘技术、基于路由信息的passively测绘技术、基于流量数据的passively测绘技术等通过无状态防溯源探测、高性能端口扫描等技术、大规模分布式扫描引擎资源。创数百篇科研佳作 聚焦空间测绘科研领域
打造最具科研属性的网络空间资产测绘平台,与清华大学、中科院计算所等科研机构开展深入合作,保证探测数据的准确性、可靠性和科学性。
闭环资产归属 落地社会属性和行业标签
多维度数据关联融合分析,精确识别资产归属与行业等信息,智能关联分析资产的归属单位,发现未知或未监控资产、服务和数据。
联动DayDayPoc社区漏洞平台 定位资产漏洞
联动DayDayPoc漏洞社区,基于指纹信息精确定位资产漏洞,实现紧急漏洞的快速评估、响应与全生命周期的监控。
深度构建空间资产多维画像 闭环资产归属
精细化指纹识别,内置多种资产标签,有效识别蜜罐、挖矿、仿冒等多类站点,提升资产价值挖掘和风险控制能力。
针对DayDayMap采集到的网站样本数据,利用大预言模型编码技术对网站内容进行编码,并基于长短时记忆神经网络算法对序列化数据实现分类任务,识别网站是否含不合法内容。
·利用大语言模型中Transformer-Encoder技术对自然语言进行编码。结合Bert模型对不同国家语言的良好兼容性,具有极高的编码效率和模型通用性。
·通过长短时记忆神经网络算法LSTM对编码后的序列化文本进行分类,准确率高。
·不依赖于传统非法网站识别的关键字,排除人为关键字收集不全导致的模型不准确因素。
·具有一定的自学习能力,通过少量的人工结果标注反馈,能自动化对模型进行优化。
总而言之,通过网空测绘透视网络空间,将变幻莫测的网络空间具形化、透明化,甚至通过一张图将网络空间尽收眼底,是掌控网络空间和制胜网络空间的法宝。