关于基于大数据的分布网络安全管理系统构建的论文
摘要：在社会发展进程中, 在传统安全管理平台上大量多源异构安全数据提供相应的参考, 比如说数据收集、安全风险以及安全警示等等。本文则针对大数据安全问题, 依照开源分布式组件实施大数据分布式安全管理平台设计, 在内置关联分析应用中, 以此显著提升安全数据分析能力, 能够对传统安全管理平台数据管理中存在的相关问题有效处理, 分布式部署的应用有助于提升管理平台的使用率及扩展性。
关键词：大数据; 分布式; 网络安全管理;
在移动互联网及物联网技术发展环境下, 在社会不同行业中的应用也逐渐广泛。据调查, 世界内互联网运营企业每年的用户数据增长速度非常快。随着新技术及新研究方式的出现, 在人类的生活及工作中, 大量的数据被广泛应用, 对于互联网运营企业及国家单位等来讲海量数据更是发展基础, 在人类发展中大量数据进一步提高了价值。数据类型不同, 则会进一步提升数据处理的难度, 因此需要强化大数据管理及处理。
1 大数据分布式网络安全管理平台设计
图1是大数据分布式网络安全管理平台评估设计。由此能够发现在管理平台设计中, 实现方式则是在数据处理过程中, 将其分成数据源、预处理、数据收集、存储分析以及展示五层。其中最基础的则是数据源, 也就是将相关数据输入到系统中。在数据库中Kafka组件存储所收集的数据, 并在此基础上实施数据处理。数据预处理是实现数据的标准化管理。数据处理则可以分成两种, 其中分别是非结构化及结构化, 大数据计算则是在Nana组件应用下深入挖掘离线例数数据, 并对相关数据流实施相应的计算。数据展开层能够有效展示相关数据, 例如其中包括的网络安全态势信息以及预警信息等等[1]。现代网络安全分析主要是以日志和流量两种数据, 并且还配以用户行为、访问、漏洞、资产、业务行为、应用行为及外部情报等信息进行关联分析。其中日志分析主要包括安全审计、网络安全风险分析和主机入侵检测。基于流量安全分析主要包括异常流量检测、恶意代码检测、web安全分析、僵木蠕检测及网络入侵检测等。融入大数据分析技术, 在此种安全应用技术整合流量数据, 利用高效收集、存储、检索及分析有效提高安全检测及信息处理的效率, 降低分析和反应时间。在安全数据收集方面, 为了能够实现海量数据的快速收集, 可以使用Flume、Chukwa等工具, 利用分布式收集实现每秒数百兆日志数据收集和传输。对于流量可以使用功能传统流量镜像方式实现全流量数据收集。
图1 基于大数据的分布式网络安全管理平台架构
2 大数据分布式网络安全管理平台流程设计
图2能够发现, 在数据流计算完成后则需要依照实际需求, 对相关数据进行强化处理, 例如补充资产编号以及地理信息等等。之后构建数据索引, 在实时索引中保存处理, 在此过程中数据量会出现明显增加, 在HBase中可以长时间保存相关数据。在处理过的数据之后也就会减少数据量。一旦触发告警信息, 则会出现告警数据, 在展示层中可以将HBase中的数据实施警处理。机器学习模块可以进行数据自动化分析, 数据智能安全关联之后所得结果也会被保存在HBase中。现代先进技术在机器学习数据中的应用, 有助于实现人工无法实现的目标, 能够引导工作人员找到数据详细点, 以此进行数据挖掘[2]。
分布式数据库技术在数据存储中的有效应用, 具有重要应用优势。传统数据存储规模较小, 也比较单一, 在当前海量数据环境下无法有效实施数据处理, 针对这一问题, 分布式数据库管理的应用则能够进一步提升大数据的扩展性及适用性。现代分布式数据库管理平台的应用也随之广泛, 例如Bigtable技术的应用, 可以在数据操作及管理过程中将数据访问信息转换为字符串, 实现数据信息管理, 字符串不必解释也就能够呈现出分布式数据的非结构化及结构化特点, 可以实现数据库的文本、上接第183页无法满足需求, 在此背景下就产生了分布式数据库。对于现代大数据及网络方面存在的多种问题, 就要设计全新的分布式网络安全管理平台, 从而为大数据提供实时的数据收集、检索和存储等多种功能。通过实验表示, 本文所设计的分布式网络安全管理平台能够有效提高大数据的处理能力, 能够在大量日志备份、检索和网络报文收集及分析中使用。图像以及视频等不同存储类型, 以此提高系统管理便利性。Dynamo技术在数据库技术中的应用, 能够借助于链值存储、分布式数据等相关技术, 最大化的提升系统运行管理中大数据管理系统应用效率, 进一步推进关系型数据库次序发展。在智能化技术发展进程中, 在分布式数据库中则出现多种算法, 其中主要包括有机器学习、神经网络及模式识别等等, 有助于显著提升数据的快速处理, 也有助于显著提升数据处理一致性[3]。
图2 分布式网络安全管理平台流程
(文件1:文件内容直接在HDFS中存储, 文件元数据在HBase中存储;聚合2:轻度汇总数据保存一年;数据存储3:不同存储模块数据的保留时间能够配置Nana, 长期存储和短期数据索引)
在当前环境下, 海量数据存储也逐渐加大, 传统数据管理模式已经无法有效满足当前数据处理需求, 因此针对这一问题广大研究人员积极展开研究。基于研究方向差异, 数据管理中的可用性、扩展性以及缓存等各个方面均已经取得一定的新研究成果。例如全域名空间, 则不用提供文件姓名, 借助于姓名, 也就能够在系统中应用文件。在此过程中也能够对复数服务器起到协调作用, 系统被分成若干个部位, 各个部位内容之间相互独立同时也具有密切联系。分布式系统扩展性的实现, 也就是进一步提高系统性能及容量, 采用的'技术主要为虚拟化存储, 以此进一步提高系统扩展性。在系统中信息处理主要方式有降载算法和贪心算法, 前者能够优化系统各个流程, 但是这一算法应用没有综合考虑到局部问题。数据过程中系统应用存在一定限制, 降载算法在数据处理中的应用, 一旦出现系统过载会直接放弃, 对其应用范围产生影响[4]。
3 实验分析
大数据分布式网络安全管理系统的设计选用的是B/S架构, 在管理过程中选用的是统一和集中管理。隔离环境下, 对分布式网络安全管理平台进行测试, 具体过程见图3。在Node1-Node11、模拟流量一级模拟日志收集器的应用下, 实现和交换机的有效集合, 在此基础上进行局域网设计。日志收集器的应用, 能够将具体的日志样本进行转换, 从而编程日志数据, 最后在PC模型的应用之后, 完成网络流量的发送。
图3 系统的实验测试拓扑
基于以上研究结果可以确定拓扑能够实现大数据集群和分布式收集器网络配置, 大数据集群的应用下导入大量的数据。在大数据应用中进一步提高访问记录检索精确性, 依照检索时间也就能够达到所需数据, 还能够显著减少使用时间。
4 结语
随着计算机网络技术的发展及应用, 大量的数据也在不断增长, 网络中的问题也越来越突出。大数据作为全新的颠覆性技术, 为大量数据的处理提供了多种可能性。
参考文献
[1]章翔凌, 杨永群, 黄勤龙等.基于大数据分析的应用安全态势系统设计与实现[J].信息安全与技术, 2017, (z1) :54-59.
[2]王海燕.刍议面向大数据分析的分布式文件系统关键技术[J].网络安全技术与应用, 2015, (3) :41-42.
[3]黄天恩, 孙宏斌, 郭庆来等.基于电网运行大数据的在线分布式安全特征选择[J].电力系统自动化, 2016, (4) :32-40.
[4]陈康, 黄剑, 刘建楠.分布式协商:建立稳固分布式大数据系统的基石[J].大数据, 2016, 2 (4) :24-35.
【关于基于大数据的分布网络安全管理系统构建的论文】相关文章：