码迷,mamicode.com
首页 > 其他好文 > 详细

企业安全建设之路:端口扫描(上)

时间:2017-03-14 10:52:31      阅读:236      评论:0      收藏:0      [点我收藏+]

标签:https   存储   src   思维   金融   des   png   clu   简单   

0×00、业务需求

由于工作关系,最近一年来都奔走在各大安全会议,无论是公开会议,例如:ISC互联网大会、freebuf互联网大会等、还是半公开的会议,例如某SRC组织的互联网金融会等。互联网安全运维人员都在谈自己企业的运维平台是如何建立的。这里我简单用思维导图总结一下:

技术分享

有一定研发能力的互联网安全团队都在建立自己的安全运管平台。我想这样做的目的是:

(1)半自动化或者全自动化安全运维规则,提高工作效率,降低人力成本。

(2)现有安全厂商提高的产品无法满足用户日益增长业务安全需求,业务架构变更。例如:日志管理部分,传统SIEM是无法满足 50万QPS Web日志处理能力,需要storm/spark架构处理。

(3)降低人员变动带来的业务安全的稳定性

当然这种安全投入是巨大的,而且需要持续发展才能摊平成本。

0×01、端口扫描需求分析

1、竞品获得需求:

 传统扫描器云扫描器企业内网端口扫描器
检查模式 并发 分布式/并发 并发
IP端口资产管理 不支持 支持 支持
IP端口资产变更告警 不支持 支持 支持
检查是否开放违规端口 不支持 支持 支持

2、安全经验获得需求 

操作系统分布windows操作系统版本分布
web容器分布 IIS版本分布
数据库端口对外开放 mysql数据库版本分布
暴力破解协议分布 OpenSSH版本分布

3、简单数据挖掘分析获得需求

在此之前做了一部分数据采集工作,表一ip_result.csv主要记录主机IP、域名、是否存活和操作系统类型,表二ports_result.csv主要记录了地址、端口、服务、服务详细描述等,通过对本测试数据集的分析,找到我们的业务需求。首先要了解数据全貌,可以多个维度去分析数据,包括:可视化分析(pandas)、SQL方式分析、excel分析等。

(1)Pandas分析法:

在这之前想说一下为什么要可视化分析,因为,通过图形人们可以判断出趋势,举个小例子:

技术分享

单纯的几组数字是看不出什么规律和趋势的,但是如果以矩阵的形式可视化后,大家对下一个点的出现就有趋势的判断了。

我们先了解一下我们的数据内容是什么,分别对两张表的数据导入到pandas中。

技术分享

技术分享

然后对各个有意思的字段或者字段组合聚类分析,

ip表:os

port表:port、service、product&product_version、scripts_results(address字段由于是公网数据暂时忽略)

技术分享

技术分享

技术分享

技术分享 

技术分享

技术分享

技术分享

pandas分析方法,多字段之间Group by比较麻烦,所以建议使用SQL分析法。

(2)SQL分析法:

把csv数据导入到postgresql数据库,执行:

 

SELECT port,count(*) as hit from ports_resultGROUP BY port ORDER BY hit DESC

SELECT service,count(*)as hit from ports_resultGROUP BY serviceORDER BY hit DESC

SELECT product,product_version,count(*) as hit from ports_resultGROUP BY product,product_version ORDER BY hit DESC

SELECT scripts_results,count(*)as hit from ports_resultGROUP BY scripts_resultsORDER BY hit DESC

 

 

技术分享

技术分享

然后通过正则表达式过滤掉一些无用数据,就可以得到我们想要的数据,那么,通过以上数据的简单的分析,我们对已有的安全经验和竞品数据有更深入的了解数据的本质。

(3)机器学习分析

当然可以用更高级的数据挖掘手段去分析,比如:聚类、分类、回归、降维、时间序列、文本挖掘。首先要确定我们挖掘的目的,是确定我们安全报表的需求,也就是聚类的问题,那么如何实现呢?

在这里我们引入sklearn这个机器学习python库,它为我们选择机器学习算法提供了优化的路径:

技术分享

我们port表中大约有10000多条数据,根据算法选择可以看出,

1、样本数据>50条,不需要获取更多的数据

2、如果是分类的问题,数据是否标记,对于我们的数据来说是没有的,那就进入clustering象限

3、分类类型是已知还是未知的呢?对于我们的数据当然是未知的,因为我们不知道如何分类,这需要算法告诉我们。

4、那么我们的数据样本>1w条,建议使用Kmeans。

我们需要使用的算法已经确定,下一步就是把数据经过清洗后导入算法库运算。这里要注意几个问题:

1、数据要做预处理,去除掉空值

2、把有意义的string项转化成数字类型,方便机器学习算法处理

多说无用,上代码:

技术分享

技术分享

最终机器学习分析的图:

技术分享

经过对k值的调整,发现分4类是最靠谱的。也就是说,对服务的分析做4类足够,http、https、ssh、rdp。

0×02、功能设计

1、设计目的:

版本规划设计功能
V1.0 通过端口扫描模块获得内网IP端口资产,资产变更告警,违规告警规则设置 实现内网扫描、外网扫描、行业扫描
V1.1 增加端口资产拓扑图

备注:当前版本只上线V1.0功能。

2、用户场景

用户场景对应功能
用户通过网络层面了解企业内部网络存在的资产 内网IP资产和端口扫描 (1)对存活主机探测 l 主机扫描范围设置 l 主机扫描结果存储 (2) 对存活主机端口探测 l 对主机扫描端口范围设置 l 端口扫描结果存储 (3)IP端口资产变更告警 l 提供周期性扫描设置 l Email报警 (4) 违规告警规则设置 l 内置数据库对外服务检查报警 (5) report l 操作系统类型分布 l 对外服务类型分布 l web服务器类型分布 l 远程访问服务类型分布
用户通过网络层面了解企业对外网络资产 外网IP资产和端口扫描 (1)对外网存活主机探测 l 主机扫描范围设置 l 主机扫描结果存储 (2) 对外网存活主机端口探测 l 对主机扫描端口范围设置 l 端口扫描结果存储 (3)IP端口资产变更告警 l 提供周期性扫描设置 l Email报警 (4) 违规告警规则设置 l 内置数据库对外读物检查报警 (5) report l操作系统类型分布 l 对外服务类型分布 lWEB服务类型分布 l 远程访问服务类型分布
用户想了解一下自己在所在行业安全指数 对行业IP资产和端口扫描 (1)行业资产录入 (2) 行业报告 操作系统类型分布 web服务类型分布 远程访问服务类型分布

0×03、总结 

本节先简单说到这里,后面会详细描述:详细设计、交互设计、前端实现、后端实现、测试联调、安装部署等环节。本节重点讲述的是如果在需求分析阶段加入数据分析,帮助产品人员更好的设计产品。有不足之处还请各位大佬指教。

* 本文原创作者:bt0sea,本文属FreeBuf原创奖励计划,未经许可禁止转载

企业安全建设之路:端口扫描(上)

标签:https   存储   src   思维   金融   des   png   clu   简单   

原文地址:http://www.cnblogs.com/h2zZhou/p/6546991.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!