用户
搜索
  • TA的每日心情
    慵懒
    2017-6-2 15:04
  • 签到天数: 58 天

    连续签到: 1 天

    [LV.5]常住居民I

    i春秋-核心白帽

    Rank: 4

    7

    主题

    181

    帖子

    218

    魔法币
    收听
    0
    粉丝
    2
    注册时间
    2016-3-20

    核心白帽

    发表于 2017-5-9 20:15:58 977751
      本来想在freebuf再水点稿费的   结果 说只给金币    在这水一篇混点魔法币吧


      在如下的今天,越来越多的服务器部署在云上,越来越多的服务使用云waf,个人认为云waf较软件waf和硬件waf有个缺点就是一旦找到你的真实ip可以绕过云waf直接攻击你的服务。而有很多服务只能通过ip访问,而这些服务恰恰是相对脆弱的服务,那么就造个轮子吧~~~
    本文所介绍的,整体上用elasticsearch+redis+django+mysql 写的,思路是这样的:
    • 先下发任务给扫描框架
    • 将扫描任务存入数据库,其中任务表如下:



        1.jpg

    任务状态字段、任务名称字段、任务内容字段、 扫描数量、 扫描完成数量、以及扫描端口



    将任务入库后,先调用masscan扫描。这里要用到异步模块,由于作者是拿django写的,所以用celery这个模块


    1.png

    这里开发时候在windows下写的,就写了个windows和Linux兼容的版本.



    • 将masscan扫描结果存入redis,然后调度任务开始扫描
      这里比较简单,使用requests库抓取。开启http服务的title、header,使用fofa的指纹识别正则 识别http服务信息
    • 调用阿里云借口识别ip地址,调用http://dns.aizhan.com 的接口反查域名

        1.png



    • 最后将结果 存入数据库



    1.png

    字段分别为ip端口、标题header、http服务类型、ip地理位置及主域名。
    这里多出个时间方便后面做elasticsearch同步
    1.png

    写一个elasticsearch查询的工具


    1.png

    基本的轮子框架已经写完了。
    1.png
    2.png
    3.png
    4.png
    大概就是这样了,已在github上公开,断断续续将近一个月才搞完
    大牛轻喷 这里先逃了~~~~


       
      

    补上git地址 https://github.com/cuijianxiong/websearch

    评分

    参与人数 4魔法币 +70 收起 理由
    Rocky + 5 感谢发布原创作品,i春秋论坛因你更精彩!.
    Noble_LzX + 5 感谢你的分享,i春秋论坛有你更精彩!.
    yyyxy + 30 感谢你的分享,i春秋论坛有你更精彩!.
    ONE_ + 30 感谢你的分享,i春秋论坛有你更精彩!.

    查看全部评分

    发表于 2017-5-11 09:03:26
      看看                                                               
    使用道具 举报 回复
    本帖最后由 a207426719 于 2017-5-10 11:22 编辑
    xiao11 发表于 2017-5-10 10:28
    加上个识别waf的,,,就更完美了。

    指纹识别加了  具体规则在scantool/tool/rule.py里   waf可以太耗费资源了  本来主机识别也想写来着
    使用道具 举报 回复
    本帖最后由 Krillin 于 2017-5-10 15:25 编辑

    楼主小心点,不要什么ip都扫,建议弄个白名单把敏感ip过滤了
    使用道具 举报 回复
    nuesoft 来自手机 i春秋-见习白帽 怎么修改i春秋的id呀
    推荐
    发表于 2017-5-16 08:57:54
    gncao 发表于 2017-5-11 09:03
    看看

    这很棒棒
    使用道具 举报 回复
    发表于 2017-6-15 02:06:18
    感谢发布原创作品,i春秋论坛因你更精彩!.
    使用道具 举报 回复
    发表于 2017-5-26 17:11:50

    感谢发布原创作品,i春秋论坛因你更精彩!.
    使用道具 举报 回复
    发表于 2017-5-10 08:01:46
    不错啊~~
    xss  交流群602221356  接收XSS爱好者
    使用道具 举报 回复
    发表于 2017-5-10 10:28:07
    加上个识别waf的,,,就更完美了。
    使用道具 举报 回复
    发表于 2017-5-10 11:08:13
    这个很牛啊
    使用道具 举报 回复
    发表于 2017-5-10 11:40:37
    没给 github 链接
    使用道具 举报 回复
    发表于 2017-5-10 11:56:07
    github链接呢
    使用道具 举报 回复
    发表于 2017-5-10 14:24:35
    谢谢分享
    使用道具 举报 回复
    发表于 2017-5-10 14:36:52
    66666666666666
    使用道具 举报 回复
    发表于 2017-5-10 15:12:37
    厉害了!~!~!~好好好
    使用道具 举报 回复
    发表于 2017-5-10 15:37:03
    这很nice啊
    使用道具 举报 回复
    谢谢分享
    使用道具 举报 回复
    谢谢分享
    使用道具 举报 回复
    发表于 2017-5-10 16:13:16
    可以的。。。。
    使用道具 举报 回复
    发新帖
    您需要登录后才可以回帖 登录 | 立即注册