GitHub关键字扫描工具

  • A+
所属分类:网络安全工具

GitHub关键字扫描工具

前言

网络上多次爆出的GitHub泄露企业敏感信息事件,说明企业安全中GitHub关键字扫描是很关键及重要的安全基础建设,我用了一些事件针对不同类型的GitHub扫描开源产品作了一些测试调研,与大家分享。

一、GitHub搜索接口

github给出了在代码找中搜索关键字的API,并且定义默认只搜索主分支代码,也就是master这个分支,只有小于384KB的文件才能被搜索。

在官方举例中:

  1. https://api.github.com/search/code?q=addClass+in:file+language:js+repo:jquery/jquery

q 表示为关键字;

in:file 表示为在文件中搜索(在文件目录中则是in:path,);

language 表示语言为JavaScript;

repo 表示为在jquery/jquery存储库中搜索;

API还提供了搜索结果展示的功能,在请求的时候带上请求头:

  1. curl-H'Accept:application/vnd.github.v3.text-match+json'\https://api.github.com/search/code?q=addClass+in:file+language:js+repo:jquery/jquery

二、开源工具介绍

网络上有很多GitHub扫描的开源工具,我的需求是:及时告警、扫描全面、可视化展示,经过一些测试对比后,推荐两款部署方便、配置简单的工具:

  1. GSIL(https://github.com/FeeiCN/GSIL)
  2. Hawkeye(https://github.com/0xbug/Hawkeye)
  1. 2.1 GSIL介绍
  2. 原理:
  3. 登录配置:采用token(https://github.com/settings/tokens),使用PyGithub库。
  4. 进行API调用(http://pygithub.github.io/PyGithub/v1/introduction.html)。
  5. 搜索范围:默认搜索前200个项目,最大5000(github限制)。
  6. 过程:通过API(/search/code)搜索规则文件rules.gsil中提交的关键字,然后分析得到的json结果,默认展示前30个相关项目。
  7. 扫描配置:在配置文件中会过滤一些作者认为无用的路径,可以根据实际情况屏蔽一些

2.2 Hawkeye介绍

扫描原理前面已经简单介绍过了,Hawkeye由于拥有图形化界面,因此可以和GSIL搭配使用,我通常将GSIL扫描出来的账号,作为重点关注对象,配置更加详细的策略来监测。

三、总结

GitHub关键字扫描还有很多其他的开源工具,比如比较轻量级的gitpprey,还有小米研发的X-patrol,从安装环境要求、配置功能实现、部署难易程度入手,就能找到一款适合企业环境的开源扫描工具。再加上一些二次开发的话,基本可以保障一些触及关键字的GitHub信息泄露能被及时的发现与删除。

  • CE安全网微信群
  • weinxin
  • CE安全网QQ群
  • weinxin
CE安全网

网络安全宣传推广

发表评论

您必须登录才能发表评论!