wordpress环境要求_Web指纹识别技术研究与优化实现

(2)据此作出判断。比如有的waf会在返回头中包含一些信息，比如，等等；

(3)根据-Webs、-nginx、、nginx-等中的信息进行判断；

(4)根据WWW判断，该字段可能存在于某些路由交换设备中，如h3c等设备。

4、部分URL中包含的关键词，如wp-、dede等关键URL特征

利用规则库检测是否有对应的目录，或者根据爬虫结果分析链接URL，或者检测.txt文件中的目录等，利用URL地址来判断是否使用了某个CMS 。例如 wp- 和 wp-admin 目录， 默认管理后端是 dede 目录，solr 平台可能使用 /solr 目录、wls-wsat 目录等。

5. 开发语言识别

常见的Web开发语言有PHP、jsp、aspx、asp等，常见的识别方法有：

(1)通过爬虫获取动态链接直接判断是比较简单的方法。

asp判别规则如下]*?href=('|")[^http][^>]*?\.asp(\?|\#|\1)。其他语言可以替换对应的asp 。

(2)通过X--By识别

比较常见的是 X--By: ASP.NET 或 X--By: PHP/7.1.8

(3)通过Set识别-

这种方法比较常见，速度也很快。例如，Set-包含php的描述、java的描述、ASP的描述。描述为aspx等。

指纹识别工具

在研究指纹识别技术时，不可避免地要分析大量的指纹识别工具。这里我就介绍一下我用过的几个我觉得不错的工具和平台。

国外指纹识别工具

（推荐指数★★★★★）

下载地址：

它是一款开源网站指纹识别软件，拥有超过1700+个插件。它可以识别的指纹包括cms类型、博客平台、网站流量分析软件、图书馆和网站服务器。它还可以识别版本号、电子邮件地址、帐户 ID、Web 框架模块等。

Whatweb 是基于 ruby 语言开发，因此可以安装在具备 ruby 环境的系统中，目前支持 Windows/Mac OSX/Linux。

在debian/ubuntu系统下可直接`apt-get install whatweb`,kali已自带。

使用起来非常简单。还可以添加参数-v来显示更详细的信息。

（推荐指数★★★★）

下载地址：

它是一款实用的跨平台网站分析工具，可以帮助开发人员、研究人员和设计人员检测网页上使用了哪些技术，以更好地衡量自己的项目中应该使用哪些技术。功能类似，可以检测内容管理系统（CMS）、电子商务平台、Web服务器、框架和安装的分析工具等。

您可以直接在火狐或火狐的应用商店中搜索并安装。目前，可识别65个类别1216个申请。查看可检测到的应用程序列表：

（推荐指数★★★★）

它是一款为开发的网页指纹识别程序。它还可以显示托管的CDN、插件、字体等，并且具有丰富的插件支持。

与安装类似，直接在应用商店搜索并安装即可。

安装完成后，使用插件图标即可获取服务的详细运行信息。效果如下。有时信息比较详细，但有时获取速度会慢一些。

（推荐指数★★★）

下载地址：

它是博客引擎的漏洞指纹识别和漏洞查找器。它可以识别版本并找到CVE。但是，如果无法访问，则某些功能可能会受到限制。基于该架构，使用Soup解析html和xml文件来识别网站使用的插件和版本。

使用 -i /usr/share//.txt 也更容易

（推荐指数★★）

下载地址：

它是一款Web应用指纹识别工具。该工具可以读取目标网站的特定静态文件，计算其对应的哈希值，然后与预先计算的哈希值进行比较，从而确定目标网站的类型和版本号。目前，该工具支持15种常见Web应用程序的数百个版本。同时还提供了和的各种插件。该工具还允许用户扩展它以添加更多版本支持。

不过这个软件的最新更新是在2013年，所以插件库应该算比较老的了。

请参考下载安装，kali中已经内置了。

使用命令： 。

国产指纹识别工具

御剑网页指纹识别方案

下载地址：

御剑网页指纹识别程序是御剑大师开发的一款CMS指纹识别工具。该程序是由.NET 2.0框架开发的。配置灵活，支持自定义关键词和正则匹配两种模式，使用简单，体验良好。 。在指纹命中方面表现不错，识别速度很快，但目前最明显的缺陷是指纹配置库比较少。

图形界面更加人性化，扫描速度稍慢，指纹数据库稍小，可以手动更新。

轻量级WEB指纹识别

下载地址：

轻量级WEB指纹识别程序是一款配置灵活、支持自行添加字典、使用简单、体验良好的CMS指纹识别小工具。指纹识别表现不错，识别速度也很快。指纹识别库可以手动更新，软件刚刚在2019.04年4月更新到新版本。

分布式WEB指纹识别平台

是一个分布式WEB指纹识别系统（包括CMS识别、js框架、组件容器、代码语言、WAF等）。管理员可以在WEB端添加/修改指纹，创建批量扫描任务，支持多种搜索语法。

安装和下载请参考：

手动安装有点复杂，但是作者提供了部署，方便多了。内置1800多个常用指纹，最多可识别538个常用CMS。当然，也可以手动添加指纹。

大宇指纹识别工具

下载地址：

“大鱼”是ac/s结构的jar文件工具。只需要在本地安装java环境并添加参数-u即可。具体参数设置请参考介绍。

下载地址：

可以快速、方便地识别WEB服务器类型、CMS类型、WAF类型、WHOIS信息、语言框架，并使用异步实现快速指纹识别。

识别速度比较快，但是指纹库不多。指纹库并不是基于md5之类的，而是类似于fofa，通过http头信息、关键字等进行快速识别。

作者对指纹进行了分类，比如摄像头、waf、cdn、网络设备等，很多指纹都是经过精心收集的。

下载地址：

WTF团队出品的指纹识别平台也包含了比较多的功能。除了指纹识别之外，还包括DNS解析、子域名、CDN、端口扫描、敏感目录等。

不过，单就指纹规则而言，并不多。您可以自行添加和改进，并修改 /wtf/app/api/cms/cms.txt 文件中的指纹。

基于fofa的快速检索规则库，lib/web.db中约有2000+条指纹数据，可以自行添加和修改。

下载地址：

还有一个类似的

好像是百度的MM用perl写的一个工具，调用了指纹识别的模块。

下载地址：

在线指纹识别

云熙指纹识别

指纹数据库非常强大且快速。我们的前端也模仿了夏云曦的界面，是免费的服务。好像还可以提供API接口，作为学习的例子！

指纹要是能开源就好了，哈哈~~

指纹识别

目前指纹似乎还比较少，而且很多都无法识别。

以前功能还好，现在好像只能查看信息。

上面介绍了这么多超级工具，我都不好意思写自己做的小废话了……大佬们，可以关闭这个页面了……

通过对各种识别对象、识别方法、识别工具的分析，我们发现每个人都有多种指纹库和识别方法。多采用传统的md5和url路径方式，识别信息的方式有很多种，但没有一款集大家之长的小工具。

于是我们做了一个小工具

https://github.com/TideSec/TideFinger

指纹数据库组织

我们收集了上述所有指纹软件，从中提取指纹库，进行统一格式化和去重，最终得到约2078条的传统指纹库。本来想把fofa库合并进去，但是发现格式差别有点大，所以就保留了fofa指纹库，并把一些指纹和fofa指纹合并了。这样就保留了两个指纹库。 cms指纹库是传统的md5和url库，大约有2078个指纹，可以通过关键字、md5、正则规则进行匹配。 fofa库是2119个指纹，主要是匹配和url信息。 。

指纹库优化

指纹数据库经过排序和去重后，每个指纹都被标记了命中率。当指纹匹配时，该指纹的命中率会增加1。使用指纹时，会优先使用命中率高的指纹。

然后我们从网上爬取了10万个域名并进行了命中率测试，然后对一些误报率比较高的指纹进行了重新优化，得到了一个相对更加高效的指纹数据库。

发现未知指纹

目前，新指纹的识别基本上依靠人工发现并分析规则后再添加。所以各个平台都有提交指纹的功能，但我们没有这样的资源，只能寻找其他方式。

于是我想到了一个比较笨的方法：从网站上爬取一些静态文件，比如png、ico、jpg、css、js等，提取出url地址、文件名，计算md5写入数据库，然后然后爬行到下一个网站。一旦发现相同的md5，则将新的URL添加到该记录中，并且提示值加1。这样，在爬取10万个网站后，可以得到使用相同md5文件的不同网站的更客观的数据。 。

获取链接代码部分

excludeext = ['.png', '.ico', '.gif','.svg', '.jpeg','js','css','xml','txt']

def getPageLinks(url):

    try:
        headers = requests_headers()

        content = requests.get(url, timeout=5, headers=headers, verify=False).text.encode('utf-8')
        links = []
        tags = ['a', 'A', 'link', 'script', 'area', 'iframe', 'form']  # img
        tos = ['href', 'src', 'action']
        if url[-1:] == '/':
            url = url[:-1]
        try:
            for tag in tags:
                for to in tos:
                    link1 = re.findall(r'<%s.*?%s="(.*?)"' % (tag, to), str(content))
                    link2 = re.findall(r'<%s.*?%s=\'(.*?)\'' % (tag, to), str(content))
                    for i in link1:
                        links.append(i)

                    for i in link2:
                        if i not in links:
                            links.append(i)

        except Exception, e:
            print e
            print '[!] Get link error'
            pass
        return links
    except:
        return []

有兴趣的可以查看具体的代码文件。

爬取结果如下：

当然，其中很多肯定是误报。例如上图中的第一个实际上是500错误页面，因此出现的频率更高。第二个是政府网站底部常见的“纠错”js，所以使用的还有更多...

经过一番分析和整理，我们还发现了一些小众CMS和建站系统的指纹，比如三一网络建站系统的.php，比如大汉JCM的.css等，我们会不断将这些新的指纹丰富到未来的指纹库。去。

指纹识别脚本

有了指纹库，识别脚本就比较简单，而且现有的一些也比较成熟。和 的一些代码是直接使用并集成和优化的，所以有。

1.功能逻辑比较简单。首先使用fofa库进行匹配，然后获取一定的值。如果cms无法识别，则返回结果。如果cms无法识别，则会调用cms规则库来匹配每条规则。

2.脚本支持代理模式。当设置了-p参数并且.txt文件包含代理地址时，脚本会随机调用代理地址进行扫描，以避免被阻止，但效率可能会较低。毕竟收集到的免费代理质量还是很差，而且速度也会慢很多。有钱人可以找个付费代理池，然后用不同的代理来请求每条规则，这样肯定不会被屏蔽！

收集代理地址可以使用我修改的另一个代理池，提供自动化代理IP抓取+评估+存储+展示+接口调用。

3、经测试，一个网站跑完所有指纹一般需要30秒左右。一些响应缓慢的网站可能需要更长的时间。这可以通过设置网站超时来控制。

安装依赖库

pip install lxml
pip install requests
pip install bs4

说明：sqlite3库在Python 2.5.x 以上版本默认自带了该模块，如提示sqlite3出错请自行排查。

执行脚本

$ python TideFinger.py

    Usage: python TideFinger.py -u http://www.123.com [-p 1] [-m 50] [-t 5]

    -u: 待检测目标URL地址
    -p: 指定该选项为1后，说明启用代理检测，请确保代理文件名为proxys_ips.txt,每行一条代理，格式如: 124.225.223.101:80
    -m: 指纹匹配的线程数，不指定时默认为50
    -t: 网站响应超时时间，默认为5秒

指纹识别界面如下：

指纹识别平台

有了指纹库和识别脚本之后，我们想继续完善这个功能，所以我们增加了一些其他的功能，就有了这个在线指纹查询平台。

起初我想添加很多，但后来我不得不在速度和时间上做出一定的权衡，所以我们有以下功能。

1、网站信息：网站标题、状态码、302跳转信息等；

2. IP地址信息：IP位置、IP服务提供商信息、GPS信息；

3、CDN识别：检测目标是否使用CDN，但目前CDN识别指纹并不多。对于某些被标识为使用 CDN 的目标，将列出 CNAME；

4.中间件识别：主要通过http头信息中的XPB等字段获取中间件信息，如nginx、iis等；

5、更多：主要是打电话，获取更多信息，比如等等；

6、操作系统识别：识别比较简单。要看ttl值和文件大小写是否敏感...用nmap识别太慢了...

7、本来增加了子域名发现、端口扫描、WAF检测等，但发现时间比较长，而且IP容易被封，所以去掉了。

该团队并不专门从事前端工作。云兮的界面比较美观，所以我们参考了云兮和的界面布局。老大别打我们……我们用TP5框架是因为平台的功能比较低，以免被批评。源代码已发布。

您可以尝试一下并向我们提供您的反馈。

注册需要验证码。关注我们的公众号回复“潮汐指纹”即可强行拉流量O(∩_∩)O哈哈

需要解决的问题

1、继续完善指纹数据库：这是一项长期工作。希望我们能够坚持下去。我们将继续开源最新的指纹数据库。希望大家有好的资源都可以贡献一份力量。

2、代理问题：虽然集成了代理功能，但实际使用表明采集到的免费代理质量仍然较差，速度也会慢很多。

3、IP会被屏蔽：有些网站防护对目录枚举或某些路径非常敏感，会屏蔽IP地址；