本文目录一览：
- 1、有哪些好用的爬虫软件?
- 2、渗透测试工具的渗透测试工具
- 3、爬虫工具是什么
- 4、web渗透测试工具
有哪些好用的爬虫软件?
推荐如下：
1、神箭手云爬虫。
神箭手云是一个大数据应用开发平台，为开发者提供成套的数据采集、数据分析和机器学习开发工具，为企业提供专业化的数据抓取、数据实时监控和数据分析服务。功能强大，涉及云爬虫、API、机器学习、数据清洗、数据出售、数据订制和私有化部署等。
2、八爪鱼
八爪鱼数据采集系统以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
3、集搜客GooSeeker
GooSeeker的优点显而易见，就是其通用性，对于简单网站，其定义好规则，获取xslt文件后，爬虫代码几乎不需要修改，可结合scrapy使用，提高爬取速度。
简介：
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
渗透测试工具的渗透测试工具
通常的黑客攻击包括预攻击、攻击和后攻击三个阶段；预攻击阶段主要指一些信息收集和漏洞扫描的过程；攻击过程主要是利用第一阶段发现的漏洞或弱口令等脆弱性进行入侵；后攻击是指在获得攻击目标的一定权限后，对权限的提升、后面安装和痕迹清除等后续工作。与黑客的攻击相比，渗透测试仅仅进行预攻击阶段的工作，并不对系统本身造成危害，即仅仅通过一些信息搜集手段来探查系统的弱口令、漏洞等脆弱性信息。为了进行渗透测试，通常需要一些专业工具进行信息收集。渗透测试工具种类繁多，涉及广泛，按照功能和攻击目标分为网络扫描工具、通用漏洞检测、应用漏洞检测三类。
爬虫工具是什么
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。中文名网络爬虫外文名 web crawler 别称网络蜘蛛目的按要求获取万维网信息产生背景随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如： (1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。 (2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。 (3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。 (4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。
web渗透测试工具
第一个：NST
NST一套免费的开源应用程序，是一个基于Fedora的Linux发行版，可在32和64位平台上运行。这个可启动的Live
CD是用于监视、分析和维护计算机网络上的安全性;它可以很容易地将X86系统转换为肉机，这有助于入侵检测，网络流量嗅探，网络数据包生成，网络/主机扫描等。
第二个：NMAP
NMAP是发现企业网络中任何类型的弱点或漏洞的绝佳工具，它也是审计的好工具。该工具的作用是获取原始数据包并确定哪些主机在网络的特定段上可用，正在使用什么操作系统，以及识别特定主机的数据包防火墙或过滤器的不同类型和版本正在使用。NMAP对渗透测试过程的任何阶段都很有用并且还是免费的。
第三个：BeEF工具
BeEF工具主要利用移动端的客户，它的作用是用于检查Web浏览器，对抗Web抗击。BeEF用GitHub找漏洞，它探索了Web边界和客户端系统之外的缺陷。很重要的是，它是专门针对Web浏览器的，能够查看单个源上下文中的漏洞。
第四个：Acunetix Scanner
它是一款知名的网络漏洞扫描工具，能审计复杂的管理报告和问题，并且通过网络爬虫测试你的网站安全，检测流行安全漏洞，还能包含带外漏洞。它具有很高的检测率，覆盖超过4500个弱点;此外，这个工具包含了AcuSensor技术，手动渗透工具和内置漏洞测试，可快速抓取数千个网页，大大提升工作效率。
第五个：John the Ripper
它是一个简单可快速的密码破解工具，用于在已知密文的情况下尝试破解出明文的破解密码软件，支持大多数的加密算法，如DES、MD4、MD5等。