开源可视化网络爬虫工具EasySpider使用介绍

EasySpider是一个可视化爬虫软件，可以使用图形化界面，无代码可视化的设计和执行爬虫任务。只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和执行。同时软件还可以单独以命令行的方式进行执行，从而可以很方便的嵌入到其他系统中。官网提供了详细的视频教程：

一、下载安装EasySpider

支持Windows、MacOS、Linux系统安装。

下载地址：https://github.com/NaiboWang/EasySpider/releases

下载完成后，如下图所示（macos安装为例）：

二、测试获取ebay网站数据

1、设计任务

1）打开EasySpider主程序

2）点击【中文】

3）点击【设计任务】

然后这里选择【使用纯净版浏览器设计】，无需用户登录信息。

4）进入EasySpider设计窗口，大概过5秒钟后，会同时打开一个浏览器窗口

[XJK}4YHS]Q`PFB1{2~NU$S.png

5）点击【新建任务】，输入ebay网址地址https://www.ebay.com，点击【开始设计】，打开ebay官网

6）输入搜索关键字：右击搜索框，点击【输入文字】按钮；输入搜索关键字，然后点击【确定】按钮

7）搜索：右击【搜索】按钮，点击【点击该按钮】，搜索出关于关键字“手机”的所有商品

此时会发现EasySpider主窗口的设计面板，会多出输入文字、点击元素两个动作，表示刚才的操作被加入当前任务队列中了。

8）采集标题：右击手机商品的标题，点击【选择全部】，这时所有的商品的标题都会选中；点击【采集数据】，则采集当前页面的手机商品标题的任务会被加入队列中

这时可以看到EasySpider主窗口的设计面板，又有新的任务加入。

9）循环点击下一页：页面滚动至底部，可以看到分页按钮；右击【下一页】按钮，点击【循环点击该链接】按钮

10）通过【剪切元素】调整任务顺序，实现循环点击下一页并循环相应页面的所有商品标题

最终采集步骤如下所示：

11）保存设计任务，关闭设计窗口，返回首页

2、执行任务

1）回到EasySpider首页，点击【查看执行任务】

2）点击【任务信息】

3）点击【调用任务】

4）修改执行任务条件，点击【本地直接执行】按钮；复制弹框里的执行脚本

5）打开easyspider_executestage程序，粘贴步骤5生成的脚本，然后静静地等待任务执行完成

6）最终获取的数据文件会保存在Data目录下

来源今日头条，作者：好呀鱼

特别声明：
1、如无特殊说明，内容均为本站原创发布，转载请注明出处；
2、部分转载文章已注明出处，转载目的为学习和交流，如有侵犯，请联系客服删除；
3、编辑非《源码码网》的文章均由用户编辑发布，不代表本站立场，如涉及侵犯，请联系删除；

全部评论(0)

推荐阅读

bootstrap ui框架能用在uniapp中吗？
BootstrapUI框架通常是前端开发中的一种工具，它提供了一套预定义的CSS样式和组件，用于快速构建响应式布局的网页。然而，UniApp是一个使用Vue.js开发跨平台应用的框架，它可以用来开发iOS、Android、以及各种小程序和H5应用。
互动社区
来源：源码码网
编辑：热度建站
时间：2024-04-12 00:04
阅读：267

css实现banner图由中心点动态放大效果
在日常的网页设计中，为了让网页增加一定的特效以达到交互的目的，我们尝尝会在网页中使用一些动画效果。今天来说说实现banner图由中心点动态放大效果，实现这个效果需要用到css中的动画：animation和关键帧：@keyframes，具体示例如下：
源码教程
来源：源码码网
编辑：源码码网
时间：2024-04-11 18:52
阅读：278

countUp.js实现鼠标滑动到某个位置数字自动滚动增加的效果
在网页开发中为了提升网页的交互效果，经常会用到使用js给网页增加一定的特效，下边就来说说使用js实现鼠标滑动到某个位置数字自动滚动增加的效果。其实这种效果有很多中解决办法，自己也可以去写，下边我们借助countUp.js来实现，关于这个js文件，我放在末尾：
源码教程
来源：源码码网
编辑：源码码网
时间：2024-04-08 09:20
阅读：365

响应式网页设计思路及注意事项
一、什么是响应式网页响应式网页设计就是让网页具有根据设备类型应用CSS样式的能力。设计：设想、计划。设计就是把想法实现。网页设计：按照一定的设计思路布局网页内容。传统网页设计：都是针对PC端浏览器而设计的，不具备查询设备的能力，更不能对多种访问设备做出响应。传统网页设计的弊端：在移动互联网时代，传统的网页设计不适合多屏幕时代。响应式网页设计应运而生。响应式网页设计是一种设计网页的思想/方法。响应：指让我们的网页能够自动查询用户的访问设备
源码教程
来源：源码码网
编辑：源码码网
时间：2024-04-02 11:24
阅读：260

css中rel的属性值都有哪些，分别代表什么意思
在HTML中，元素的rel属性用于定义当前文档与被链接文档之间的关系。这个属性在CSS的上下文中经常与样式表关联，但rel属性的用途远不止于此。以下是一些常见的rel属性值及其意义：1、stylesheet：表示被链接的文档是一个样式表。这通常用于链接CSS文件。
源码教程
来源：源码码网
编辑：源码码网
时间：2024-03-28 12:28
阅读：388