java爬虫框架介绍:Heritrix优势劣势
爬虫框架介绍 Heritrix 优势劣势简单demo地址 crawler4j 优势劣势简单demo地址 WebMagic 优势劣势简单demo地址 快速入门 seimicrawler项目地址简单爬虫实现 导入项目编写爬虫启动爬虫 同系列文章
(资料图片仅供参考)
爬虫框架介绍
java爬虫框架非常多,比如较早的有Heritrix,轻量级的crawler4j,还有现在最火的WebMagic。 他们各有各的优势和劣势,我这里顺便简单介绍一下吧。
Heritrix
优势
java的第一批爬虫框架,拥有独立的后台页面,可以实现界面操作去爬去网页。
劣势
相对其他框架,代码相对臃肿,上手难度较高,解析网页不如其他框架灵活。
简单demo地址
https://github.com/a252937166/Heritrix
crawler4j
优势
代码相当轻量级,可实现多线程爬取,上手难度低。
劣势
封装程度太低,很多功能需要开发者自己封装实现,多线程下,很容易重复爬取相同资源。
简单demo地址
https://github.com/a252937166/crawler4j
WebMagic
优势
这框架我们公司在用,各方面都比较完美吧,上手难度低,社区活跃度也较高,有问题可以得到及时反馈。
劣势
没有持久层框架的封装,需要自己实现。
简单demo地址
这个框架我没有自己的demo,大家可以去开发者的GitHub看看 https://github.com/code4craft/webmagic
快速入门
seimicrawler
我这里推荐使用seimicrawler,个人感觉这个框架配合JsoupXpath,解析网页真心非常方便,而且框架整合了spring,用起来也很顺手。
项目地址
中文官网地址:http://seimicrawler.org/ 官方Github地址:https://github.com/zhegexiaohuozi/SeimiCrawler 自己修改项目地址:https://github.com/a252937166/seimicrawler/
简单爬虫实现
导入项目
下载源码,解压后把demo目录的文件单独拿出来,project目录不用管,里面是这个框架的一些源码,demo直接maven依赖它就可以了。 以maven的形式,导入demo,等待jar拉取玩,项目不报错就说明导入成功了。
编写爬虫
打开crawlers文件夹,里面每个文件都是一个爬虫,我们可以学习一下Basic,这是开发者写的最简单的爬虫demo,其他的都可以以此内推。
package com.ouyang.crawlers;import cn.wanghaomiao.seimi.annotation.Crawler;import cn.wanghaomiao.seimi.def.BaseSeimiCrawler;import cn.wanghaomiao.seimi.struct.Request;import cn.wanghaomiao.seimi.struct.Response;import cn.wanghaomiao.xpath.model.JXDocument;import java.util.HashMap;import java.util.List;import java.util.Map;/** * @author 汪浩淼 [et.tw@163.com] * @since 2015/10/21. */@Crawler(name = "basic")public class Basic extends BaseSeimiCrawler {@Override public String[] startUrls() { //两个是测试去重的 return new String[]{"http://www.cnblogs.com/","http://www.cnblogs.com/"}; } @Override public void start(Response response) { JXDocument doc = response.document(); try { List
标签:
相关推荐:
最新新闻:
- 计算机b级英语翻译 英语B级考试翻译必备常用短句
- java爬虫框架介绍:Heritrix优势劣势
- 【科研必备】初中数学符号及读法大全(收藏版)
- 《自杀小队:战胜正义联盟》4人合作游玩演示视频-全球热议
- 亚马逊雨林求生游戏《绿色地狱VR》将支持PSVR2:热资讯
- 小米红米高性能笔记本特价仅需4499元-环球精选
- 游戏玩家必备!京东京造三模游戏鼠标仅229元
- 环球即时看!27寸4K办公 红米显示器不到1500
- 27寸2K 300Hz超高刷新 华硕ROG推出电竞新品 环球简讯
- 全球观察:又来忽悠?消息称苹果表将能无伤测量血糖
- 《THE FINALS》增加PS5/XS版 PC版封测3/7-21进行 快报
- 《死亡岛2》3月2日23点公开实机演示 一场杀戮将临
- AMD R9 7945HX大放异彩 16核心打平Intel 24核心|焦点简讯
- 趁热打铁!曝剧版《霍格沃茨之遗》制作中:前沿资讯
- 《极限竞速:地平线5》“拉力冒险”新扩展包公布
- 火影20周年作品《鸣人X博人究极忍者风暴连接》公布
- 支持8K!凯宠TypeC线100瓦只要29.45元
- 热门看点:百万英里 Cruise无人驾驶汽车达成里程碑
- 个人辞职模板格式-个人辞职模板:天天看热讯
- 全国有6亿栋房屋?飙上热搜!百亿新冠自测公司暴跌99.6%,曾是美国"第一"!企业月薪4万招人去养鸡…
- 联想小新黑屏死机成投诉重灾区 QQ维权群已有近千人:动态焦点
- "姐夫"要回来啦!《守望先锋》原班人马组建新工作室
- 《原子之心》PC平台性能分析:多种配置下流畅运行-环球今亮点
- Fami通新一周销量榜 《霍格沃茨之遗》继续登顶 环球热资讯
- Fami通满分神作 《428:被封锁的涩谷》Steam 27元促销
- 世界视点!B社确认三上真司即将离职:感谢他的贡献
- 拒绝美式霸凌!Xbox称10年的COD合约派对大家都能参与
- 每日消息!明基E540智能商务投影机 让我从此爱上开会!
- 首个香港直航山东旅游团来青,点名要去老城区看看 环球头条
- 徐工晒《流浪地球2》“化缘”记录 网友:一眼诈骗 当前快播
- 《八方旅人2》发售倒计时1天!商人小队邀您上号游戏
- 三上离开后动向猜测 可能成立一家中国投资的工作室
- 尼克尔Z 400mm f/4.5 VR S荣膺DPReview读者选择最佳定焦镜头奖
- 《龙之谷》官宣将推出回忆服 首曝内容宣传片
- 雷蛇继续推出2023款灵刃15游戏本, i7+RTX 4060版卖19999元|全球今日报
- 世界信息:《最后生还者》幕后花絮:乔尔骑的马竟然是假的!
- 【天天热闻】影驰星曜DDR5 6800MHz内存开售,纯白系列再添一员
- 三上真司即将离开B社-全球讯息
- 硬核!为防95后员工摸鱼 山东一公司办公桌旁装监控-头条焦点
- 天天最新:《霍格沃茨之遗》或将有续作?华纳想打造成长期IP
- 环球新资讯:人间烟火气!梧州这条苍海特色网红街区,你有去打卡过吗?
- 联想个人云A1仅售749元,内置3TB硬盘,附赠爱奇艺白金会员年卡
- 雷蛇灵刃新款开售,搭载RTX 40系显卡+i7-13800H
- 搭载骁龙8 Gen 2处理器!索尼Xperia 5 V跑分曝光 世界热消息
- 影驰HOF Pro DDR5系列内存开售,最高32GB 8000MHz 天天播报
- 魅族20 Pro配置曝光:主摄5000万像素、搭载二代骁龙8处理器-环球热消息
- 新资讯:清水崇日恐电影新作《忌怪岛》新卡司公开 6月16日上映
- 全球播报:厨师模拟游戏《厨师生涯》发布新预告 今日发售
- 战神开发商恭喜《地平线:山之召唤》发售:奎爷戴上PSVR2
- 新资讯:韦伯太空望远镜发现“本不应存在”星系 可能颠覆人类认知
- 全球播报:厨师模拟游戏《厨师生涯》发布新预告 今日发售
- 世界视点!跨境电商系统积加ERP,独立部署账号数据安全满级
- 搭载12代i5处理器!小米RedmiBook Pro 14 2022款4599元入手:资讯推荐
- 观天下!Gartner发布至2025年影响技术提供商的首要趋势
- 小米13 Ultra手机壳曝光,摄像模组有8个开孔 关注
- 米哈游向推特发出传票 要求透露《原神》泄密者信息-全球观点
- 《达荷美女战士》确认引进!黑人女战士勇斗侵略者
- 报道:《塞尔达传说:荒野之息》含DLC卡带同捆补货!曾被炒至近千元
- 《愿景之城》:建设你的理想城市|环球热点评
- 玩家曝料停服一个月暴雪不着急 两家中国公司抢破头
- 持证上岗 128位《王者荣耀》KPL选手通过职业技能考试:世界观速讯
- opt嫩肤美容步骤_opt祛斑嫩肤
- 【天天热闻】下单立减30元!华硕主板CPU套装低至1299元
- 奔驰官宣自研OS:抖音装入车机
- 帅丰集成灶售后怎么样?看看用户怎么说
- 王者荣耀花木兰-燃星之曲皮肤上线,多款热门皮肤开启免费玩 世界新资讯
- 9599元,索尼FE 50mm F1.4 G大师镜头开售|环球精选
- wrf文件怎么打开?wrf文件打开的方法
- 联想b40-30笔记本怎么样?联想b40之联想b40-30测评及报价
- 天天快资讯:微信支付密码怎么改?微信密码改方法
- 吸顶灯有哪些品牌?吸顶灯品牌推荐介绍-环球播资讯
- 阴阳师帚神哪里多?阴阳师帚神哪里多速刷攻略大全
- 【傲游】Maxthon:超级技巧五则
- 筑龙暖通丨通风与空调工程施工质量验收规范
- 世界速递!最新版飞秋下载:局域网内即时通信软件
- 数学不及格的概率是多少?常见的概率公式总结
- 为什么美股没有涨?币市还会哗啦啦下跌?-焦点关注
- 《原神》公布迪希雅角色PV:沙际晨光 快资讯
- 《霍格沃茨之遗》销量不俗 华纳披露多项玩家数据
- 世界热文:传iPhone 15 Pro有望配置8GB运行内存 自12代以来首次增量
- 传闻:三上真司将离开Tango Gameworks 热点聚焦
- 世界热点!小米13 Ultra手机壳曝光:后置圆形四摄,最强影像旗舰
- 环球今日报丨读速高达5000MB/s!2TB PCI-E4.0固态硬盘低至799元
- 1099元买32寸4K超窄边框显示器
- 全球最新:展会复苏,2023年上海国际智慧停车展览会强势回归!