有什么工具可以抓取动态网页内容的吗？

lwabala · 发表于 2015-4-2 17:37

就是那种一路滚下去会不断加载内容的网页，刚才用IDM的站点抓取只能抓到刚载入的内容...
不知道现在有没有什么简单的工具？

10后 · 发表于 2015-4-2 17:38

提示: 作者被禁止或删除内容自动屏蔽

lwabala · 发表于 2015-4-2 18:20

10后发表于 2015-4-2 17:38
Wget写个脚本

----发送自 HUAWEI X1 7.0,Android 4.4.2

啥？Wget？

那是什么？

小林立 · 发表于 2015-4-2 18:55

往下滚不断加载内容的网页，说明人是ajax方式在传数据，你得找到数据传输的链接才行
比如京东这个
http://m.jd.com/products/1315-13 ... ac33802aafcd5ce9d88
你抓这个地址只能抓到第一页，实际上你往下滚，它后台给你传数据的地址是
http://m.jd.com/products/1315-13 ... 8&_format_=json

你需要抓的是后面一个页面才成

董卓 · 发表于 2015-4-2 19:21

PhantomJS加几句滚动到底和setTimeout
stackoverflow.com/questions/16561582/how-to-scroll-down-with-phantomjs-to-load-dynamic-content

lwabala · 发表于 2015-4-2 19:26

喂喂你们说的都是什么！我一个都听不懂

hein · 发表于 2015-4-2 19:40

lwabala 发表于 2015-4-2 19:26
喂喂你们说的都是什么！我一个都听不懂

所以说，要稍微学习一下。

		自动登录	找回密码
密码			立即注册

10后 10后当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2011-4-3 头像被屏蔽	发表于 2015-4-2 17:38 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

[网络] 有什么工具可以抓取动态网页内容的吗？