携程

火车头使用Post方法采集Ajax页面教程_我的网站

杀破狼

一 |

　阿里云优惠券先领券再下单前面有写过一篇瀑布流的采集方法，今天在添加一个POST方法来采集Ajax刷新页面的教程。之前的文章请看：火车头采集动态加载Ajax数据（无分页瀑布流网站）如果遇到POST方法来架子Ajax数据，这和我之前写的是两个类型，瀑布流是直接刷新出数据的页面。

直播吧4月21日讯中超第8轮比赛，浙江队客场0-2不敌津门虎。采集网站分析采集任何一个新站前我们都要对他进行一番分析才好下手。列表页分析这个网站的列表页，前面并不是通过Ajax加载的。赛后，《足球报》发文点评了浙江队的现状和此役的表现。CTRL+U可以直接看到列表内容，通过浏览器也看不到相关请求地址。

送出一个乌龙、一个点球，自己点球不进，浙江绿城0比2败走天津。

二 |

因为习惯原因，我直接看了下尾页列表页。然后顺手CTRL+U看看网站代码结构有没有大的变化。防止后期采集出错。

三 | 结果就发现无法看到列表内容。

四 | 浏览器可以看到一个通过post请求的地址。

这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。尽管接下来需要尽力解脱和继续负担的，比任何对手都更为沉重，但度过了艰辛而又漫长的一周后，这支全力出击的球队正在全力振作。“感谢全体球员在俱乐部困难时刻的付出，感谢每个人的拼搏。”主教练卡内达赛后说，“除了两个失误以外，防守比较稳固，对手没有太多机会。通过笨方法，手动访问页面看看Ajax加载大概是哪些。最后找到大概从2200页左右开始Ajax加载。这场比赛攻守平衡，总体来说比较精彩。”

上一轮比赛赛后，浙江FC俱乐部发布公告，确认了球员不幸去世的消息，并“向其家人致以沉痛的哀悼”；次日，中国足协和中足联发布公告向布彭扎致哀，同时表达了对其家人和亲友的慰问，对逝者竞技水平、专业素养和工作贡献的敬意……与此同时，来自球迷、球员、同行的哀悼怀念，关于逝者死因的传言、推测、不解，至今未曾消散。那我们采集的时候，前面的列表页就可以使用普通方式去采集（速度更快）。 2200页开始到尾页就通过post请求Ajax页面数据。

生活仍要继续，比赛仍需进行。抓包获取Post数据这个Ajax地址我在浏览器看不到任何跟页码有关的数据。

五 | 最后只能使用抓包工具看一下详细的请求内容了。

六 |

使用抓包工具Fiddler Fiddler下载地址：OneDrive-Fiddler-Setup_v5.0.20204.45441.zip 安装设置完成后我们打开浏览器。重新访问一下采集页面，Fiddler会抓到很多请求地址。查看分析Post数据 Ctrl+F 我们搜索那个Ajax地址火车头使用Post方法采集Ajax页面教程

Fiddler会以黄色将搜索到的结果显示出来，我们点击一下他。

18日上午，浙江绿城在训练前进行了哀悼。据俱乐部官方发布的消息，午饭后，部分球员和工作人员接受了“专业机构的心理疏导”，当晚，全队从杭州飞往天津客场。

七 |

在Fiddler右侧会显示这个请求地址的相关详细信息。

八 |

信息顶部可以看到是post请求方法。这一次，除了队长弗兰克继续养伤，余下外援卢卡斯、奥乌苏、埃弗拉全部随队赴津——9号布彭扎留下的空白如何填补？至少目前还没有答案。可以看到有我们请求的页码相关内容。

4月20日晚，客队浙江队球员臂缠黑纱出场。面对以逸待劳、主力复出的津门虎，卡内达确实在攻防两端费了很多心思。

九 |

访问不同页码的页面，经过研究发现规律。卢卡斯重新披挂上阵，与刘浩帆、梁诺恒重组三中卫；汪士钦的位置前移至左边翼卫，程进、李提香和童磊坚守原先的岗位，孙国文的位置则有所前移；前锋线上，18岁的王钰栋俨然成为不能轻易作出变动的主角，他的搭档又换了人，上次是陶强龙，这一回是外援奥乌苏。

十 |

上半场两队0-0互交白卷。

currentPageIndex的值和页码相关，值等于页码减一。我们访问6139页时，currentPageIndex值是6138。这就找到了规律，我们打开火车头采集器。下半场开场不久，门柱帮过浙江队一次忙，但场上的均势开始向主队倾斜，而且难以逆转。火车头采集器配置分页设置起始网址填入Ajax请求地址

点“高级模式”。

点“分页设置”，http请求方式“post”。

把我们Fiddler抓包获取的内容填进去。

将currentPageIndex值的内容替换成火车头采集器的“分页”标签。

下面填入页码。第81分钟，对手在禁区腹地起脚射门，站位恰当的卢卡斯却打进了一个乌龙球；第89分钟，李提香禁区内争抢落点时造成手球，又给了对手一个点球。虽然在比赛临近终点时两球落后、失利已经不可避免，但客队在伤停补时阶段仍未放弃。页面地址是从2200到6140，上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。所以这里面我们填2199到6139.

网址获取选项设置为了筛选出我们需要的内容，我们设置一下网址获取选项。

十一 | 打开浏览器F12开发工具，预览一下Ajax获取的内容。第96分钟，埃弗拉在主队禁区争回一个点球，卢卡斯挺身而出，却一脚罚失。

让卢卡斯和李提香造成失分、酿成错误的，归根到底是他们身上的责任感。这种情况下，没有人会责怪他们。队长程进赛后接受采访时说，这场比赛他们没有任何遗憾，“我为队友和教练组感到骄傲，我们度过了非常艰难的一周。虽然只是一周，但我们感觉就像三个月那么漫长。

十二 |

可以看到链接的形式是自考成考报名条件有哪些？完整的链接地址是 https://域名/chengrenzikao/20200611152022.html 那我们就可以使用下面的规则提取地址。

十三 | ”

终场时，“浙江队！浙江队……”的呐喊声在客队看台再次响起。布彭扎永离赛场、永别人世的现实，球队上下正在努力适应，球迷也需要时间适应眼前的变化。

    我们测试一下网址采集。
十四 |     测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。
    可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。不过，球队在天津客场比赛所表现出的积极态度，让程进和他们的球迷都感到欣慰。

4月27日晚，四轮不胜的浙江绿城将回到黄龙体育场，迎来下一个对手青岛西海岸。

注意事项采集过程注意运行线程和请求间隔时间。教程在测试时因为开的线程较多，频率过高导致对方网站开启了防CC设置。拉黑了我一个服务器IP，此教程写完用了两台服务器。再有一周的时间进行调整，“相信我们俱乐部上下会重新站起来，以崭新的面貌去迎接后面的比赛。我们实际采集可以只开1个线程，并设置合适的间隔时间，比如1000ms到1500ms左右。本文来自2号站长网，转载请注明出处：https://www.zz2zz.com/331414.html

申请创业报道，分享创业好点子。