推广 热搜: 行业  机械  设备    系统  教师  经纪  参数    蒸汽 

使用Python批量爬取并下载具有防盗链保护的文件

   日期:2024-11-10     移动:http://dh99988.xhstdz.com/mobile/quote/61091.html

封面图片:《Python程序设计实验指导书》,董付国编著,清华大学出版社

使用Python批量爬取并下载具有防盗链保护的文件

=================

第一步:确定要爬取的目标页面,以http://jwc.sdtbu.edu.cn/info/2002/5418.htm为例,使用浏览器打开,如下:

第二步:分析网页源代码,得到要下载的文件链接地址,如图:

第三步:编写代码,尝试直接获取文件地址并下载,出错,因为该网站有反爬设置,如图:

第四步:参考文中的描述,修改代码,模拟浏览器,如图:

运行代码下载到的文件:

打开下载后的文件,内容如下,这说明网站有防盗链功能:

第五步:继续修改代码,假装是使用浏览器从页面正常下载,完整代码如下:

本文地址:http://dh99988.xhstdz.com/quote/61091.html    物流园资讯网 http://dh99988.xhstdz.com/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


0相关评论
相关最新动态
推荐最新动态
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号