python爬虫爬网页时遇到网页重定向怎么办(2)-木庄网络博客

①使用xpath('//meta[@http-equiv="refresh" and @content]/@content')提取出content的值

②使用正则表达式提取出重定向的url值。

3、js 重定向，通过JavaScript代码形式进行重定向。如下面JavaScript代码

1	`<script language=javascript>window.location.href='http://www.redirectedtoxxx.com'</script>`

网页包含内容这种情况是最容易解决的，一般来讲基本上是静态网页已经写死的内容，或者动态网页，采用模板渲染，浏览器获取到HTML的时候已经是包含所有的关键信息，所以直接在网页上看到的内容都可以通过特定的HTML标签得到javascript代码加载内容，这种情况是由于虽然网页显示时，内容在HTML标签里面，但是其实是由于执行js代码加到标签里面的，所以这个时候内容在js代码里面的，而js的执行是在浏览器端的操作，所以用程序去请求网页地址的时候，得到的response是网页代码和js的代码，所以自己在浏览器端能看到内容，解析时由于js未执行，肯定找到指定HTML标签下内容肯定为空，这个时候的处理办法，一般来讲主要是要找到包含内容的js代码串，然后通过正则表达式获得相应的内容，而不是解析HTML标签。

更多Python相关技术文章，请访问Python教程栏目进行学习！

以上就是python爬虫爬网页时遇到网页重定向怎么办的详细内容，更多文章请关注木庄网络博客！！

返回前面的内容