怎么利用PHP抓取百度阅读

作者:袖梨 2022-06-24

抓取方法如下

首先在浏览器里打开阅读页面,查看源代码后发现小说的内容并不是直接写在页面里的,也就是说小说的内容是通过异步加载而来的。

于是将chrome的开发者工具切到network一栏,刷新阅读页面,主要关注的是XHR和script两个分类下。

经过排查,发现在script分类下有个jsonp请求比较像是小说内容,请求的地址是

http://wenku.baidu.com/content/49422a3769eae009581becba?m=8ed1dedb240b11bf0731336eff95093f&type=json&cn=1&_=1&t=1423309200&callback=wenku7

返回的是一个jsonp字符串,然后我发现,如果把地址里面的callback=wenku7去掉,返回的就是一个json字符串,这样解析起来就方便不少,可以直接在php里面转换成数组。

再来分析一下返回数据的结构,返回的json字符串之后是一个树状的结构,每个节点都有一个t属性和c属性,t属性用来指明这个节点的标签,比如h2 div等等,c属性就是内容了,但也有两种可能,一个是字符串,另一个是数组,数组的每个元素都是一个节点。

这种结构最好解析了,用一个递归就搞定

最终代码如下:

classBaiduYuedu {

 protected$bookId;

 protected$bookToken;

 protected$cookie;

 protected$result;

 publicfunction__construct($bookId,$bookToken,$cookie){

  $this->bookId =$bookId;

  $this->bookToken =$bookToken;

  $this->cookie =$cookie;

 }

 publicstaticfunctionparseNode($node){

  $str=''

  if(is_string($node['c'])){

   $str.=$node['c'];

  }elseif(is_array($node['c'])){

   foreach($node['c']as$d){

    $str.= self::parseNode($d);

   }

  }

  switch($node['t']){

   case'h2':

    $str.="nn";

    break;

   case'br':

   case'div':

   case'p':

    $str.="n";

    break;

   case'img':

   case'span':

    break;

   case'obj':

    $tmp='('. self::parseNode($node['data'][0]) .')'

    $str.=str_replace("n",'',$tmp);

    break;

   default:

    trigger_error('Unkown type:'.$node['t'], E_USER_WARNING);

    break;

  }

  return$str;

 }

 publicfunctionget($page= 1){

  echo"getting page {$page}...n";

  $ch= curl_init();

  $url= sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d',$this->bookId,$this->token,$page);

  curl_setopt_array($ch,array(

   CURLOPT_URL   =>$url,

   CURLOPT_RETURNTRANSFER => 1,

   CURLOPT_HEADER   => 0,

   CURLOPT_HTTPHEADER  =>array('Cookie: '.$this->cookie)

  ));

  $ret= json_decode(curl_exec($ch), true);

  curl_close($ch);

  $str=''

  if(!empty($ret)){

   $str.= self::parseNode($ret);

   $str.=$this->get($page+ 1);

  }

  return$str;

 }

 publicfunctionstart(){

  $this->result =$this->get();

 }

 publicfunctiongetResult(){

  return$this->result;

 }

 publicfunctionsaveTo($path){

  if(empty($this->result)){

   trigger_error('Result is empty', E_USER_ERROR);

   return;

  }

  file_put_contents($path,$this->result);

  echo"save to {$path}n";

 }

}

//使用示例

$yuedu=newBaiduYuedu(�a3769eae009581becba',Ǝed1dedb240b11bf0731336eff95093f','你的百度域cookie');

$yuedu->start();

$yuedu->saveTo('result.txt');


这个类前两个参数可以从小说的介绍页面获得,第一个参数bookId就是urlebook后面跟着的字符串,第二个参数bookToken在页面源代码搜索bdjsonUrlm参数后面的那个字符串就是。

注:如果不传入百度cookie或者百度cookie无效,则只能抓取免费阅读部分,要抓完整的内容必须保证cookie可以正常使用。

总结:

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用PHP能有一定的帮助,如果有疑问大家可以留言交流。

相关文章

精彩推荐