PHP采集静态页面并把页面下载css,img,js保存

作者:袖梨 2022-06-24

首页 index.php:

 代码如下 复制代码






网页抓取器





Web Grabber





  

Url


  

    
    
    
  
www.111com.net


  Save All
  

List


  

      



抓取页面代码 grab.php:

 代码如下 复制代码

 /*
 * flute
 * 2014/03/31
 */

 if(isset($_POST['url'])) {
  if(isset($_POST['project']) && !is_dir($_POST['project'])) mkdir($_POST['project'], 0777);
  echo json_encode(grab($_POST['url']));
 }

 function grab($url) {
  //$url = 'http://ldixing-wordpress.stor.sinaapp.com/uploads/leaves/test.html';
  $data = array();
  $file = preg_replace('/^.*//', '', $url);

  if(($content = file_get_contents($url)) !== false) {

   if(isset($_POST['project'])) file_put_contents($_POST['project'].'/'.$file, $content);

   $pattern = '//i';
   if(preg_match_all($pattern, $content, $matches)) {
    $data['css'] = $matches[2];
   }

   $pattern = '//i';
   if(preg_match_all($pattern, $content, $matches)) {
    $data['js'] = $matches[2];
   }

   $pattern = '//i';
   if(preg_match_all($pattern, $content, $matches)) {
    $data['img'] = $matches[2];
   }

   $pattern = '/url(('|"|s)(.*?)1)/i';
   if(preg_match_all($pattern, $content, $matches)) {
    $data['src'] = $matches[2];
   }
  }

  return $data;
 }

www.111com.net

 function vardump($obj) {
  echo '

';
  print_r($obj);
  echo '
';
 }
?>

保存css,js,img等资源的页面 save.php:

 代码如下 复制代码

 /*
 *  flute
 *  2014/03/31
 */

 if(isset($_POST['url']) && isset($_POST['project']) && isset($_POST['domain'])) {
  extract($_POST);
  $url = preg_replace('/?.*$/', '', $url);
  $file = $url;
  $arr = explode('/', $file);
  $length = sizeof($arr);
  $filename = $arr[$length - 1];
  $root = $project;
  $dir = $root;

  if($domain == 'http') {
   $dir = $root.'/http';
   if(!is_dir($dir)) mkdir($dir, 0777);
  } else {
   $file = $domain.'/'.$url;
   for($i = 0; $i < $length -1; $i++) {
    if(!empty($arr[$i])) {
     $dir .= '/'.$arr[$i];
     if(!is_dir($dir)) mkdir($dir, 0777);
    }
   }
  }
  if(!file_exists($dir.'/'.$filename) || filesize($dir.'/'.$filename) == 0) {
   $content = file_get_contents($file);
   file_put_contents($dir.'/'.$filename, $content);
  }
 }
?>

使用方法:
1. 打开index页,输入项目名和要抓取的网址,网址必须是文件名结尾,如index.html;
2. 点Get按钮,得到当前页面所有的css,js,img等资源列表;
3. 点击css链接会获取css文件中的背景资源图片,附加在列表后头;
4. 点击Save All即可保存列表中所有的文件,并按相对路径生成;
5. 如果网页上有http远程文件,将会直接保存在http文件夹下;
6. Get和Save有时会失败,没关系重试几次即可。

相关文章

精彩推荐