PHP抓取静态页面源码及资源并保存

2014-03-31 17:36:18

这是一个可以获取网页的html代码以及css,js,font和img资源的小工具,主要用来快速获取模板。如果你来不及设计UI或者看到不错的模板,则可以使用这个工具来抓取网页和提取资源文件。提取的内容会按相对路径来保存资源,因此你不必担心资源文件的错误url导入。

首页 index.php:

网页抓取器

Web Grabber

Url

Get
Save All

List

抓取页面代码 grab.php:

[php] /*
* flute
* 2014/03/31
*/

if(isset($POST[‘url’])) {
if(isset($
POST[‘project’]) && !isdir($POST[‘project’])) mkdir($POST[‘project’], 0777);
echo json
encode(grab($_POST[‘url’]));
}

function grab($url) {
//$url = ‘http://www.ldsun.com/wp-content/uploads/leaves/test.html’;
$data = array();
$file = preg_replace(‘/^.*\//’, ”, $url);

if(($content = filegetcontents($url)) ! false) {

if(isset($POST[‘project’])) fileputcontents($POST[‘project’].’/’.$file, $content);

$pattern = ‘/?href\=(\’|")(.?.css)\1.*?>/i’;
if(pregmatchall($pattern, $content, $matches)) {
$data[‘css’] = $matches[2];
}

$pattern = ‘/?src\=(\’|")(.?.js)\1.*?>/i’;
if(pregmatchall($pattern, $content, $matches)) {
$data[‘js’] = $matches[2];
}

$pattern = ‘/?src\=(\’|")(.?)\1.*?>/i’;
if(pregmatchall($pattern, $content, $matches)) {
$data[‘img’] = $matches[2];
}

$pattern = ‘/url((\’|"|\s)(.*?)\1)/i’;
if(pregmatchall($pattern, $content, $matches)) {
$data[‘src’] = $matches[2];
}
}

return $data;
}

function vardump($obj) {
echo ‘

’; 
print_r($obj);
echo ‘
’;
}
?>[/php]

保存css,js,img等资源的页面 save.php:

[php] /*
* flute
*  2014/03/31
*/

if(isset($POST[‘url’]) && isset($POST[‘project’]) && isset($POST[‘domain’])) {
extract($
POST);
$url = preg_replace(‘/\?.*$/’, ”, $url);
$file = $url;
$arr = explode(‘/’, $file);
$length = sizeof($arr);
$filename = $arr[$length – 1];
$root = $project;
$dir = $root;

if($domain  ‘http’) {
$dir = $root.’/http’;
if(!isdir($dir)) mkdir($dir, 0777);
} else {
$file = $domain.’/’.$url;
for($i = 0; $i < $length -1; $i++) {
if(!empty($arr[$i])) {
$dir .= ‘/’.$arr[$i];
if(!is
dir($dir)) mkdir($dir, 0777);
}
}
}
if(!fileexists($dir.’/’.$filename) || filesize($dir.’/’.$filename) == 0) {
$content = file
getcontents($file);
file
put_contents($dir.’/’.$filename, $content);
}
}
?>[/php]

使用方法:
1. 打开index页,输入项目名和要抓取的网址,网址必须是文件名结尾,如index.html;
2. 点Get按钮,得到当前页面所有的css,js,img等资源列表;
3. 点击css链接会获取css文件中的背景资源图片,附加在列表后头;
4. 点击Save All即可保存列表中所有的文件,并按相对路径生成;
5. 如果网页上有http远程文件,将会直接保存在http文件夹下;
6. Get和Save有时会失败,没关系重试几次即可。

效果图:

QQ图片20140331213111

记自动化学院宿舍运动会

学院组织的宿舍运动会,在小伙伴们的鼓动下参加了。4*50接力俺跑最后一棒,结果距终点3m处一个趔趄,以前空翻的姿势滚过了终点……损失惨重啊有木有,还好第三名有奖品,最后得知奖品是一块肥皂!!!而且是四个人一块肥皂泪奔啊。。多么痛的领悟!

网页变模糊js代码

愚人节那天打开OSCHINA ,然后等了2秒钟 ,然后网页就全变模糊了,刚以为是浏览器问题,最后发现是愚人节的闹剧。。哈哈代码如下:[code lang=”js”]/* by moli/$(document).ready(function(){if(document.cookie.indexOf("lu=") == -1 ){// 延时2秒setTimeout("jQuery.mxblur.interID = setInterval(‘jQuery.mxblur.begin()’, 5)", 1500);}});$.mxblur = {interID : null,num: 0.01,begin : function() {jQuery.mxblur.blur( jQuery.mxblur.num );if(jQuery.mxblur.num > 3) {jQuery.