晓夏

北漂的女孩

Good Luck To You!

curl抓取页面,不会正则html类库simple_html_dom帮你

浏览量:559

html类库simple_html_dom使用方法

一直以来使用php解析html文档树都是一个难题。Simple HTML DOM parser 帮我们很好地解决了这个问题。可以通过这个php类来解析html文档,对其中的html元素进行操作 (PHP5+以上版本)。

1.下载地址如下:

simple_html_dom.zip

2、开始使用,有三种方式调用这个类:

  • 从url中加载html文档

  • 从字符串中加载html文档

  • 从文件中加载html文档    

<?php
// 新建一个Dom实例
$html = new simple_html_dom();
 
// 从url中加载
$html->load_file('http://www.cnphp.info/php-simple-html-dom-parser-intro.html');
 
// 从字符串中加载
$html->load('<html><body>从字符串中加载html文档演示</body></html>');
 
//从文件中加载
$html->load_file('path/file/test.html');
?>

3.查找你需要的html元素

<?php 
//查找html文档中的超链接元素
$a = $html->find('a'); 

//查找文档中第(N)个超链接,如果没有找到则返回空数组.
$a = $html->find('a', 0); 

// 查找id为main的div元素
$main = $html->find('div[id=main]',0); 

// 查找所有包含有id属性的div元素
$divs = $html->find('div[id]'); 

// 查找所有包含有id属性的元素
$divs = $html->find('[id]');
?>

看到这里你是不是就迫不及待的开始测试了,打印数据了,但是出来了好多的属性值,都没用,并且会占用你大量的内存,导致你的电脑卡死。

哈哈,这是正常的,刚开始吗?

我这边给你们举个小例子你就知道了怎么处理了,这是在天涯论坛抓取的一个小页面,很简单

QQ图片20160415165016.png

例如:
<?php
header("Content-Type: text/html;charset=utf-8");
//引入一个类
include 'simple_html_dom.php';
// 实例化
$html = new simple_html_dom();
// 从文件中加载,我事先抓取一个网站的页面,保存成html
$html->load_file('tianya.html');

//获取文件标题和地址
$a = $html->find('h3 a');
var_dump($a->href);

var_dump($a->plaintext );
//大胆的给自己一次寻找爱的机会,遇见对的人,来这样寻找你的那个他(她) 
//释放内存
$html->clear();
?>

这查找出来含有4个基本对象属性:

  • tag – 返回html标签名

  • innertext – 返回innerHTML

  • outertext – 返回outerHTML

  • plaintext – 返回html标签中的文本


4.还可以使用类似jQuery的选择器来查找定位元素

<?php
// 查找id='#container'的元素
$ret = $html->find('#container');
 
// 找到所有class=foo的元素
$ret = $html->find('.foo');
 
// 查找多个html标签
$ret = $html->find('a, img');
 
// 还可以这样用
$ret = $html->find('a[title], img[title]');
?>

5.解析器支持对子元素的查找

<?php 
// 查找 ul列表中所有的li项
$ret = $html->find('ul li'); 
//查找 ul 列表指定class=selected的li项
$ret = $html->find('ul li.selected'); 
?>

6.如果你觉得这样用起来麻烦,使用内置函数可以轻松定位元素的父元素、子元素与相邻元素

<?php
// 返回父元素
$e->parent;
 
// 返回子元素数组
$e->children;
 
// 通过索引号返回指定子元素
$e->children(0);
 
// 返回第一个资源速
$e->first_child ();
 
// 返回最后一个子元素
$e->last _child ();
 
// 返回上一个相邻元素
$e->prev_sibling ();
 
//返回下一个相邻元素
$e->next_sibling ();
?>

7.元素属性操作

使用简单的正则表达式来操作属性选择器。

  • [attribute] – 选择包含某属性的html元素

  • [attribute=value] – 选择所有指定值属性的html元素

  • [attribute!=value]- 选择所有非指定值属性的html元素

  • [attribute^=value] -选择所有指定值开头属性的html元素

  • [attribute$=value] 选择所有指定值结尾属性的html元素

  • [attribute*=value] -选择所有包含指定值属性的html元素

8.如何避免解析器消耗过多内存

在本文的开篇中,笔者就提到了Simple HTML DOM解析器消耗内存过多的问题。如果php脚本占用内存太多,会导致网站停止响应等一系列严重的问题。解决的方法也很简单,在解析器加载html文档并 使用完成后,记得清理掉这个对象就可以了。当然,也不要把问题看得太严重了。如果只是加载了2、3个文档,清理或不清理是没有多大区别的。当你加载了5个 10个甚至更多的文档的时候,用完一个就清理一下内存绝对是对自己负责啦^_^

<?php

$html->clear();

?>


神回复

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。