溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
Crawler是英語中爬行動物的意思，讀做“哭了” 。。。-_-!
最近在用laravel寫一個抓取網頁系統，之前使用的是simple_html_dom來對html進行解析，既然使用了laravel自然要用composer工具包來實現功能才顯得高大上。。。
題外話，simple_html_dom好像也可以用composer來安裝，不過因為代碼比較早不支持PSR編碼規范，尤其是autoload，也就是Vendor代碼結構，github上有個支持PSR規范改進版sunra/php-simple-html-dom-parser應該不是原作者寫的。
Crawler全名是DomCrawler，是Symfony框架的組件。令人發指的是DomCrawler的沒有中文文檔，Symfony也沒有翻譯該部分，所以使用DomCrawler開發只能一點一點摸索，現將使用過程中的經驗總結。
首先是安裝
composer require symfony/dom-crawler composer require symfony/css-selector
css-seelctor 是 css選擇器，用css選擇節點時一些函數會用到
手冊里面使用的例子是
use Symfony\Component\DomCrawler\Crawler;
$html = <<<'HTML'
<!DOCTYPE html>
<html>
<body>
<p class="message">Hello World!</p>
<p>Hello Crawler!</p>
</body>
</html>
HTML;
$crawler = new Crawler($html);
foreach ($crawler as $domElement)
{
var_dump($domElement->nodeName);
}打印的結果是
string 'html' (length=4)
因為這段html代碼的nodeName就是html，英語不好，開始使用的時候還以為程序錯了。。。
實際使用過程，如果new Crawler($html)會出現亂碼問題，應該是與頁面編碼有關，所以可以采用下面的方式，先初始化crawler，然后添加node
$crawler = new Crawler(); $crawler->addHtmlContent($html);
addHtmlContent的第二個參數是charset，默認是utf-8。
其他例子可以參考官方文檔，http://symfony.com/doc/current/components/dom_crawler.html
記錄一下工作中一點點試出來的用法
filterXPath(string $xpath) 方法，按照手冊上的說法，該方法的參數是$xpath，經常用的是p，div等塊。
echo $crawler->filterXPath('//body/p')->text();
echo $crawler->filterXPath('//body/p')->last()->text();輸出是第一個和下一個p標簽塊的文本
var_dump($crawler->filterXPath('//body')->html());輸出body內的html
foreach ($crawler->filterXPath('//body/p') as $i => $node) {
$c = new Crawler($node);
echo $c->filter('p')->text();
}filterXPath獲得的是DOMElement塊的數組，每個DOMElement塊可以使用新的crawler對象繼續解析
$nodeValues =
$crawler->filterXPath('//body/p')->each(function (Crawler $node, $i) {
return $node->text();
});crawler提供了each循環，使用閉包函數簡化代碼，不過注意的是，這種寫法$nodeValues得到的是數組，需要進一步處理。
其他用法
echo $crawler->filterXPath('//body/p')->attr('class');可以獲得第一個p標簽對應class屬性的值“message”
$crawler->filterXPath('//div[@class="樣式"]')->filter('a')->attr('href');
$crawler->filterXPath('//div[@class="樣式"]')->filter('a>img')->extract(array('alt', 'href'))以上是獲得標簽屬性的一些方法
filter和filterXPath不同，手冊上寫的是css選擇器，不太明白，我理解是div這種XPath節點包含的元素，具體情況還需要在實際開發中去嘗試。
總的來說感覺DomCrawler要比simple html dom好用一些，可能是我用的比較淺顯。
上述只是Crawler的基本功能，更過用法請查閱symfony手冊關于Crawler部分的函數
http://api.symfony.com/3.2/Symfony/Component/DomCrawler/Crawler.html
Crawler主要問題還是示例太少，函數手冊里面沒有使用實例，只能在實際使用中去摸索。。。。
symfony關于DomCrawler的文檔，里面有少數例子
http://symfony.com/doc/current/components/dom_crawler.html
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
