霜天部落 | 关注LAMP高性能、高并发架构的设计与研究

php抓取和分析

建立网站后,有的网站需要对远程URL抓取数据并分析存入数据库。本文将通过一个PHP程序的例子带你去实现它。 对PHP来说,抓取和分析一个文件是非常简单的事。让我们开始吧!
首先,我首必须决定我们将抓取的URL地址。可以通过在脚本中设定或通过 $QUERY_STRING 传递。为了简单起见,让我们将变量直接设在脚本中。



第二步,我们抓取指定文件,并且通过file()函数将它存在一个数组里。



好了,现在在数组里已经有了文件了。但是,我们想分析的文本可能不全在一行里面。为了解决这个文件,我们可以简单地将数组 $lines_array 转化成一个字符串。我们可以使用 implode(x,y) 函数来实现它。如果在后面你想用 explode(将字符串变量数组),将x设成”|”或”!”或其它类似的分隔符可能会更好。但是出于我们的目的,最好将x设成空格。y是另一个必要的参数,因为它是你想用 implode() 处理的数组。


现在,抓取工作就做完了,下面该进行分析了。出于这个例子的目的,我们想得到在<head>到</head> 之间的所有东西。为了分析出字符串,我们还需要叫做正规表达式的东西。

(.*)", $lines_string, $head);
?>

让我们看一下代码。正如你所见,eregi()函数按下面的格式执行:

eregi("(.*)", $lines_string, $head);

“(.*)”表示所有东西,可以解释为,”分析在和间的所以东西”。$lines_string是我们正 在分析的字符串,$head是分析后的结果存放的数组。   最后,我们可以输数据。因为仅在和间存在一个实例,我们可以安全的假设数组中仅存 在着一个元素,而且就是我们想要的。让我们把它打印出来吧。

(.*)",$lines_string, $head);
echo $head[0];
?>

这就是全部的代码了。