PHP的cURL库有效地抓网页的技巧

PHP的cURL库有效地抓网页的技巧

　　PHP独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML文档中去执行，执行效率比完全生成HTML标记的CGI要高许多;PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。

　　启用 cURL 设置

　　首先，我们得先要确定我们的PHP是否开启了这个库，你可以通过使用php_info()函数来得到这一信息。

　　phpinfo();

　　?>

　　如果你可以在网页上看到下面的输出，那么表示cURL库已被开启。

　　如果你看到的话，那么你需要设置你的PHP并开启这个库。如果你是在Windows平台下，那么非常简单，你需要改一改你的php.ini文件的设置，找到php_curl.dll，并取消前面的分号注释就行了。如下所示：

　　//取消下在的注释

　　extension=php_curl.dll

　　如果你是在Linux下面，那么，你需要重新编译你的PHP了，编辑时，你需要打开编译参数——在configure命令上加上“–with-curl” 参数。

　　一个小示例

　　如果一切就绪，下面是一个小例程：

　　// 初始化一个 cURL 对象

　　$curl = curl_init();

　　// 设置你需要抓取的URL

　　curl_setopt($curl, CURLOPT_URL, http://cocre.com);

　　// 设置header

　　curl_setopt($curl, CURLOPT_HEADER, 1);

　　// 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。

　　curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

　　// 运行cURL，请求网页

　　$data = curl_exec($curl);

　　// 关闭URL请求

　　curl_close($curl);

　　// 显示获得的数据

　　var_dump($data);

　　?>

　　如何POST数据

　　上面是抓取网页的代码，下面则是向某个网页POST数据。假设我们有一个处理表单的网址http://www.example.com/sendSMS.php，其可以接受两个表单域，一个是电话号码，一个是短信内容。

　　$phoneNumber = 13912345678;

　　$message = This message was generated by curl and php;

　　$curlPost = pNUMBER= . urlencode($phoneNumber) . &MESSAGE= . urlencode($message) . &SUBMIT=Send;

　　$ch = curl_init();

　　curl_setopt($ch, CURLOPT_URL, http://www.example.com/sendSMS.php);

　　curl_setopt($ch, CURLOPT_HEADER, 1);

　　curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

　　curl_setopt($ch, CURLOPT_POST, 1);

　　curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);

　　$data = curl_exec();curl_close($ch);

　　?>

　　从上面的程序我们可以看到，使用CURLOPT_POST设置HTTP协议的POST方法，而不是GET方法，然后以CURLOPT_POSTFIELDS设置POST的数据。

　　关于代理服务器

　　下面是一个如何使用代理服务器的示例。请注意其中高亮的代码，代码很简单，我就不用多说了。

　　$ch = curl_init();

　　curl_setopt($ch, CURLOPT_URL, http://www.example.com);

　　curl_setopt($ch, CURLOPT_HEADER, 1);

　　curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

　　curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);

　　curl_setopt($ch, CURLOPT_PROXY, fakeproxy.com:1080);

　　curl_setopt($ch, CURLOPT_PROXYUSERPWD, user:password);

　　$data = curl_exec();curl_clos

【PHP的cURL库有效地抓网页的技巧】相关文章：

PHP中curl的使用实例04-01

关于php面试宝典及PHP面试技巧04-02

网页字体设计的技巧03-18

Dreamweaver网页优化技巧03-05

网页设计配色技巧03-07

MongoDB的PHP驱动方法与技巧大全04-02

网页设计色彩搭配技巧03-07

网页美工设计技巧03-12

网页图文混排技巧03-12