如何对ajax型的网页数据进行抓取。 ，“更多新问题”就是发送的ajax请求。
其实抓ajax的页面和抓普通的页面区别不大。ajax只不过是做了一次异步的http请求，只要使用firebug类似的工具，找到请求的后端服务url和传值的参数，然后对该url传递参数进行抓取即可。利用firebug的网络工具，如图所示：
下面代码就是以车问网站为例，通过curl发送POST请求，获取一页的数据。（其实该url的数据可以直接通过GET获取）
<?PHP $opt = "http://www.xx.com/proc/ajax/getHomeNewQuestion_ajax.jsp"; $post = "lastqid=50934&pgno=1&pagenum=20"; $curl = curl_init(); curl_setopt($curl,CURLOPT_RETURNTRANSFER,true); curl_setopt($curl,CURLOPT_POST,1); curl_setopt($curl,CURLOPT_POSTFIELDS,$post); curl_setopt($curl,CURLOPT_URL,$opt); $rs = curl_exec($curl); $rs = json_decode($rs); var_dump($rs); ?>
每次只需要更改参数pgno就相当于更改了分页的页码，然后再经行处理就与抓普通的列表页无异了。
ajax 异步数据如何抓取 示例，
如题:http://you.ctrip.com/sight/hongkong38/22943.html
li.des_icon_want
可是怎么抓取呢，用chrome的debug可以抓取，但是自己根据post构造url抓取，却没有返回结果，从网上搜索发现是异步请求
可能是你还没有理解我的问题。 谢谢啊，我用下面这段 PHP代码解决了问题： ?PHP $cookie_file=tempnam('./temp','cookie'); $ch = curl_init(); $url1 = "http://you.ctrip.com/sight/hongkong38/22943.html"; curl_setopt($ch,$url1); curl_setopt($ch,CURLOPT_HTTP_VERSION,CURL_HTTP_VERSION_1_1); curl_setopt($ch,CURLOPT_HEADER,0); curl_setopt($ch,1); curl_setopt($ch,CURLOPT_FOLLOWLOCATION,CURLOPT_ENCODING,'gzip'); //加入gzip解析 //设置连接结束后保存cookie信息的文件 curl_setopt($ch,CURLOPT_COOKIEJAR,$cookie_file); $content=curl_exec($ch); curl_close($ch); $ch3 = curl_init(); $url3 = "http://you.ctrip.com/Destinationsite/SharedComm/ShowGowant"; $curlPost = "Resource=22943&pageType=Sight&rank=0.7574654158670455"; curl_setopt($ch3,$url3); curl_setopt($ch3,1); curl_setopt($ch3,$curlPost); //设置连接结束后保存cookie信息的文件 curl_setopt($ch3,CURLOPT_COOKIEFILE,$cookie_file); $content1=curl_exec($ch3); curl_close($ch3);