网页中怎么抓取php,从新浪财经或者雅虎财经获取到所有A股数据?
可以用ForeSpider数据采集系统试一下,系统已将框架都搭建好,直接根据网页结构进行相应配置即可,还有大量实战教程可以参考。这是采集新浪财经上市公司高管信息的教程,可供您参考。
采集网站
【场景描述】采集新浪财经所有行业板块中上市公司的高管信息。
【源网站介绍】
新浪财经,提供7X24小时财经资讯及全球金融市场报价,覆盖股票、债券、基金、期货、信托、理财、管理等多种面向个人和企业的服务。
【使用工具】前嗅ForeSpider数据采集系统
【入口网址】
http://finance.sina.com.cn/stock/sl/#sinaindustry_1
【采集内容】
采集新浪财经所有行业板块中上市公司的高管信息。
【采集效果】如下图所示:
l 思路分析
配置思路概览:
l 配置步骤
1. 新建采集任务
选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。
选择列表链接,点击完成按钮,即创建任务完成。
2.获取行业链接
①用浏览器打开该网页,查看各行业的链接规律,发现行业链接规律为:http://vip.stock.finance.sina.com.cn/mkt/#new_+行业名称首字母
比如:
http://vip.stock.finance.sina.com.cn/mkt/#new_cbzz (船舶制造)
http://vip.stock.finance.sina.com.cn/mkt/#new_tchy (陶瓷行业)
②所以获取行业链接的方法为:将各行业关键词的首字母设置为关键词,用脚本拼接行业链接。
③设置关键词,具体步骤如下所示:
关键词文本如下:
new_blhy;new_cbzz;new_cmyl;new_dlhy;new_dqhy;new_dzqj;new_dzxx;new_fdc;new_fdsb;new_fjzz;new_fzhy;new_fzjx;new_fzxl;new_glql;new_gsgq;new_gthy;new_hbhy;new_hghy;new_hqhy;new_jdhy;new_jdly;new_jjhy;new_jrhy;new_jtys;new_jxhy;new_jzjc;new_kfq;new_ljhy;new_mtc;new_mthy;new_nlmy;new_nyhf;new_qczz;new_qtxy;new_slzp;new_snhy;new_sphy;new_stock;new_swzz;new_sybh;new_syhy;new_tchy;new_wzwm;new_ylqx;new_yqyb;new_ysbz;new_ysjs;new_zhhy;new_zzhy
④高级设置,设置一个关键词参数,具体操作如下图所示:
⑤编写关键词拼写链接的脚本:
具体脚本文本如下:
var sear=EXTRACT.GetSearch(this); //关键词获取
var k=sear.Search();//查找关键词
while(k){ //遍历关键词
url u;//定义一个url
u.urlname="http://vip.stock.finance.sina.com.cn/mkt/#"+k.wd;//拼接行业链接
u.title="新浪行业@"+k.wd;//将标题设置为关键词名称
u.entryid=this.id;
u.tmplid=1;//关联模板1
k=sear.Search();//查找下一个关键词
RESULT.AddLink(u);//输出一个url值
}
⑥采集预览,查看行业链接是否正确。
3. 获取翻页链接
①观察发现,有部分行业数据量比较大,有多页数据,需要翻页。
打开【其他行业】板块,发现4页数据,点击F12,右侧出现请求,点击第二页,观察发现请求:是翻页请求链接。如下图所示
补充:下图为请求response转译后内容,可看出其中有第二页中的内容,故确定此链接为翻页请求链接。
②复制翻页请求链接:
③同样方法,找到第三页和第四页请求链接,并复制出来。
④观察链接,发现规律如下图所示:
⑤写翻页链接脚本,具体操作如下所示:
脚本文本:
var hangye=URL.title.Right("@");//定义hangye为当前链接标题@右侧内容,即行业名称首字母
url u;//定义一个url
for(var i=1;i<=3;i++){//for循环表示翻页
u.urlname = "http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData?page="+i+"&num=80&sort=symbol&asc=1&node="+hangye;//根据翻页链接规律,拼翻页
u.title = hangye; //返回链接名称为行业
u.tmplid = 2;//关联模板2
RESULT.AddLink(u);
}
⑥采集预览,如下图所示,表示翻页链接已生成。
4. 采集公司链接
①在浏览器中打开几个公司链接,可发现规律为:
②而公司id则在模板01获取到的翻页链接请求中,采集预览,在浏览器中打开任意一个翻页请求,经观察发现,这是一个json,公司id为每个对象的symbol值。
③新建模板02,并在其下新建一个链接抽取
④脚本如下所示:
脚本文本:
var ur=URL.urlname;//定义ur变量为当前请求链接,即翻页请求链接
var doc = EXTRACT.OpenDoc(CHANN, ur, "");//打开请求
var tstr = doc.GetDom().GetSource();//打开请求中的dom树,并获取源码,定义源码为tstr
jScript js;//定义一个js
var obj = js.RunJson(tstr);//执行tstr代码并返回一个对象
for(var i=0;i<=79;i++){
var obj_a=obj[i];//定义obj_a为第i个对象
var goodsname=obj_a.symbol;
EXTRACT.CloseDoc(doc);//关闭请求
url u;
u.urlname="https://finance.sina.com.cn/realstock/company/"+goodsname+"/nc.shtml";//拼公司链接
u.title=URL.title;//将标题设置为关键词名称
u.entryid=this.id;//定义goodsname为对象中的symbol值,即公司id
u.tmplid=3;//关联模板03
RESULT.AddLink(u);
}
⑤点击采集预览,如下所示:
5. 抽取公司高管链接
①新建一层模板03,并新建一个链接抽取。
②在浏览其中打开任意一个公司的链接,并再打开企业高管页面链接。
观察发现,企业高管页面链接规律为:
http://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpManager/stockid/+公司id+.phtml
③填写脚本如下:
④采集预览,如下所示:
6.抽取高管链接
①新建模板04,在其下新建一个数据抽取,具体操作如下所示:
②填写示例地址,复制任意一个企业高管链接,在下图所示位置:
点击右上角保存后,双击模拟浏览器空白处,模拟浏览器加载出该页面。
③点击模板预览
④经观察发现,高管链接规律为,都包含:http://vip.stock.finance.sina.com.cn/corp/view/vCI_CorpManagerInfo.php?stockid=
⑤地址过滤,将地址中含有http://vip.stock.finance.sina.com.cn/corp/view/vCI_CorpManagerInfo.php?stockid=的链接都过滤出来。
7.抽取高管数据
①新建模板05,在其下新建一个数据抽取。
②关联模板,将模板04关联至模板05。
填写示例地址,将任意一个高管链接填写至如下位置:
③新建一个数据表单,具体步骤和字段属性如下所示:
④关联数据表单,如下图所示:
⑤数据取值
A. uname:打开浏览器,F12,查看高管名称,发现其在源码中,如下图所示。
使用脚本取值,具体如下图所示:
B. usex:使用定位取值的方法,进行取值。
C. ubirth:定位取值(同上)
D. Uedu:定位取值(同上)
E. Country:定位取值(同上)
F. Intro:定位取值(同上)
G. Company:定位取值(同上)
⑥采集预览
l 采集步骤
模板配置完成,采集预览没有问题后,可以进行数据采集。
①首先要建立采集数据表:
选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【qiyegaoguan】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。
②选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。
③采集中:
④采集结束后,可以在【数据浏览】中,选择数据表查看采集数据,并可以导出数据。
⑤导出的文件打开如下图所示:
为什么很多爬虫用python?
主要看你定义的“爬虫”干什么用。1、如果是定向爬取几个页面,做一些简单的页面解析,爬取效率不是核心要求,那么用什么语言差异不大。当然要是页面结构复杂,正则表达式写得巨复杂,尤其是用过那些支持xpath的类库/爬虫库后,就会发现此种方式虽然入门门槛低,但扩展性、可维护性等都奇差。因此此种情况下还是推荐采用一些现成的爬虫库,诸如xpath、多线程支持还是必须考虑的因素。
2、如果是定向爬取,且主要目标是解析js动态生成的内容,页面内容是有js/ajax动态生成的,用普通的请求页面->解析的方法就不管用了,需要借助一个类似firefox、chrome浏览器的js引擎来对页面的js代码做动态解析。此时,推荐考虑casperJS+phantomjs或slimerJS+phantomjs ,当然诸如selenium之类的也可以考虑。
3、如果爬虫是涉及大规模网站爬取,效率、扩展性、可维护性等是必须考虑的因素时候,涉及诸多问题:I/O机制、分布式爬取、多线程并发、消息通讯、判重机制、任务调度等等,此时候语言和所用框架的选取就具有极大意义了。
PHP:对多线程、异步支持较差,不建议采用。
Python:强烈建议,对以上问题都有较好支持。尤其是Scrapy框架值得作为第一选择。优点诸多:支持xpath;基于twisted,性能不错;有较好的调试工具;
对于大部分公司还是建议基于一些开源的框架来做,不要自己发明轮子,做一个简单的爬虫容易,但要做一个完备的爬虫挺难的。
可以用于获取PHP版本信息的是?
PHP_VERSION // 定义指示 PHP4 或 PHP5 的常量 if (substr(PHP_VERSION, 0, 1) == '5') { define('PHP5', true); define('PHP4', false); } else { define('PHP5', false); define('PHP4', true); }
PHP如何快速上手?
系统化学习PHP目前这边是可以快速上手的
PHP系统学习化能够让你知识点非常丰满,环境配置直接上手,一步一步操作
开始操作项目的时候可以直接上手,遇到bug可以解决
想要学习PHP技术或者想要加入程序员这个行列的同学,都可以关注我头条号获取学习教程,私信我关键词:PHP
获取方式:还是老规矩:一个评论一个名额,在文章底部的评论区留下你们的评论并且转发哦,这个就不用多说了,来过PHP架构师之路的都知道!
1. 首先在头条右上角点击关注,关注PHP架构师之路
2、评论后私信关键词:PHP 或者 php
ps:没有经过手机验证或者是极速版头条、por版本头条都没有私信功能!
请注意:新文章出来之后,旧的资源就截止了,之前的资源我会删掉一些,要获取完整资源的同学按照步骤来就可以了!
php截取字符串内容从文本中提取所有的文件路径?
preg_match_all("/[C-Z]{1}:\\\(.*)\.(doc|ppt)/i",$str,$match);匹配结果在$match[0]中,$str表示你这个文本的字符串,你可以通过修改[C-Z]限制盘符,修改(doc|ppt)增加后缀