首页 开发编程 正文

php .= 怎么拼接

//vip.stock.finance.sina.com.cn/mkt/#new_+行业名称首字母比如://vip.stock.finance.sina.com.cn/mkt/#new_cbzz(船舶制造)http:new_dzqj;...

php .= 怎么拼接,lamp是啥意思?

lamp 的全称是linux + apache + mysql +php lnmp 的全称是linux + nginx + mysql +php 这两种都是网站服务器架构合并一下,就是lanmp

PHP在字符串中截取出后三位数字并将该数字加一?

$str = substr($str, 0, -3) . str_pad(substr($str, -3) + 1, 3, "0", STR_PAD_LEFT)

如果你面对的字符串中包含中文等字符集,可以考虑使用mb系列函数来对应实现

专科生程序员能够进腾讯吗?

首先你要不是一个新人,也就是一个刚毕业的大学生来实习的,如果是来实习的,也就是通过腾讯的招聘来的,那没话说,如果你是想当专职程序员,也就是某一方面能力特别强的前端工程师也好,或者是优化大数据也好,或者是其他方面的也好,这方面你必须要有一个心理准备。

我们都知道想要去某一个公司,或者去某一个企业去面试,都需要有几项准备呢。

第一个啊,学历那不用说,第二个也就是你的工作经验,有什么出色的表现?第三个呢,也就是你为什么想来到腾讯公司?是被动离职的还是主观离职的,这都有需要说明的,

最后一个呢,因为腾讯它毕竟是一个国内最知名的一个互联网企业。所以他选人的标准,他肯定相比其他中小型企业来说要有点高呢,你必须在你原先的工作岗位上有出色的表现,也就是说你在社会上也有相当的影响力了,最起码也得是在你的专业上有杰出的表现。

从新浪财经或者雅虎财经获取到所有A股数据?

可以用ForeSpider数据采集系统试一下,系统已将框架都搭建好,直接根据网页结构进行相应配置即可,还有大量实战教程可以参考。这是采集新浪财经上市公司高管信息的教程,可供您参考。

采集网站

【场景描述】采集新浪财经所有行业板块中上市公司的高管信息。

【源网站介绍】

新浪财经,提供7X24小时财经资讯及全球金融市场报价,覆盖股票、债券、基金、期货、信托、理财、管理等多种面向个人和企业的服务。

【使用工具】前嗅ForeSpider数据采集系统

【入口网址】

http://finance.sina.com.cn/stock/sl/#sinaindustry_1

【采集内容】

采集新浪财经所有行业板块中上市公司的高管信息。

【采集效果】如下图所示:

l 思路分析

配置思路概览:

l 配置步骤

1. 新建采集任务

选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。

选择列表链接,点击完成按钮,即创建任务完成。

2.获取行业链接

①用浏览器打开该网页,查看各行业的链接规律,发现行业链接规律为:http://vip.stock.finance.sina.com.cn/mkt/#new_+行业名称首字母

比如:

http://vip.stock.finance.sina.com.cn/mkt/#new_cbzz (船舶制造)

http://vip.stock.finance.sina.com.cn/mkt/#new_tchy (陶瓷行业)

②所以获取行业链接的方法为:将各行业关键词的首字母设置为关键词,用脚本拼接行业链接。

③设置关键词,具体步骤如下所示:

关键词文本如下:

new_blhy;new_cbzz;new_cmyl;new_dlhy;new_dqhy;new_dzqj;new_dzxx;new_fdc;new_fdsb;new_fjzz;new_fzhy;new_fzjx;new_fzxl;new_glql;new_gsgq;new_gthy;new_hbhy;new_hghy;new_hqhy;new_jdhy;new_jdly;new_jjhy;new_jrhy;new_jtys;new_jxhy;new_jzjc;new_kfq;new_ljhy;new_mtc;new_mthy;new_nlmy;new_nyhf;new_qczz;new_qtxy;new_slzp;new_snhy;new_sphy;new_stock;new_swzz;new_sybh;new_syhy;new_tchy;new_wzwm;new_ylqx;new_yqyb;new_ysbz;new_ysjs;new_zhhy;new_zzhy

④高级设置,设置一个关键词参数,具体操作如下图所示:

⑤编写关键词拼写链接的脚本:

具体脚本文本如下:

var sear=EXTRACT.GetSearch(this); //关键词获取

var k=sear.Search();//查找关键词

while(k){ //遍历关键词

url u;//定义一个url

u.urlname="http://vip.stock.finance.sina.com.cn/mkt/#"+k.wd;//拼接行业链接

u.title="新浪行业@"+k.wd;//将标题设置为关键词名称

u.entryid=this.id;

u.tmplid=1;//关联模板1

k=sear.Search();//查找下一个关键词

RESULT.AddLink(u);//输出一个url值

}

⑥采集预览,查看行业链接是否正确。

3. 获取翻页链接

①观察发现,有部分行业数据量比较大,有多页数据,需要翻页。

打开【其他行业】板块,发现4页数据,点击F12,右侧出现请求,点击第二页,观察发现请求:是翻页请求链接。如下图所示

补充:下图为请求response转译后内容,可看出其中有第二页中的内容,故确定此链接为翻页请求链接。

②复制翻页请求链接:

③同样方法,找到第三页和第四页请求链接,并复制出来。

④观察链接,发现规律如下图所示:

⑤写翻页链接脚本,具体操作如下所示:

脚本文本:

var hangye=URL.title.Right("@");//定义hangye为当前链接标题@右侧内容,即行业名称首字母

url u;//定义一个url

for(var i=1;i<=3;i++){//for循环表示翻页

u.urlname = "http://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData?page="+i+"&num=80&sort=symbol&asc=1&node="+hangye;//根据翻页链接规律,拼翻页

u.title = hangye; //返回链接名称为行业

u.tmplid = 2;//关联模板2

RESULT.AddLink(u);

}

⑥采集预览,如下图所示,表示翻页链接已生成。

4. 采集公司链接

①在浏览器中打开几个公司链接,可发现规律为:

②而公司id则在模板01获取到的翻页链接请求中,采集预览,在浏览器中打开任意一个翻页请求,经观察发现,这是一个json,公司id为每个对象的symbol值。

③新建模板02,并在其下新建一个链接抽取

④脚本如下所示:

脚本文本:

var ur=URL.urlname;//定义ur变量为当前请求链接,即翻页请求链接

var doc = EXTRACT.OpenDoc(CHANN, ur, "");//打开请求

var tstr = doc.GetDom().GetSource();//打开请求中的dom树,并获取源码,定义源码为tstr

jScript js;//定义一个js

var obj = js.RunJson(tstr);//执行tstr代码并返回一个对象

for(var i=0;i<=79;i++){

var obj_a=obj[i];//定义obj_a为第i个对象

var goodsname=obj_a.symbol;

EXTRACT.CloseDoc(doc);//关闭请求

url u;

u.urlname="https://finance.sina.com.cn/realstock/company/"+goodsname+"/nc.shtml";//拼公司链接

u.title=URL.title;//将标题设置为关键词名称

u.entryid=this.id;//定义goodsname为对象中的symbol值,即公司id

u.tmplid=3;//关联模板03

RESULT.AddLink(u);

}

⑤点击采集预览,如下所示:

5. 抽取公司高管链接

①新建一层模板03,并新建一个链接抽取。

②在浏览其中打开任意一个公司的链接,并再打开企业高管页面链接。

观察发现,企业高管页面链接规律为:

http://vip.stock.finance.sina.com.cn/corp/go.php/vCI_CorpManager/stockid/+公司id+.phtml

③填写脚本如下:

④采集预览,如下所示:

6.抽取高管链接

①新建模板04,在其下新建一个数据抽取,具体操作如下所示:

②填写示例地址,复制任意一个企业高管链接,在下图所示位置:

点击右上角保存后,双击模拟浏览器空白处,模拟浏览器加载出该页面。

③点击模板预览

④经观察发现,高管链接规律为,都包含:http://vip.stock.finance.sina.com.cn/corp/view/vCI_CorpManagerInfo.php?stockid=

⑤地址过滤,将地址中含有http://vip.stock.finance.sina.com.cn/corp/view/vCI_CorpManagerInfo.php?stockid=的链接都过滤出来。

7.抽取高管数据

①新建模板05,在其下新建一个数据抽取。

②关联模板,将模板04关联至模板05。

填写示例地址,将任意一个高管链接填写至如下位置:

③新建一个数据表单,具体步骤和字段属性如下所示:

④关联数据表单,如下图所示:

⑤数据取值

A. uname:打开浏览器,F12,查看高管名称,发现其在源码中,如下图所示。

使用脚本取值,具体如下图所示:

B. usex:使用定位取值的方法,进行取值。

C. ubirth:定位取值(同上)

D. Uedu:定位取值(同上)

E. Country:定位取值(同上)

F. Intro:定位取值(同上)

G. Company:定位取值(同上)

⑥采集预览

l 采集步骤

模板配置完成,采集预览没有问题后,可以进行数据采集。

①首先要建立采集数据表:

选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【qiyegaoguan】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。

②选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。

③采集中:

④采集结束后,可以在【数据浏览】中,选择数据表查看采集数据,并可以导出数据。

⑤导出的文件打开如下图所示:

Linux下使用curl发起post请求?

引言

cURL是一种命令行实用程序,用于使用一种受支持的协议,从远程服务器传输数据,或将数据传输到远程服务器。默认情况下,已安装在macOS和大多数Linux发行版上。

开发人员可以使用cURL来测试API接口,查看响应头和发出HTTP请求。

在本文中,我们将解释如何使用cURL发出POST请求。HTTP POST方法用于将数据发送到远程服务器

发出POST请求

curl 发出POST请求的命令的一般形式如下:

curl -X POST [options] [URL]

该-X选项指定与远程服务器通信时将使用哪种HTTP请求方法。

请求主体的类型由其Content-Type标头指定。通常,POST请求是通过HTML表单发送的。发送到表单的数据通常以multipart/form-data或application/x-www-form-urlencoded内容类型进行编码。

要创建POST请求,请使用-F选项,然后使用key=value配对。下面的示例说明如何向具有“name”和“email”字段的表单发出POST请求:

curl -X POST -F 'name=Jason' -F 'email=jason@example.com' https://example.com/contact.php

使用该-F选项时,curl使用 Content-Type 为“multipart/form-data”发送数据。

发出POST请求的另一种方法是使用-d选项。这导致curl使用application/x-www-form-urlencodedContent-Type发送数据。

curl -X POST -d 'name=Jason' -d 'email=jason@example.com' https://example.com/contact.php

如果-d多次使用该选项,则可以使用&符号合并数据:

curl -X POST -d 'name=Jason&email=jason@example.com' https://example.com/contact.php

指定Content-Type

要设置特定的标题或Content-Type,请使用-H选项。以下命令将POST请求类型设置为,application/json并发送JSON对象:

curl -X POST -H "Content-Type: application/json" -d '{"name": "Jason", "email": "jason@example.com"}' https://example/contact

文件上传

要使用curl来上传文件,只需在文件位置之前添加 at 符号。该文件可以是任何支持的类型。

curl -X POST -F 'image=@/home/user/Pictures/wallpaper.jpg' http://example.com/upload

写在最后

本文通过实例展示了Linux下的curl工具的POST使用方法,可轻松应对表单提交,文件上传等等情形,非常实用,也是线上诊断的利器。

Happy coding :-)

我是 @程序员小助手 ,持续分享编程知识,欢迎关注。

本文转载自互联网,如有侵权,联系删除