php怎么用日历表格

1、php怎么用日历表格，实际上却很厉害的软件？

1.电脑状态监测一直在用

状态栏监测上传下载内存cpu使用率还能设置流量上限，功能自己发掘

2.软解拆卸

拆卸很干净功能自己发掘

3.系统备份

很强大，系统备份后出问题直接回复省去装系统驱动时间

4.截屏，录像软件

这个截屏很专业可以滚动截屏，屏幕录像，小体积大用处

5.PDF文件底层直接编辑，转换格式只要是PDF的问题都能搞定

6.按键精灵，一个功能强大的仿真操作软件，你设置好程序他会自动控制鼠标键盘完成你需要操作的内容，懂

7.批量重命名软件1000个图片名字乱码，1秒改成自己设置的名字

8.图片转文字，超小速度快，

9.智能关机0.1，常用的一款自动关机软件

10.下载软件肯定不能少了，闪电下载榨干带宽的哪一种，支持磁力，种子下载（还能百度网盘不限速下载）还有手机app用了2年了很牛

11.电子书语音阅读软件

很好玩也实用

12.文本编辑软件，我用来去除电子书广告，重新排版很好用

13.秒找电脑上的文件，比系统自带好用多了

14.文件时间修改软件，对办公人员超级有用

15.视频编辑软件

16.还在为视频剪切，合并等待时间吗？试试这个软件2g的视频剪切处理10秒搞定画质还高清，你说气不气

17.2345看图王去广告版的，这个很好用60m的照片秒开，基本编辑都可以用

18.

还有许多就不一一介绍了，喜欢的请点个赞或者留言

2、php程序员面试题都有哪些？

想了解IT界的那些事儿，请关注萌新程序猿！！！

刚好我之前在自己的个人网站（www.onezero.cc

）中整理过此类的知识，因此特地奉上。

首先总结一下，既然是php程序员，下面的知识是最基本的：

你需要了解PHP的各类基础知识，php语法、面向对象、设计模式等等，其次你需要懂得PHP的开发框架的知识，tp、laveral、yii等，再次你需要了解前端的知识，了解数据库(mysql等)的知识，了解php运行的服务器环境nginx、apache等，更进一步你需要了解redis、缓存之类，最后你需要掌握web开发安全的相关知识，比如sql注入、xss等。写接口，很多公司是前后端完全分离。个人面试整理

1.PHP的魔术变量都有什么？

__LINE__ 文件中的当前行号。 __FILE__ 文件的完整路径和文件名。如果用在被包含文件中，则返回被包含的文件名。 __DIR__ 文件所在的目录。如果用在被包括文件中，则返回被包括的文件所在的目录。 __FUNCTION__ 常量返回该函数被定义时的名字 __CLASS__ 常量返回该类被定义时的名字（区分大小写）。 __METHOD__ 类的方法名（PHP 5.0.0 新加）。返回该方法被定义时的名字（区分大小写）。 __NAMESPACE__ 当前命名空间的名称（区分大小写）。此常量是在编译时定义。

2.PHP超级全局变量（9个）

$GLOBALS 储存全局作用域中的变量 $_SERVER 获取服务器相关信息 $_REQUEST 获取POST和GET请求的参数 $_POST 获取表单的POST请求参数 $_GET 获取表单的GET请求参数 $_FILES 获取上传文件的的变量 $_ENV 获取服务器端环境变量的数组 $_COOKIE 浏览器cookie的操作 设置cookie:setcookie(name, value, expire, path, domain); 获取cookie：$_COOKIE[“user”]; 删除cookie：setcookie(“user”, “”, time()-3600);//设置过期时间 $_SESSION 服务端session的操作 使用session前一定要session_start()启动session 储存session：$_SESSION[“name”]=”King”;//数组操作 销毁session：unset($_SESSION[“name”]);//销毁一个 session_destroy()和unset($_SESSION);//销毁所有的session

3.PHP魔术函数（13个）

__construct() 实例化对象时被调用，当__construct和以类名为函数名的函数同时存在时，__construct将被调用，另一个不被调用。 __destruct() 当删除一个对象或对象操作终止时被调用。 __call() 对象调用某个方法，若方法存在，则直接调用；若不存在，则会去调用__call函数。 __get() 读取一个对象的属性时，若属性存在，则直接返回属性值；若不存在，则会调用__get函数。 __set() 设置一个对象的属性时，若属性存在，则直接赋值；若不存在，则会调用__set函数。 __toString() 打印一个对象的时被调用。如echo $obj;或print $obj; __clone() 克隆对象时被调用。如：$t=new Test();$t1=clone $t; __sleep() serialize之前被调用。若对象比较大，想删减一点东东再序列化，可考虑一下此函数。 __wakeup() unserialize时被调用，做些对象的初始化工作。 __isset() 检测一个对象的属性是否存在时被调用。如：isset($c->name)。 __unset() unset一个对象的属性时被调用。如：unset($c->name)。 __set_state() 调用var_export时，被调用。用__set_state的返回值做为var_export的返回值。 __autoload() 实例化一个对象时，如果对应的类不存在，则该方法被调用。

4.前端后端的常用开发框架都有哪些？

前端：(1) CSS: Bootstrap、EasyUI

(2)JavaScript：VUE.js、angular.Js、jQuery.js。

后端：thinkPHP、Yii、Laravel、swoole、workerman(当时只想到这几个)、。

5.如何查看防火墙开放的端口号service iptables status

6.查看防火墙特定的端口号,例如80端口的状态？netstat -an | grep 80 查看80端口被什么占用netstat -tunlp | grep 80lsof -i:80

7.Linux系统中System进程占用大量CPU，可能的原因？（1） 进入了一个死循环无法跳出来；（2） 也许是一直在等待一个信号，如从dbus上读取一个用户需要的信息； #dbus是一个为应用程序间通信的消息总线系统, 用于进程之间的通信。（3） 有可能是程序在对一个非常大的内容进行分析和处理；（4） 有可能是程序要处理的问题比较多，所以在一个个慢慢的执行。

8.说一下HTTP2.0与HTTP1.0的根本区别。

9.InnoDB和MyISAM的区别是什么，二者分别应用与什么方面？

10.用尽量多的方法说明如何提高一个网页的访问速度。

11.请设计一个通信协议，实现与摄像头之间的通信，要注意协议的安全性和可扩展性。

12.如果一个公司有几十个系统，每一个系统都需要登录，现在请你设计一个系统，可以实现每一个系统的单点登录。

其他整理

1、用PHP打印出前一天的时间格式是2017-9-5 15:30:21

echo date(‘Y-m-d H:i:s’, strtotime(‘-1 day’));

2、echo(),print(),print_r()的区别

echo是PHP语句, print和print_r是函数,语句没有返回值,函数可以有返回值(即便没有用)

print只能打印出简单类型变量的值(如int,string)

print_r可以打印出复杂类型变量的值(如数组,对象)

echo — 输出一个或者多个字符串

3、能够使HTML和PHP分离开使用的模板

smarty，Heyes Template Class等

5、使用哪些工具进行版本控制？

VS Server on Apache作服务端,WinCVS作客户端;Subversion on Apache/DAV 做服务端,TortoiseSVN做客户端,或者Subclipse做客户端.

6、如何实现字符串翻转？

strrev()

7、优化MYSQL数据库的方法。

(1).选取最适用的字段属性,应该尽量把字段设置为NOT NULL，这样在将来执行查询的时候，数据库不用去比较NULL值。

(2).使用连接（JOIN）来代替子查询(Sub-Queries)

(3).使用联合(UNION)来代替手动创建的临时表

(4).尽量少使用 LIKE 关键字和通配符

(5).使用事务和外键

8、PHP的意思

Hypertext Preprocessor

9、MYSQL取得当前时间的函数是?，格式化日期的函数是

now(), DATE_FORMAT(date,format)

10、实现中文字串截取无乱码的方法。

mb_substr()

11、您是否用过版本控制软件? 如果有您用的版本控制软件的名字是?

TortoiseSVN-1.2.6 svn-1.2.3

12、您是否用过模板引擎? 如果有您用的模板引擎的名字是?

smarty

13、请简单阐述您最得意的开发之作

14、对于大流量的网站,您采用什么样的方法来解决访问量问题?

首先，确认服务器硬件是否足够支持当前的流量

其次，优化数据库访问。

第三，禁止外部的盗链。

第四，控制大文件的下载。

第五，使用不同主机分流主要流量

第六，使用流量分析统计软件。

—————————————————————–

15、用PHP写出显示客户端IP与服务器IP的代码

16、语句include和require的区别是什么?为避免多次包含同一文件，可用(?)语句代替它们?

require()和include()除了怎样处理失败之外在各

方面都完全一样。include()产生一个警告而require()则导致一个致命错误。

换句话说，如果你想在丢失文件时停止处理页面,用require()。include() 就不是这样，脚本会继续运行。

require()无论如何都会包含文件,而include()可以有选择地包含.

代替用

include_once

require_once

17、如何修改SESSION的生存时间.

18、有一个网页地址, 比如PHP开发资源网主页: ,如何得到它的内容?

19、在HTTP 1.0中，状态码401的含义是(?)；如果返回“找不到文件”的提示，则可用 header 函数，其语句为(?);

未授权（Unauthorized)

3、有哪些比较冷门的实用网站？

很对人对于软件都有一种「收藏」的习惯，觉得这可能是一个工具就把它购买或下载放在那里，新鲜了两天就搁置在那儿，终究成了橱柜上的一个布满灰尘的摆设。其实很多时候我们可以换个思路，如果这个工具是在网页上，用的时候再打开，不用的时候就关闭，既不占用你电脑空间，也不受限于设备的系统，或许还能帮你省下不少的钱，今天少数派就为大家介绍一些实用而且有趣的网页工具。

Internet Speed Test

一个良好的网速大概会有 80% 的概率提高我们的生产力和执行力，糟糕的网速大概会有 99% 的概率影响我们的情绪。所以经常会有一些朋友频繁的测量网速，有的选择下载一款软件进行测量，有的随便找一个网站就将就了。而 FAST 和 SPEEDTEST 是两家「优雅」的测速站点，只点击一下 ► 按钮再稍等片刻，你的网速测试结果就会呈现在你的面前，无污染、零广告、完全免费。

witeboard

白板的用处有很多，打草稿，记录突如其来的灵感，或者玩玩你画我猜也是可以的，witeboard 就是这样的一个随开随用的白板网站。这个网站的构造非常简洁，工具只有画笔、文本框、橡皮擦，虽然工具简单，但几乎所有的操作都支持快捷键，无需你去工具中点来点去。如果你绘制的图像趋于一定的形状，例如圆形、矩形，它可以自动的转换为标准形状。绘制完成的白板，也可以通过右上角的「Share」分享给其他的人，而其余的人也可以进行编辑，而两边的画面也是同步的。除此之外，该网站也提供了 Slack 群组的插件，如果你们有用到 Slack，不妨添加这款插件试一试。

在线 Markdown 编辑器

不知道前段时看了 《想学 Markdown？这篇文章帮你快速上手》 之后有没有想尝试一下 Markdown 的冲动，对于还没选择到合适 Markdown 工具的时候，不如先用这款在线 Markdown 编辑器体验一下语法，在这里左侧输入的文本内容都会实时的显示右侧和下侧，分别是 HTML 格式预览以及实时效果预览。但是在网站编辑的内容并没有提供保存到本地的入口，如果你需要请及时复制粘贴。建议只是作为临时备用方案或是体验方案，如需深度体验还是选择专门的 Markdown 工具。

草料二维码

二维码在生活中可以说是非常常见了，从付款码到共享单车，随处可见。其实对于我们来说，不仅可以扫码当然也可以制作二维码，例如我们想分享某个网址，或者把我们的 Wi-Fi 提供给别人（可以用这个 Workflow）。而草料二维码不仅给我们提供了制作二维码的途径，也为我们附上了一些「优雅」姿势。在这里你只需要输入的文本内容，在右侧选择二维码属性。可以选择直接使用模版图案快速美化，也可以使用旧版的美化器（功能齐全）来进行更细致的操作，例如选择背景前景图、颜色以及二维码状态。这样以来，不论你的二维码用在哪里，都再也不怕单调无味。

图片处理

图片在我们生活中的用处太多了，但时常我们也会因为图片的事情而苦恼。因为在不同的使用场景里，对图片的要求可能都不太一样，例如有的限制了大小，有的限制了格式。对于这些问题，我们其实不需要复杂了步骤，也不需要安装一些软件，只需要上传一下然后处理就可以了。对于图片的格式问题，你只需要在 Jinaconvert 上选择你需要的格式类型，再将图片文件上传至即可。

你在上传图片时因为大小而受到了限制，可以在 TinyPNG 这个网站上进行压缩操作。该网站支持对 和 格式的图片进行压缩，只需要将图片拖拽至网站的窗口即可，一次性可以压缩 20 张，且质量非常不错。如果你非常喜欢它，也可以移步阅读 《TinyPNG 是我最喜欢的在线压图服务，现在有人给它做了 macOS 客户端》。

Ringer

手机的铃声是不是从来没有更换过，可能是因为制作铃声的方法有那么点复杂，一步步的操作加上各式软件，或许就让你放弃了这个念头。其实，你只需要把各类格式的音乐源文件上传到 Ringer 上，选择选上铃声的开头结尾。最后选择 M4R 或是 MP3 就可以了，可以说是免费又快捷了。

Keyboard Layout Editor

Keyboard Layout Editor 是一个键盘图纸设计的网站，它的作用可以说是非常的多。如果你刚上手一个软件，但是却无法记住它的全部快捷键，不如直接将快捷强的功能放置在图纸上，打印下来贴在桌边，帮助你记忆。如果你正常考虑一款机械键盘的配色，你可以在这上面选择相应的键位进行颜色的修改，最后看看整体的配色效果。它的自定义程度非常的高，在这里几乎可以编辑键位所有的参数，所以它究竟能起到什么样的作用，就看你如何利用它了。设计好的内容网站也提供了五种格式的文件方便用户下载，如果喜欢不妨加入到收藏夹里。

Gifntext

还记得网上很火的「为所欲为」和「王境泽」吧，丰富的表情配上字幕，随随便便就是一个表情包。其实为 Gif 添加字幕也没有那么的困难，只需要将准备好的 Gif 文件上传到 Gifntext 上，然后就可以对播放速度以及画面尺寸进行调节。于此同时，也可以自由的在时间轴中加入想要的字幕、图片或是涂鸦。网站最大可以上传 100M 的 Gif 文件，修改完成后创建的动图自动的进行压缩。

如果你还有其他有意思的以及实用的网络在线工具，也欢迎在评论区留言推荐给大家！🎉

4、Python爬虫和数据分析需要哪些知识储备？

数据是决策的原材料，高质量的数据价值不菲，如何挖掘原材料成为互联网时代的先驱，掌握信息的源头，就能比别人更快一步。

大数据时代，互联网成为大量信息的载体，机械的复制粘贴不再实用，不仅耗时费力还极易出错，这时爬虫的出现解放了大家的双手，以其高速爬行、定向抓取资源的能力获得了大家的青睐。

爬虫变得越来越流行，不仅因为它能够快速爬取海量的数据，更因为有python这样简单易用的语言使得爬虫能够快速上手。

对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情，但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议你从一开始就要有一个具体的目标。

在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。

基于python爬虫，我们整理了一个完整的学习框架：

筛选和甄别学习哪些知识，在哪里去获取资源是许多初学者共同面临的问题。

接下来，我们将学习框架进行拆解，分别对每个部分进行详细介绍和推荐一些相关资源，告诉你学什么、怎么学、在哪里学。

爬虫简介

爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

这个定义看起来很生硬，我们换一种更好理解的解释：

我们作为用户获取网络数据的方式是浏览器提交请求->下载网页代码->解析/渲染成页面；而爬虫的方式是模拟浏览器发送请求->下载网页代码->只提取有用的数据->存放于数据库或文件中。

爬虫与我们的区别是，爬虫程序只提取网页代码中对我们有用的数据，并且爬虫抓取速度快，量级大。

随着数据的规模化，爬虫获取数据的高效性能越来越突出，能够做的事情越来越多：

市场分析：电商分析、商圈分析、一二级市场分析等市场监控：电商、新闻、房源监控等商机发现：招投标情报发现、客户资料发掘、企业客户发现等

进行爬虫学习，首先要懂得是网页，那些我们肉眼可见的光鲜亮丽的网页是由HTML、css、javascript等网页源码所支撑起来的。

这些源码被浏览器所识别转换成我们看到的网页，这些源码里面必定存在着很多规律,我们的爬虫就能按照这样的规律来爬取需要的信息。

无规矩不成方圆，Robots协议就是爬虫中的规矩，它告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。

通常是一个叫作robots.txt的文本文件，放在网站的根目录下。

轻量级爬虫

“获取数据——解析数据——存储数据”是爬虫的三部曲，大部分爬虫都是按这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。

1、获取数据

爬虫第一步操作就是模拟浏览器向服务器发送请求，基于python，你不需要了解从数据的实现，HTTP、TCP、IP的网络传输结构，一直到服务器响应和应达的原理，因为python提供了功能齐全的类库来帮我们完成这些请求。

Python自带的标准库urllib2使用的较多，它是python内置的HTTP请求库，如果你只进行基本的爬虫网页抓取，那么urllib2足够用。

Requests的slogen是“Requests is the only Non-GMO HTTP library for Python, safe for humanconsumption”，相对urllib2，requests使用起来确实简洁很多，并且自带json解析器。

如果你需要爬取异步加载的动态网站，可以学习浏览器抓包分析真实请求或者学习Selenium来实现自动化。

对于爬虫来说，在能够爬取到数据地前提下当然是越快越好，显然传统地同步代码不能满足我们对速度地需求。

（ps：据国外数据统计：正常情况下我们请求同一个页面 100次的话，最少也得花费 30秒，但使用异步请求同一个页面 100次的话，只需要要 3秒左右。）

aiohttp是你值得拥有的一个库，aiohttp的异步操作借助于async/await关键字的写法变得更加简洁，架构更加清晰。使用异步请求库进行数据抓取时，会大大提高效率。

你可以根据自己的需求选择合适的请求库，但建议先从python自带的urllib开始，当然，你可以在学习时尝试所有的方式，以便更了解这些库的使用。

推荐请求库资源:

urllib2文档：https://dwz.cn/8hEGdsqDrequests文档 ：http://t.cn/8Fq1aXrselenium文档：https://dwz.cn/DlL9j9hfaiohttp文档：https://dwz.cn/hvndbuB4

2、解析数据

爬虫爬取的是爬取页面指定的部分数据值，而不是整个页面的数据，这时往往需要先进行数据的解析再进行存储。

从web上采集回来的数据的数据类型有很多种,主要有HTML、 javascript、JSON、XML等格式。解析库的使用等价于在HTML中查找需要的信息时时使用正则，能够更加快捷地定位到具体的元素获取相应的信息。Css选择器是一种快速定位元素的方法。Pyqurrey使用lxml解析器进行快速在xml和html文档上操作，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。

Beautiful Soup是借助网页的结构和属性等特性来解析网页的工具，能自动转换编码。支持Python标准库中的HTML解析器,还支持一些第三方的解析器。

Xpath最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。它提供了超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等，并且XQuery和XPointer都构建于XPath基础上。

Re正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。个人认为前端基础比较扎实的，用pyquery是最方便的，beautifulsoup也不错，re速度比较快，但是写正则比较麻烦。当然了，既然用python，肯定还是自己用着方便最好。

推荐解析器资源：

pyquery https://dwz.cn/1EwUKsEGBeautifulsoup http://t.im/ddfvxpath教程 http://t.im/ddg2re文档 http://t.im/ddg6

3、数据存储

当爬回来的数据量较小时，你可以使用文档的形式来储存，支持TXT、json、csv等格式。但当数据量变大，文档的储存方式就行不通了，所以掌握一种数据库是必须的。

Mysql 作为关系型数据库的代表，拥有较为成熟的体系，成熟度很高，可以很好地去存储一些数据，但在在海量数据处理的时候效率会显著变慢，已然满足不了某些大数据的处理要求。

MongoDB已经流行了很长一段时间，相对于MySQL ，MongoDB可以方便你去存储一些非结构化的数据，比如各种评论的文本，图片的链接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。因为这里要用到的数据库知识其实非常简单，主要是数据如何入库、如何进行提取，在需要的时候再学习就行。

Redis是一个不折不扣的内存数据库，Redis 支持的数据结构丰富，包括hash、set、list等。数据全部存在内存，访问速度快，可以存储大量的数据，一般应用于分布式爬虫的数据存储当中。

推荐数据库资源：

mysql文档 https://dev.mysql.com/doc/mongoDB文档 https://docs.mongodb.com/redis文档 https://redis.io/documentation/工程化爬虫

掌握前面的技术你就可以实现轻量级的爬虫，一般量级的数据和代码基本没有问题。

但是在面对复杂情况的时候表现不尽人意，此时，强大的爬虫框架就非常有用了。

首先是出身名门的Apache顶级项目Nutch，它提供了我们运行自己的搜索引擎所需的全部工具。支持分布式抓取，并有Hadoop支持，可以进行多机分布抓取，存储和索引。另外很吸引人的一点在于，它提供了一种插件框架，使得其对各种网页内容的解析、各种数据的采集、查询、集群、过滤等功能能够方便的进行扩展。

其次是GitHub上众人star的scrapy，scary是一个功能非常强大的爬虫框架。它不仅能便捷地构建request，还有强大的 selector 能够方便地解析 response，然而它最让人惊喜的还是它超高的性能，让你可以将爬虫工程化、模块化。学会scrapy，你可以自己去搭建一些爬虫框架，你就基本具备爬虫工程师的思维了。

最后Pyspider作为人气飙升的国内大神开发的框架，满足了绝大多数Python爬虫的需求 —— 定向抓取，结构化化解析。它能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储等。其功能强大到更像一个产品而不是一个框架。这是三个最有代表性的爬虫框架，它们都有远超别人的有点，比如Nutch天生的搜索引擎解决方案、Pyspider产品级的WebUI、Scrapy最灵活的定制化爬取。建议先从最接近爬虫本质的框架scary学起，再去接触人性化的Pyspider，为搜索引擎而生的Nutch。

推荐爬虫框架资源：

Nutch文档 http://nutch.apache.org/scary文档 https://scrapy.org/pyspider文档 http://t.im/ddgj反爬及应对措施

爬虫像一只虫子，密密麻麻地爬行到每一个角落获取数据，虫子或许无害，但总是不受欢迎的。因为爬虫技术造成的大量IP访问网站侵占带宽资源、以及用户隐私和知识产权等危害，很多互联网企业都会花大力气进行“反爬虫”。

你的爬虫会遭遇比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。

常见的反爬虫措施有：

通过Headers反爬虫基于用户行为反爬虫基于动态页面的反爬虫字体反爬.....

遇到这些反爬虫的手段，当然还需要一些高级的技巧来应对，控制访问频率尽量保证一次加载页面加载且数据请求最小化，每个页面访问增加时间间隔；

禁止cookie可以防止可能使用cookies识别爬虫的网站来ban掉我们；

根据浏览器正常访问的请求头对爬虫的请求头进行修改，尽可能和浏览器保持一致等等。

往往网站在高效开发和反爬虫之间会偏向前者，这也为爬虫提供了空间，掌握这些应对反爬虫的技巧，绝大部分的网站已经难不到你了。

分布式爬虫

爬取基本数据已经没有问题，还能使用框架来面对一写较为复杂的数据，此时，就算遇到反爬，你也掌握了一些反反爬技巧。

你的瓶颈会集中到爬取海量数据的效率，这个时候相信你会很自然地接触到一个很厉害的名字：分布式爬虫。

分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理将多台主机组合起来，共同完成一个爬取任务，需要你掌握 Scrapy +Redis+MQ+Celery这些工具。

Scrapy 前面我们说过了，用于做基本的页面爬取， Redis 则用来存储要爬取的网页队列，也就是任务队列。

scarpy-redis就是用来在scrapy中实现分布式的组件，通过它可以快速实现简单分布式爬虫程序。

由于在高并发环境下，由于来不及同步处理，请求往往会发生堵塞，通过使用消息队列MQ，我们可以异步处理请求，从而缓解系统的压力。

RabbitMQ本身支持很多的协议：AMQP，XMPP, SMTP,STOMP，使的它变的非常重量级，更适合于企业级的开发。

Scrapy-rabbitmq-link是可以让你从RabbitMQ 消息队列中取到URL并且分发给Scrapy spiders的组件。Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统。支持 RabbitMQ、Redis 甚至其他数据库系统作为其消息代理中间件， 在处理异步任务、任务调度、处理定时任务、分布式调度等场景表现良好。

所以分布式爬虫只是听起来有些可怕，也不过如此。当你能够写分布式的爬虫的时候，那么你可以去尝试打造一些基本的爬虫架构了，实现一些更加自动化的数据获取。

推荐分布式资源：

scrapy-redis文档 http://t.im/ddgkscrapy-rabbitmq文档 http://t.im/ddgncelery文档 http://t.im/ddgr

你看，通过这条完整的学习路径走下来，爬虫对你来说根本不是问题。

因为爬虫这种技术，既不需要你系统地精通一门语言，也不需要多么高深的数据库技术。

解锁每一个部分的知识点并且有针对性的去学习，走完这一条顺畅的学习之路，你就能掌握python爬虫。

以上便是本文内容，有帮助点赞喜欢支持一下吧。。

5、MySQL全部学完要多久？

结合自身的经历谈下这个问题，不一定适合于所有人。

感觉可以分为下列几个学习阶段。

HTML+CSS

这两个应该是对初学者比较友好的了，html大概了解一些常用的标签，css的话看下各种选择器的写法，然后找个网站模仿着写一遍样式，基本上就有感觉了。之所以推荐这两个先学除了简单，还有成就感，写的东西直接以页面展示出来，这比很多大学以C教学，对着命令行打印一堆数据的体验要好很多。你甚至可以尝试着写一个静态网站来做一个自己的简历，展示到朋友圈。

学习资源的话，推荐两本书吧。

《Head First HTML and CSS》

Head First系列的书一直评价很高，这本书也是。但我觉得其实没必要一来就学那么多，很多标签和属性你都记不住，更不用说css那么多属性了，很多从业多年的前端应该也只能记住其中的大部分吧。推荐的学习方法是Learn by doing.过程中遇到问题的话，学会用搜索引擎+MDN.

《CSS Secrets》

看完这本书你会感叹，原来CSS还可以这样写。

JavaScript

js的话还是比较复杂的，很难短时间就掌握的很好，但你至少要搞懂一些基本的控制流语法，变量，常量，函数，类这些东西。至少做到你参考别人的代码能看懂别人大概在写啥。

小白可以看下这本GitBook上的书，基础的东西都有涉及，也不长。最多一个小时就能看完。https://www.gitbook.com/book/xinqiu/learn-javascript-cn/details

稍微有基础了，想深入学JavaScript这门语言的话，可以看下《Javascript权威指南》这本书。

但老实说，这本书虽然很好，但是不适合初学者看，我看了一部分之后觉得纯看书籍的话还是太无聊了，不太适合自己，遂弃之。

相比之下，我更推荐廖雪峰大神的《JavaScript教程》https://www.liaoxuefeng.com/wiki/001434446689867b27157e896e74d51a89c25cc8b43bdb3000，在网上就能看，前面很基础，然后后面开始飙车。大家可以选择性看，文中提到了很多初学者会遇到的坑，比如var that = this.这种小技巧。很多时候初学者会被这种问题困扰很久，有人指路会帮你节省很多时间。

之后你可以了解一些ES6的新语言特性，然后试着用React，Vue，Angular之类的框架来试试。

选择的话，感觉新手推荐Vue，封装的很好，有时会觉得就算不会js，跟着Vue的教程，也能开始写一些东西。React的话，个人感觉要稍微难点，写的感觉和原生的JavaScript要接近些。Angular没写过就不评价了。但这三个框架的很多思想其实有共同之处，学会一个，学另一个会简单很多。所以不必太过纠结。而且前端这个领域，技术更新很快，如果你想学一门一劳永逸的技术，那么前端很可能并不适合你。

PHP+Mysql

这两个感觉是相互依赖的，写PHP不可避免的就要操作数据库。PHP我写的也比较少，只用Phalapi写过一个小网站，但感觉整体写起来的感觉不是那么爽，但也有可能是我打开的方式不对，数据库的话，php有别人封装好的ORM库可以对数据库进行操作，这使得你可以不会sql语法也能对数据库进行操作，实在需要用到sql的时候，可以查下文档，然后模仿着写。因为这方便了解的不多，就不瞎提建议了。

不过虽然php是世界上最好的语言，我也建议你有机会试试python或者node.js。或许会打开新世界的大门。

以上这些内容如果自学的话没个至少需要一两年的时间，还无法保证能学会。培训大概需要5个月的时间。想全部掌握好以上只是，可以来千锋武汉IT培训机构系统全面学习一下。千锋全程面授模式教学，真实项目实战，可先来免费试听两周，实地亲身体验下！