php怎么爬取代码，现在学python还有用吗？
有用，现在很多小孩子也开始学习了。Python作为人工智能的第一语言，以后前景还是很大的。很多学校也都增设了相关的课程。还是早点学习比较好。我也在学习这方面。以前觉得这项技术挺远的，后来有个朋友找文员的工作，人家要求会用Python整理数据，瞬时有了危机感，就一起行动了。现在在百战程序员提升自己，学习时间很灵活，因为平时还要上班，这个很适合，随时可以学习，还有老师答疑。之前看过高淇老师的Python400集，很喜欢，收获很大，所以关注的比较多。这个免费资料不错的，你也可以去看看。学习Python肯定是有用的，数据分析，爬虫，都能很好的辅助工作，可以多了解下。
网站里的robots文件是什么意思？
搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”
蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。
Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。
举个例子：建立一个名为robots.txt的文本文件，然后输入User-agent: * 星号说明允许所有搜索引擎收录Disallow: index.php? 表示不允许收录以index.php?前缀的链接，比如index.php?=865Disallow: /tmp/ 表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/232.html
为什么现在Python一下子就不火了？
打开招聘网站搜索发现，Python的招聘岗位虽然没有老牌的Java语言那么多，但薪资普遍非常高。
无论你是否清楚这个事实，Python实际上已经不是一门年轻的编程语言了。虽然Python也不如其它一些语言那么年长，但它仍然比大部分人所想的要更老一些。Python第一次发布的时间是在1991年，虽然这些年它也经历了相当大的改变，但Python现在的用处跟当时并没有什么差别。
其实这几年Python还是比较火的，为什么这么说，首先有几个原因：
1. 出现时间早
Python大约诞生于90年代。这不仅意味着它有足够的时间成长，还获得了一个庞大的粉丝群体。
2. 适合初学者
Python已经存在了数十年，程序员们可利用这段时间写出优质的教程。除此之外，Python的语法也很容易理解。
3. 用途广泛
Python已经存在了相当长的时间，开发人员们根据不同目的制作出了不同的程序包。现在，几乎所有的东西都能打包。
Python由于其简洁优美和极高的开发效率，得到了国内越来越多公司的青睐，会有越来越多的公司选用Python进行网站Web、搜索引擎（Google）、e68a84e8a2ade799bee5baa6e997aee7ad9431333433633437云计算（OpenStack）、大数据、人工智能（AlphaGo）、科学计算等方向的开发。有人预言，Python会成为继C++和Java之后的第三个主流编程语言，有着广阔的发展前景！
Python 在数据分析、数据挖掘、人工智能、Web开发等方面都大有发挥之处，再加上人工智能大量依赖数据，数据相关岗位人才的稀缺，Python现在的职位可谓是炙手可热。
所以现在学习Python还是可以的，比较热门
python主要用于什么开发？
为什么这么多人在学Python呢？很多小白都听说Python很火，简单易学，学起来很容易，学习周期短，可是为啥要学Python呢？，下面谈谈我对Python的感悟。
在PC时代大量的嵌入式的设备，底层的代码，底层原理，以及底层逻辑运用，以及桌面的应用都是用C、C++实现的，毋庸置疑它们是最接近底层，对底层有着强大的解释说服力，也是最早的、最快的。随着2000年电商的大规模的兴起，多数人融入到这个大家庭中，逐渐地从PC时代过度到互联网时代，Java开始王者归来，再加上2010移动互联网的爆发Android开始风靡起来，Java更是如日中天，走向了辉煌。那我们现在为什么要学习Python呢？Python到底是用来干什么的？1、Web开发Python的诞生历史比Web还要早，由于Python是一种解释型的脚本语言，开发效率高，所以非常适合用来做Web开发，大大提高了做web开发人员的效率。Python有上百种Web开发框架，有很多成熟的模板技术，选择Python开发Web应用，不但开发效率高，而且运行速度快，加快了时代的发展。常用的web开发框架有：Django、Flask、Tornado 等。许多知名的互联网企业或者小型公司将Python作为主要开发语言：豆瓣、知乎、果壳网、Google、NASA、YouTube、Facebook……由于后台服务器的通用性，除了狭义的网站之外，很多App和游戏的服务器端也同样用 Python实现，来运行，完成相应的工作。一个Web应用的本质就是：浏览器发送一个HTTP请求；服务器收到请求，生成一个HTML文档；服务器把HTML文档作为HTTP响应的Body发送给浏览器；浏览器收到HTTP响应，从HTTP Body取出HTML文档并显示。所以，最简单的Web应用就是先把HTML用文件保存好，用一个现成的HTTP服务器软件，接收用户请求，从文件中读取HTML，返回。Apache、Nginx、Lighttpd等这些常见的静态服务器就是干这件事情的，完成这些事情的。如果要动态生成HTML，就需要把上述步骤自己来实现。不过，接受HTTP请求、解析HTTP请求、发送HTTP响应都是苦力活，如果我们自己来写这些底层代码，还没开始写动态HTML呢，就得花个把月去读HTTP规范。正确的做法是底层代码由专门的服务器软件实现，我们用Python专注于生成HTML文档。因为我们不希望接触到TCP连接、HTTP原始请求和响应格式，所以，需要一个统一的接口，让我们专心用Python编写Web业务。这个接口就是WSGI：Web Server Gateway Interface。（Web服务器网关接口）wsgi就是一种规范，它定义了使用web应用程序与Python编写的web服务器程序之间的接口格式。无论多么复杂的Web应用程序，入口都是一个WSGI处理函数。HTTP请求的所有输入信息都可以通过environ获得，HTTP响应的输出都可以通过start_response()加上函数返回值作为Body。WSGI接口定义非常简单，它只要求Web开发者实现一个函数，就可以响应HTTP请求。我们来看一个最简单的Web版本的“Hello，web!”：上面的application()函数就是符合WSGI标准的一个HTTP处理函数，它接收两个参数：environ：一个包含所有HTTP请求信息的dict对象；start_response：一个发送HTTP响应的函数。在application()函数中，调用：就发送了HTTP响应的Header，注意Header只能发送一次，也就是只能调用一次start_response()函数。start_response()函数接收两个参数，一个是HTTP响应码，一个是一组list表示的HTTP Header，每个Header用一个包含两个str的tuple表示。通常情况下，都应该把Content-Type头发送给浏览器。其他很多常用的HTTP Header也应该发送。然后，函数的返回值'<h1>Hello, web!</h1>'将作为HTTP响应的Body发送给浏览器。有了WSGI，我们关心的就是如何从environ这个dict对象拿到HTTP请求信息，然后构造HTML，通过start_response()发送Header，最后返回Body。了解了WSGI框架，我们发现：其实一个Web App，就是写一个WSGI的处理函数，针对每个HTTP请求进行响应。但是如何处理HTTP请求不是问题，问题是如何处理100个不同的URL。由于用Python开发一个Web框架十分容易，所以Python有上百个开源的Web框架。各种Web框架的优缺点自己去了解一下就可以了，直接选择一个比较流行的Web框架——Flask来使用。除了Flask，常见的Python Web框架还有：Django：全能型Web框架；web.py：一个小巧的Web框架；Bottle：和Flask类似的Web框架；Tornado：Facebook的开源异步Web框架。做一个游戏2、网络爬虫许多人对编程的热情始于好奇，终于停滞，小有成就就止步于此。距离真枪实干做开发有技术差距，也无人指点提带，也不知当下水平能干嘛？就在这样的疑惑循环中，编程技能止步不前，而爬虫是最好的进阶方向之一。网络爬虫是Python比较常用的一个场景，国际上，google在早期大量地使用Python语言作为网络爬虫的基础，带动了整个Python语言的应用发展。以前国内很多人用采集器搜刮网上的内容，现在用Python收集网上的信息比以前容易很多了，如：从各大网站爬取商品折扣信息，比较获取最优选择；对社交网络上发言进行收集分类，生成情绪地图，分析语言习惯；爬取网易云音乐某一类歌曲的所有评论，生成词云；按条件筛选获得豆瓣的电影书籍信息并生成表格……应用实在太多，几乎每个人学习爬虫之后都能够通过爬虫去做一些好玩有趣有用的事。例子：爬取网络上的歌曲3、人工智能人工智能是现在非常火的一个方向，AI热潮让Python语言的未来充满了无限的潜力。现在释放出来的几个非常有影响力的AI框架，大多是Python的实现，为什么呢？因为Python有很多库很方便做人工智能，比如numpy, scipy做数值计算的，sklearn做机器学习的，pybrain做神经网络的，matplotlib将数据可视化的。在人工智能大范畴领域内的数据挖掘、机器学习、神经网络、深度学习等方面都是主流的编程语言，得到广泛的支持和应用。人工智能的核心算法大部分还是依赖于C/C++的，因为是计算密集型，需要非常精细的优化，还需要GPU、专用硬件之类的接口，这些都只有C/C++能做到，所有c/c++和P相结合就可以实现人工智能。4、Python的其他应用举例系统编程：提供API，能方便进行系统维护和管理，Linux下标志性语言之一，是很多系统管理员理想的编程工具。图形处理：有PIL、Tkinter等图形库支持，能方便进行图形处理。数学处理：NumPy扩展提供大量与许多标准数学库的接口。文本处理：Python提供的re模块能支持正则表达式，还提供SGML，XML分析模块，许多程序员利用Python进行XML程序的开发。数据库编程：程序员可通过遵循PythonDB-API（数据库应用程序编程接口）规范的模块与MicrosoftSQLServer，Oracle，Sybase，DB2，MySQL、SQLite等数据库通信。Python自带有一个Gadfly模块，提供了一个完整的SQL环境。网络编程：提供丰富的模块支持sockets编程，能方便快速地开发分布式应用程序。很多大规模软件开发计划例如Zope，Mnet及BitTorrent.Google都在广泛地使用它。Web编程：应用的开发语言，支持最新的XML技术。多媒体应用：Python的PyOpenGL模块封装了“OpenGL应用程序编程接口”，能进行二维和三维图像处理。PyGame模块可用于编写游戏软件。黑客编程： Python有一个hack的库，内置了你熟悉的或不熟悉的函数，但是缺少成就感。以上内容分享自华为云社区《【云驻共创】你知道在未来Python主要的运用途径和领域吗？》，作者：楠羽。做一名黑客有多难？
做一名黑客说难很难，说不难也不是很难，就看你要做到多强大。专业术语听起来很难懂，这里用一个故事做比喻会比较容易理解。网络好比一个城市，电脑好比一块地皮，操作系统就是在地皮上建的一栋房子，各个软件就是房子里的各个功能用具。房子的主人就是电脑的使用者，而黑客就是“小偷”。那做电脑里的小偷有多难呢？下面就详细分析一下。
1、小偷要偷东西，必须要先找到目标现实中的小偷去偷东西前，都会先踩点物色目标。而要去踩点，就必须非常熟悉房子对外的门户，以及通往该房子的道路和车流。网络世界的黑客也一样，他们如果想要进电脑偷东西，就必须要先找到有东西可偷的房子。这就是黑客要掌握的第一个技术“扫描技术”，该技术必须要做到可以发现对外提供的某些特定服务的电脑。所以，黑客必须要非常熟悉电脑对外服务的特性及工作原理，也必须非常熟悉各类网络协议的工作原理。
2、找到目标后，就要开始找进入方法当小偷确定好目标后，就要开始分析目标的弱点，以便找到一条进入目标的方法。黑客也一样，它想要进入电脑，就得开始分析电脑的弱点，然后找到进入的秘密通道。这就是黑客要掌握的第二门技术“弱点分析”。这也要求黑客非常熟悉操作系统的工作原理和软件的架构。同时还必须要非常擅长发现bug、漏洞。有时候目标电脑防护非常严密，黑客还需要借助它的左邻右舍去发现秘密通道。这也就要求黑客需要懂得网络共享、网络访问等技术。
3、找到进入方法后，就要开始冒险之旅了小偷找到进入的方法后，这要开始冒险进入房子了。但是，房子可不是那么随便就可以进入的。小偷需要攻克几道难关，它们分别如下：
翻墙技能：安全一点房子都会在外围有一个围墙，围墙上有铁丝还有报警器。围墙下可能还有未知的陷阱。打狗棒法：有的房子主人养有看家犬。小偷要想过这道关，要么把狗悄无声息地干掉。要么就伪装自己，让狗以为你是可以进入之人。开锁技能：碰到有锁的门或者箱子，小偷要能够快速解锁。飞檐走壁：一不小心碰到房子里有人，小偷必须得巧妙地避开，而且不能让主人发现蛛丝马迹。所以飞檐走壁，不留痕迹是必不可少的。黑客同样面临小偷面对的问题，找到方法后，要开始攻击电脑，就需要攻克这些难题。它们对应的难题如下：
绕过安全软件：很多电脑都装有防火墙，防病毒等软件，它们会阻止异常的访问行为。而且重要的服务器，在网关处还有IPS、IDS等软件，它们会放下蜜罐、陷阱。黑客们必须要清楚这些软件的工作方式，要巧妙地绕开它。获得基础权限：黑客要进入电脑，必须要通过操作系统弱点pj密码，或者绕过鉴权系统。再或者将木马程序打包成正常程序，吸引主人搬进房子，然后木马再偷偷把你放进来。解密技术：对于加密的访问以及加密的文件，正常的访问是看不到数据的。要想进入到这些加密访问或者想看到加密的文件。就必须掌握解密的技术。去除痕迹：黑客拿到东西后，还必须做到不能留下指纹或者记录。否则就算偷到了东西，很快也会被公安机关抓走。这就必须要求黑客掌握删除痕迹的技术了，比如：删除日志，跳板访问等等。4、黑客攻击的难易区分①、初级黑客
以上这些都是黑客必然涉及的技术。对于安全防护不高，又无保密要求的电脑，很多人从网上下载一些黑客攻击软件也能够轻松完成攻击。这类人群只需要掌握一些基本的计算机技术就能够轻松使用这些工具，这类黑客我们可以称之为最初级的黑客。相对比较容易，攻击范围和成果也有限。
②、中级黑客
面对安全防护较高，保密要求一般的电脑，网上随便下载一个工具是完成攻击的。这时候该怎么办呢？这个时候的黑客就必须自己掌握编程技术，对发现的漏洞或者bug，及时自行编写程序。然后让程序自动利用这些漏洞发来发起攻击。也可以让自己写的木马或者病毒程序，自动去感染电脑。比如“勒索病毒”。
③、高级黑客
面对安全防护很高，保密要求又很严的电脑，会编写网络攻击程序也是很难完成的。因为这类电脑可能是通过网闸隔离，也有可能是网络物理隔离的。这对黑客提出的要求就更高了，如何突破隔离措施，如何绕过各种安全防护，安全审计就成为他们必须研究的技术。这类安全技术原本就是针对黑客攻击设计出来的防御手段。所以，这类黑客相当于在挑战全球各大安全防御高手（安全防御高手也是一个高级黑客）。
总结总之，黑客因为要非正常访问电脑，要掌握的知识面势必比较广。不过，做一名用现成黑客工具攻击的黑客并不难。真正难的是成为一名可以自编程的中级黑客。最难的是可以挑战天下安全防御高手的高级黑客。