php怎么爬取网页，python语言必须要用linux系统吗？
谢谢邀请，
python本身只是编程语言，而且跨平台的所以不是必须非要在linux系统上才能去运行，在windows上开发也是可以的。
简单介绍下如何在windows下面学习python
1.搭建开发环境直接去官方网站：https://www.python.org/downloads/去下载
直接点击下载，然后点击安装
将python安装目录添加到path系统变量中
代表着环境已经配置完毕。
2.找好学习python入门书籍，并且找到配套的学习视频目前比较经典的python书，笨方法学python，可以用这个作为学习的主线
如何区分好视频和书本的学习，以书本为主线，视频搭建来学习，遇到不懂的找视频点去解决，以书本为主线容易慢慢建立自己的知识体系。很多全部用视频学习的小伙伴，看着视频感觉自己啥都明白，但是一旦脱离开视频就无所适从了，这就是典型的缺乏实践，知识掌握的牢固程度不够。
所以无论以书本为主还是视频为主，对应的每个章节，课后的题目都要独立完成，小的题目实践也要做到位。
3.制定学习计划，开始按部就班的开始学习，不论发生什么事情都要坚持下去很多初学者开始都信心慢慢，遇到障碍之后就开始改变原有的计划，或者遇到几次打击之后就放弃学习计划，来回折腾几个回合之后就觉得自己不适合学习编程了，所以一切都要坚持。
4.对于重点内容进一步加深学习，开始寻找实践或者做项目的机会把基础部分整体走过一遍之后，回过头来重点学习，常见的重点有网络编程，WEB基础开发，算法和设计模式，PY WEB框架等等
开始尝试找一些项目，可以做个爬虫项目，先开始搭建环境，先能运行起来，然后尝试做修改。
开始会感觉要学习的东西很多，但是随着认识的深入，坚持下来会越来越有感觉。
希望能帮到你，觉得有道理就点赞
学前端还是学后端好？
学习前端开发还是后端开发取决于自身的知识结构和兴趣，前后端开发对软件开发来说都是非常重要的，只是关注的点不同罢了，下面分别做一个简单的描述。
前端开发更注重用户的使用体验，前端开发是与用户交互的窗口，一方面接收用户输入的数据，另一方面把系统处理完的数据通过前端进行呈现，所以往往前端开发对设计有一定的要求。现在前端开发有三个角色，分别是交互设计师、视觉设计师和前端程序员，这三个角色分别承担着不同的任务，一般交互设计师和视觉设计师是在需求阶段就开始介入，而前端程序员则是跟着程序开发团队同步进行开发。
前端开发对基础知识的要求往往并不高，前端程序员即使没有扎实的数学基础也能够顺利的完成自己的开发任务，前端开发通常只会使用到一些比较简单的数学知识，所以有很多从事前端开发的工程师并不是计算机专业毕业的。前端程序员需要学习的编程语言总的来说还是比较简单的，比如Html、CSS、JavaScript等，其中JavaScript还是有一定难度的，需要一个系统的学习过程。
后端开发往往更注重功能的处理，后端开发需要涉及到业务逻辑实现、数据库操作、性能优化、消息传递、资源部署等内容，可以说后端开发承载了整个软件的大部分核心任务。相对于前端开发来说，后端开发往往就需要有扎实的基础知识了，尤其是数学知识，包括高数、离散数学、线性代数、概率论等，同时后端开发需要掌握的编程语言相对来说也要比前端复杂一些，比较常见的编程语言包括Java、PHP、Python、C++等。
对于高中毕业的人来说，学习前端开发是一个不错的选择。
我从事软件开发工作多年，目前也在带软件开发团队，我会陆续在写一些关于软件开发方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
如果有软件开发方面的问题，也可以咨询我。
谢谢！
编程语言有哪些？
一场编程语言之战
@Author：Runsen
本人懂一点Python，Java，根据自己想法而来，纯属虚构。
现状
进入2020年3月，新的编程语言排行榜新鲜出炉，TIOBE 最新发布了 3 月编程语言排行榜。
从榜单中我们可以看到，前三名分别为Java、C、Python。相较于上个月，Python继续以1.85% 上升至 10.11%，以10.11% 的份额稳居第三。
我们先了解下比较常见的编程语言的，如Java，Python，JavaScript，C/C++，Go，C#各编程语言的用途。
“众口难调”，面对多种多样的编程语言，大家众说纷纭，每种编程语言都有其存在的意义，编程之战从未停止，“战火”一触即发。
家庭内战
最近，编程语言家族开了一场“家庭聚会”，都是在讨论自己的排名。
下面是家庭成员的对话。
老三Py：最近，我可厉害了。从2015年，人工智能的开始，人人学我，基本上我成为最无敌的大佬。
老四C++：可不是嘛，老三，你的爬虫，数据分析，机器学习，深度学习，自然语言处理再加上你的Django，flask等Web开发等，就连你的PyQt也想占领我的QT图形界面市场，都是你这个流氓，害得我从老三变成老四。
老三Py：那都是你太难写了，学我就是几分钟就能入门的，谁叫你这么难懂，什么面向对象，你的一百行代码，我十几行就搞定了，谁还会学你，很快，我就是老大，你就是我的小弟。
老四C++对老大Java说：大哥，有人想谋权篡位。
老大Java：现在，确实是老三的时代，现在个个数据分析师只会Python，都喊出了：人生苦短，我用Python。要怪就怪数据分析人员编程水平太低了，写来写去就是py代码，完全学不会其他语言。
老二C鄙视的说：就算写Python太厉害，也最多就是一个导包侠，没有什么了不起的。老三，话说你有什么本事当老大，我都不敢谋权篡位。
老三Py：不如我们比一比，看看现在开发者需要我多些还是老大多先。
老大Java：好，比就比。谁怕谁，我到底看看你有什么本事。
老三Py：我代码简单，写起来轻松易懂，比如我打印一句Hello World，就是一个，就是这么简单。就问你们服不服？
老大Java：打印一个Hello World，我确实需要好几行代码，还要声明一个HelloWorld对象。
老二C: 我还要定义一个main的主函数，打印一个Hello World确实有点多。
老四C++：我是抄老二的，写个Hello World比老二还要多。
老三Py：看见没有，这就是差距，谁会写那么多代码，直接简单粗暴我就是一个打印Hello World。
老大Java：老三，你这样不行啊，万物都是对象，写一行代码，我觉得都要声明一个对象。
老三Py：什么对象，我能打印出来就Ok了。
其他人：确实老三写的代码太简单了，连小学生基本都能学会，我们自愧不如，老三，你还要什么本事吗？
老三Py：要说我牛逼莫过我的第三方库，超过上万个，安装也简单，一个就轻松搞定，还给人看到安装进度条，你们说我牛不牛逼。
老大Java：这我可不服，你去的maven仓库看看
我的jar包任何一种场景都有，我的生态系早就完善，怎么不如你老三？
老三Py：你在pom.xml安装什么任何信息告诉别人，而且你的dependency鬼死那么长，人家愿意写吗？
老二C和老四C++：我们gcc和cmake添加第三方库还要编译才可以。
老三Py：我的requests，selenium，beautifulsoup，pyquery，lxml，Scrapy，Crawley，Pyspider等一系列爬虫库和爬虫框架厉害到爆，几乎所有爬虫都是我来编写的，你们的爬虫市场早没有你们的份了。
老大Java：我的WebMagic，Nutch，Heritrix，Jsoup， SeimiCrawler，JLiteSpider爬虫编写的代码确实比你多了好几倍，以前爬虫的市场都是基本用我，现在给你占去，悲哀。
老二C老四C++：爬虫，小心爬进监狱，现在首例爬虫禁令，禁止爬取微信公众号，都是老三你的爬虫造成多少假流量，造成多少网站 奔溃，就说12306有尽20%以上都是爬虫访问流量，有多少人抢票，再提价出售，官方发票，又被他们抢了，你以前让多少人抢不票，这背后引发了一系列的肮脏的资产链。
老三Py：这关我毛事，现在的百度蜘蛛爬取，多少网站双手叫好，这都是他们的问题。
其他人：你除了爬虫，还有什么？
老三Py：我的数据分析三剑客numpy，pandas，matplotlib，在加上Seaborn，Scipy，StatModels， Pyecharts，Bokeh，Blaze，Plotly，NetWorkX，Biopython，SymPy和gwpy等数据科学库简直无敌，都喊出了，从excel学Python了。
老大Java：数据分析我虽然也有jar提供，但是我派了我的儿子scala去帮我完善。
老二C老四C++：这东西不是SPSS，stata，tableau，powerbi，excel，Echart，FineReport等强大的数据分析工具就可以解决了，都是用我们和老大开发的，干嘛还要写代码。
老三Py：我一把屠龙剑Pycharm，一把倚天剑anaconda，一个开发，一个数据分析，双剑合并，威力无敌。
老大Java：比IDE开发工具，我可不怕，我有Eclipse，MyEclipse，Intellij IDEA，NetBeans功能厉害到爆。
老二C老四C++：Dev-C++，C-free，CLion， Code::Blocks，CodeLite，C++ Builder，我们觉得同样没问题。
老三Py：我的Web开发Django社区非常庞大，江湖上，Python有两条腿跑，一腿就是我的django，因为两万个包，一万以上都是我的Django，再加上了其他儿子flask，tornado，我开发了国内的豆瓣、知乎，国外：Instagram、Disqus、National Geographic、NASA
老大Java：Web开发，你还敢比，我就拿出一个Spring家族就够了，SpringMVC，SpringBoot,SpringCloud，再说了我还有自己的Tomcat，Jetty应用服务器，微服务的架构早就深化人心。如果以前的网站不是用php开发，那基本就是我以前的Servlet，jsp开发的（虽然落后了，但基本都在维护），现在网站开发首选我的Spring家族。
老二C老四C++：虽然在网站开发我们几乎没有市场，但是软件开发都是采用我们的，比如早期的QQ，微信，支付宝等大部分软件都是我们开发的。
老三Py：有本事比一比现在最火的人工智能，我的机器学习sklearn，深度学习keras，Pytorch，tensorflow，Caffe，PaddlePaddle，哪个不知道，哪个不用？就是因为这个，我才算最近的王者。
老大Java：你是不是想王者荣耀想多了，王者荣耀的客户端应该是C#（Unity3D）开发的，核心后端服务是C++开发，可没有你的份。人工智能，我怎么实现不了，我的深度学习库——DL4J、ND4J以及Deeplearning4j ，深度学习框架就是因为数据分析者只会用Python，才让你火到现在。
老四C++：CPP-Call-Tensorflow，Caffe2 C++ API， PyTorch-CPP，我的性能比你的好不知道多少倍。对了，说说性能，老三，你这不怎么行。
老大Java补刀：连数据都没有，老三你做什么人工智能，看看得我的apache社区的大数据框架Apache Hadoop，Apache Hive，Apache Hbase，Apache Sqoop，Apache Flume，Apache Spark，Apache Beam，Apache Flink ，Apache Storm，Spark Streaming，Apache Oozie还有 Clouders Manager（CDH）都是我开发出来，大数据平台都是我干的，没有了数据，你做什么Ai，你是不是猴子请来的逗逼？
老三Py：游戏方面，我可以有我的Pygame，性能方面，我承认比较低效，大数据不是还有我的pyspark？
老五C#：你的Pygame就是小孩子过家家的，游戏市场我已经占领，老三你可不要来。
老大Java笑道：spark是我的儿子scala开发的，spark就是为了你们这些数据分析的人不会我（Java）和我儿子（scala），你们的压力下，不好意思的开发了pyspark ，对Python提供了APi，再说了我们也给R提供了Rspark。话说，老R从前十掉下到了十一。
老R：就是你老三一直打击我，害得现在数据分析的人员不学习R了，都以为学你，就天下无敌了。
老四C++：就是明明每个人占领一种市场就够了，现在提出了”人生苦短，我学Python“口号。
老三Py：就是要”人生苦短，我学Python“。
老大Java：就是因为你，害得所有人的编程水平只降下来。Java开发人员学习Python，就是分分钟的事情。
老二C：不要说，大学我敢保证所有人都必须学习我开始。
老四C++：有本事你让学Python的来学我或者老大，我不信他能学得了。学我的人基本被我折磨死了，学你py就是分分钟的事情，有本事继续聊性能，我好像记得知乎得推荐系统用go重写了，还不是因为你的效率。
老十go：今天我难得上了前十，什么”人生苦短，我学Python“，明明就是”2020年，我们一起学go“。
老三Py：我去你的，你老十有什么资格说话？再说了我有cpython，Numba提高运行速度不就可以了吗？
老大Java：那你老三有什么资格在我面前说话，你连多线程和并发都处理不好，还不如提出我的口号”OnceWrite，RunAnywhere“，一次编写,到处运行，我的强大的JVM，你老三有吗？
老三Py：我可以用Pyinstall打成exe，到处运行，不就是”一次编写,到处运行“，
老大Java：我的强大，你不知道，你还是在mac和liunx运行你的exe吧。我还有一个儿子Kotlin和我占领APP市场，你有APP市场吗，还想当大佬，这日子是不是有点早了。
老三Py：我有kivy开发APP。
老二C老四C++：老三，你怎么不说用flutter开发APP？
老三Py：那是Google 开源的 UI 工具包，关我毛事。
老二C老四C++：flutter的底层是基于我们的开发的。
老三Py：我不管，反正现在人人学Py，我的市场就是慢慢变大，我就是当老大。
老二C: 我从1972年诞生，可以说我是老三你的长辈。Java可是运行在全球的三十亿设备上的，我都没有把握当老大，你哪里来的勇气？
老三Py：我是从1991年出生，Java可是1995年出生，这样我不就是老大的长辈吗？
老大Java：老三说得没错，老三要当老大，他膨胀了，要先超越老二你了。
老二C: 什么？老三，他连编译器都没有，一个解释器基于我的编译器，竟然敢叫嚣超越我，用我编译器，底层封装我的代码， 没有我，哪里来你，脚本就是脚本，动态语言就是动态语言，老大，老四和我哪个不是静态语言，哪个没有自己的编译器？信不信我不给你用我的编译器，让你从前十消失。
老三Py：卧槽，爸爸，我错了，别让我从前十消失啊。
一声不吭的老八php叫道：php才是最好的语言。
我想说的
Python这语言，只适合作为加分项，不适合作为技术支撑。因为它写不了复杂逻辑。只适合写一个爬虫，计算器，记事本,Qt之类的小程序。Python超越了Java和C，那是不可能的。Python从老四超越了C++，已经是一个很震惊的大事了。
说这个也许有人不服，凭什么Python就写不了复杂逻辑？豆瓣和知乎不是用Python写的吗？
先声明，豆瓣的后端，已经废弃了绝大部分的Python代码，重新写过了。youtube也正在重写中。目前以Python为主的网站，就只有知乎这么个独苗，而且知乎的推荐算法已经用go重写了。
为什么？不是因为Python的性能慢，而是因为Python的语法太悲剧了。也许Python的语法简洁，在初学者看来是优点。因为初学者一般练手，都只写1000行以下的小玩意，Python的语法简直爽翻了，真没任何缺点。
但如果你真的尝试用Python封装几十个类，去写个一万行以上的东西，自然就明白它的语法问题有多严重了。不只是难受，而是根本写不下，去维护成本太大了。没有静态类型检查是主要原因。能解决么？也能，好的模块设计还有code review能回避掉一些，不过这样一来也就抵消掉一些Python能带来的快速开发的优势了。
还是江湖那句话，动态一时爽，重构火葬场。并不适合大项目，Python还是适合原型，前期项目。
搞it要想混得好，如果哪能只会一样东西呢，除非你不想混好，拼得就是综合素质，除非你Python登峰造极的程度，python五分钟都能入门，Python的语法和英语完全一样。学Python的人，去学Java，真的觉得很难。
如果按难度评分0-5的话，Python没有难度指数0，php难度指数1，go难度指数2，Java难度指数3，C++/C难度指数4。静态语言的难度是比动态脚本难的，如果你是编程零基础，建议从学习Python，再深入到Java。一手Python，一手Java基本在市场属于比较靠前的水平。
阿里基本Java的天下，腾讯的前世是靠C/C++出生，华为主要业务是在硬件方面，也需要C/C++的编程基础。百度，字节相反用的Python，go，ruby比较多。
不过如果自己想要有更长远的发展，只学python肯定是不够的，个人觉得Java、Python这二门语言都熟练掌握最好。如果想成为大神，那就补充一个C++，你就是无敌的存在。
@Author：Runsen 公众号：润森笔记
数据分析有哪些工具？
说到数据分析，其实很多人都用过excel做过简单的数据分析，也都知道用excel来做数据分析还是有一定缺陷，一是分析类型不够丰富，二是数据量过多时excel不给力，三是图表的制作比较复杂。
那有没有更专业的可视化工具呢？今天给大家推荐一款很有意思可很好用的数据分析工具：DataFocus。
DataFocus是一款集齐数据仓库，数据分析，数据可视化，报表系统于一身的“神器”。它的实现方式与众不同，有自己的特色，不随大众，你肯定见过很多工具都是通过拖拽来实现的，也有通过程序代码、SQL语句来实现的，但是你肯定没有见过无需任何代码、通过自然语言搜索来实现的，没错，就是跟谷歌搜索一样的搜索方式。除此之外这也是国内首个利用搜索来进行可视化分析的数据分析工具。
听到这里是不是觉得很好奇，搜索式到底是怎么样的？
创新的搜索式分析到底是什么？别急，下面就给你展示。
搜索框内输入关键语句，系统即时返回结果，并智能适配图表，什么样的数据，最合适什么样的图表，系统会告诉你。
因为DataFocus智能搜索，并且适配图表，无需你再做其他复杂的配置，也不要任何的代码、SQL语句等等，系统全部会在后台自动处理好，而你只需要等待结果就行，简而言之，就是操作非常简单，过程非常智能，结果非常完美。
有人就会问了，那如果想要的报表很复杂呢，也能搜索出结果吗？报表复杂，很大原因是输入的内容多了，限制条件多了，其实操作也是一样。
例如现在有一份销售数据，在同一个图表中，我既想显示销售数量的增长率，又想显示销售额的增长率，还想显示原始销售额和销售数量，那DataFocus可以实现吗？
当然可以，而且一次搜索就可以得到结果。
DataFocus其性价比高，制作简单，图表丰富且美观。支持各种本地数据文件或连接数据库，还有可以满足即席分析的直连数据功能，无论是导入数据还是数据处理都简单方便易操作且功能全面。除此之外，DataFocus不需要那么多的额外配置，也不需要任何代码，分分钟就能完成一个好看的可视化数据分析报告。
那么如何制作呢？首先必须要了解DataFocus，只有熟悉了工具，才能更好地运用工具。DataFocus拥有30多种图表样式，分基础图形和高级图形，基本涵盖市场对图表的所有需求。
不同图表还可以自定义配置，比如主题、字体、样式等；
DataFocus还完美匹配移动端，随时随地都可以查看大屏，其有一个很大的特点也是它的优势之一，DataFocus制作图表采用搜索的方式，而不是传统的拖拽方式，制作方式的改变，大大地降低了可视化的难度以及复杂程度，提高了制图效率。
其次，了解DataFocus如何使用。
1、搜索出图，搜索想要可视化展示的数据，系统智能适配图表；
2、图表保存，加入大屏；
3、数据看板（可视化大屏）自定义配置，看板展示；
怎么样，这个是不是十分方便？有需要的可以get起来了~
如果希望了解自助敏捷数据分析、数字大屏或者BI解决方案，请移步DataFocus官网，我们诚挚地欢迎您的咨询来访。写爬虫用什么语言好？
写爬虫用什么语言好？做爬虫需要什么语言，个人觉得任何语言，只要具备访问网络的标准库，都可以用来写爬虫。
对于刚刚接触爬虫的新手来说，经常会纠结于用是不是非得用Python 来做爬虫，但是无论是 JAVA，PHP 还是其他更低级语言，都可以很方便的实现爬虫的需要。
各种语言写爬虫相对于Python，区别在于静态语言出现错误的可能性很低，低级语言运行速度会更快一些，但是Python 的优势在于库更丰富，框架更加成熟，对于新手来说，在熟悉库和框架实际上需要花费不少的时间。
那么，到底用什么语言写爬虫最好呢？我们先来对比一下几种常用语言对于写爬虫的优缺点：
C，C++优点：高效率，快速，适合通用搜索引擎做全网爬取。缺点：开发慢，写起来又臭又长，例如：天网搜索源代码。PHP：优点：语言比较简单，PHP 是非常随意的一种语言。写起来容易让你把精力放在你要做的事情上，而不是各种语法规则等等。各种功能模块齐全，网页下载有curl 等扩展库;文档解析有dom、xpath、tidy、各种转码工具。总之容易上手。缺点：并发处理能力较弱：由于当时 PHP 没有线程、进程功能，要想实现并发需要借用多路服用模型，PHP 使用的是 select 模型，实现其来比较麻烦。脚本语言：Perl, Python, Java, Ruby。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取C#：貌似信息管理的人比较喜欢的语言，在这里就不介绍了。反正我是没用他来写过爬虫。
对于写爬虫，新手总想找一种一劳永逸的方法，觉得把握住一种方法，语言和框架，就可以长时间高枕无忧了，其实最好的学习方式不是样的，建议还是大胆尝试主流框架，在不大重要的学习项目中进行尝试。多使用几次才会知道优势劣势。总之，不管你使用哪一种爬虫手段，只要达到所需要的效果就可以了。
写爬虫用什么语言好？个人还是不能免俗，在这里推荐用Python来写爬虫。上面说了，很多语言都能用来写爬虫，但为什么最终还是选择Python呢？
首先，Python具有以下特点：
跨平台，对Linux和windows都有不错的支持。科学计算，数值拟合：Numpy，Scipy可视化：2d：Matplotlib(做图很漂亮), 3d: Mayavi2 复杂网络：Networkx统计：与R语言接口：Rpy交互式终端网站的快速开发Python写爬虫具有以下优点：1.各种爬虫框架，方便高效的下载网页;
2.多线程、进程模型成熟稳定，爬虫是一个典型的多任务处理场景，请求页面时会有较长的延迟，总体来说更多的是等待。多线程或进程会更优化程序效率，提升整个系统下载和分析能力。
3.GAE 的支持，当初写爬虫的时候刚刚有 GAE，而且只支持 Python ，利用 GAE 创建的爬虫几乎免费，最多的时候我有近千个应用实例在工作。
对于一个爬虫系统来说，下载和内文解析只是基本的两个功能。真正好的系统还包括完善的任务调度、监控、存储、页面数据保存和更新逻辑、排重等等。爬虫是一个耗费带宽的应用，好的设计会节约大量的带宽和服务器资源，并且好坏差距很大。
写爬虫是一边写，一边测试。测试不过再改改。这个过程用 python 写起来最方便。而且 python 相关的库也是最方便，有 request, jieba, redis, gevent, NLTK, lxml, pyquery, BeautifulSoup, Pillow. 不论是最简单的爬虫还是巨复杂的爬虫都轻松搞定。
写爬虫用什么语言好？个人建议首选用python写爬虫比较好。
大家有什么好的见解，欢迎评论区交流讨论，共同学习提高！