php怎么加统计图表，神级程序员都在用什么工具？
摘要：在我认识的所有程序员里，每个人几乎都有专属于自己的常用工具和相关资源，今天给大家奉上数十个程序员硬核工具，我相信这里总有一款工具是属于你的！
程序员生产力工具大全如下：
1. Idea-Intellij IDEA (java 编程语言 开发的集成环境)
业界排名第一的java开发工具，非常非常好用，如果还在用eclipse的朋友，赶紧来体验一把，你一定会爱上她的。
2. SecureCRT (SSH终端仿真程序)
SecureCRT是一款终端仿真程序，支持SSH（SSH1和SSH2）以及Telnet和rlogin协议。SecureCRT用于连接运行包括Windows、UNIX和VMS在内的远程系统的理想工具。
3. Termius (全平台的远程终端)
termius是一款全平台的远程终端，Termius不仅涵盖了Windows、Linux、OSX，还变态得支持Android和iOS（以后在地铁、公交上都可以随时拿出手机来排查线上问题啦，还真是广大程序员的福音呢。
4. Google Chrome (谷歌浏览器)
Google Chrome是一款由Google公司开发的网页浏览器，该浏览器基于其他开源软件撰写，包括WebKit，目标是提升稳定性、速度和安全性，并创造出简单且有效率的使用者界面。
5. iTerm (为Mac OS X编写的终端仿真程序)
iTerm是一个为Mac OS X编写的，功能齐全的终端仿真程序；目标是在为用户提供OS X下最佳的命令行体验；字母i代表了本地苹果的外观和风格的程序界面，并把重点放在完整的国际支持； 它合并由两个项目， CTerminal和TerminalX ，而这两者都是基于JTerminal项目；该软件非常有实用和易用性。
6. Visual Studio Code (简称“VS Code”,编写现代Web和云应用的跨平台源代码编辑器）
重新定义和优化了代码编辑,以便生成和调试新式 Web 应用程序和云应用程序。也是著名的文本编辑器，它是轻量级的,vSCode的一大特点就是你可以通过多种方式来调整设置,而且Vim可以和VScode集成在一起，它还带有一个集成终端，可用的扩展太多，使开发人员的工作变得更加轻松。我最喜欢的一些扩展是AWS Toolkit, ESLint,Live Server, Live Share, Prettier-代码格式化程序，YAML,Live Sass编译器，Docker等。
7. VMware Fusion & VMware workstation (为计算机开发的虚拟机管理程序)
是在计算机上无缝运行 Windows 的最佳方式，可确保 Windows 应用程序在计算机上实现无缝运行可以在基于 Intel 的计算机上无缝运行 Windows、Linux 以及其他 PC等多个操作系统，进而构建、测试或演示软件。
8. Navicat Premium (数据库管理工具)
Navicat premium是一款数据库管理工具,是一个可多重连线资料库的管理工具，它可以让你以单一程式同时连线到 MySQL、SQLite、Oracle 及 PostgreSQL 资料库，让管理不同类型的资料库更加的方便。
9. Postman (api调试工具)
简单来说，四个词，简单、实用、大方、美观！postman这款网页调试工具的windows客户端，功能强大的HTTP调试与模拟插件。使用Postman可以进行API开发、请求、调试,除了它，还可以使用lnsomnia和Insomnia Designer作为API文档。
10. RedisDesktopManager (一款可视化 redis管理工具 )
Redis Desktop Manager是一款简单快速、跨平台的Redis桌面管理工具，也被称作Redis可视化工具，Redis Desktop Manager官方版是一款开源软件，支持通过SSH Tunnel连接，支持windows、mac等多平台。
11. Dash (基于MAC的 API文档浏览器和代码片段管理器)
“开发者不可或缺的杰作。”Dash 可让您的 Mac 即时离线访问 200 多个 API 文档集。立刻搜索离线文件集200层+的API ，100+备忘单和 href="">更多 功能。您甚至可以"">生成自己的文档集 或 href="">请求 包含href="">文档集 。
12. Fiddler & Wireshark (http抓包工具)
Fiddler和Wireshark都是进行抓包的工具:所谓抓包就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作,也用来检查网络安全。作为开发者，经常想调试一下http请求发送的数据的详情，那么可以使用这2款软件。用抓包工具wireshark的人相对来说更多一些。
13. HBuilder X (HTML5的Web开发工具)
当前最快的HTML开发工具,强大的代码助手帮你快速完成开发,最全的语法库和浏览器兼容性数据让浏览器碎片化不再头痛。作为HBuilder下一代的全新编辑器，HBuilderX被定位为ide和编辑器的完美结合，除了对某种语言的语法分析、提示、转到定义、调试，同时加强了对通用文本处理能力，界面更加清爽，拥有比上一代更加有效的快捷键体系。
14. MobaXterm (远程终端控制软件,集串口,SSH远程登录和FTP传输三合一的工具)
多功能终端MobaXterm Professional Edition 是一款豪华、全功能的终端软件。MobaXterm带来了所有必要的Unix命令到Windows桌面，在开箱单便携式exe文件。MobaXterm允许您启动远程会话。远程shell，MobaXterm远比Putty好用，您可以选择创建SSH，远程登录，Rlogin，RDP，VNC，XDMCP，FTP，SFTP或串行会话。
15. Sublime Text (跨平台代码编辑器)
http://www.sublimetext.cn/
Sublime Text 是一款用于代码、标记和散文的精致文本编辑器。Sublime Text 中文网致力于为广大国内开发者提供详尽的中文文档、使用说明等,助力开发者快速掌握这个编辑器。
16.webstorm (专业的HTML编辑工具)
web开发的必备的一款开发神器，比如写js、页面、css，那么这款软件用起来非常顺手。此软件和idea出自于同一家公司，这家公司做了很多异常好用的软件，基本上你需要的各种开发相关的IDE，这家公司都生产。可以说是“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”。新版对JavaScript，TypeScript和CSS支持更好，改进了Vue.js的体验，并为Jest集成增加了新功能。
17.Xshell (功能强大的终端模拟器)
linux原创控制软件，完全免费且非常稳定的 SSH 客户端 ，支持多种远程协议，提供了很多特色与高级功能，简体中文界面也让你轻松管理远程服务器。 Xshell 的 Screen 会话不闪屏，而且可以回滚；Script 的执行顺序可以调整；可以同时发送指令到多个 session；支持布局切换等。
18. SwitchHosts (修改Hosts文件的工具)
这是用于在多个HOSTS之间进行切换。可在公用hosts文件 、当前系统hosts、本地方案和在线方案间进行切换。作为一名开发人员，经常需要修改本地host，你还是通过修改host文件来操作的么？那样太慢了，这里建议大家使用switchhosts这款软件，可以快速修改本地host，非常好用。
其他工具：
1. CodeIf(智能命名) ： https://unbug.github.io/codelf
大部分开发者都或多或少遇到过变量命名的烦恼，如果命名不规范，不仅会影响开发的效率，而且对后面维护的同学来说也是一个不小的挑战，因为他要去揣摩你这个变量的含义。随着项目越来越复杂，变量和函数数量越来越多，虽然每个编程语言都有各种命名规范，但是也不能解决所有的问题。
“计算机科学里两件最难的事：缓存失效和命名。” Codelf通过搜索在线开源平台Github, Bitbucket, Google Code, Codeplex, Sourceforge, Fedora Project的项目源码，帮开发者从中找出已有的匹配关键字的变量名，从而帮助为变量名苦恼的开发者命名。这个搜索服务支持直接搜索中文。
同时可以在自己用的编辑器里安装插件，支持 VS Code、Atom、Sublime Text 和 Chrome。
2. DocsChina-印记中文 ： https://www.docschina.org
这是一个前端中文文档合集，进入网站可以看到开发中经常使用的前端中文文档。如果你的英文实在不怎么好，还在为找中文文档而烦恼，这里将是你非常好的选择。记得放到自己的浏览器收藏夹里哦！
3. any-rule(正则表达大全)： http://github.com/any86/any-rule
any-rule 维护了一个常用正则表达式合集，并且本身是一个支持 Web/VS Code/idea/Alfred Workflow 多平台的正则表达式工具。
4. tool.lu(在线工具)： https://tool.lu
程序员总是有很多小工具要使用，比如图片、Base64编码、Markdown编辑器时间戳转换，进制转换等，在线运行各种语言代码。这个网站包含了太多程序员需要用到的小工具了。比如你想运行点JAVA代码，又不想麻烦的在系统中安装JAVA环境，可以使用里边的在线运行代码工具，然后选择JAVA,写点JAVA代码就可以直接运行了。
5. Baomitu(前端静态源库)： https://cdn.baomitu.com
这个静态资源库是支持HTTP/2的CDN服务，有了它，如果你是自己的小型项目或者是做测试就不用下载任何的代码库，直接粘贴地址过来用就可以，因为是国内的CDN库，速度还非常的快。
6. Typora-Markdown(编写工具)：https://www.typora.io
一款实用的 Markdown 编写工具，所见即所得，用Markdown编写文章是一个程序员的标准配置，也就是标配。现在有很多在线工具都支持Markdown，什么有道云笔记、雀语，、印象笔记等。这种简单的界面，沉浸式的编写，清晰的大纲，它就像一件称手的兵器，让你一旦拥有就爱不释手。
7. Snipaste (简单便捷的截图软件)：https://zh.snipaste.com/download.html
一款免费的桌面截图软件，功能强大，使用方便，支持任何屏幕位置截图，支持窗口截图，支持快捷方式截图。您可通过截取贴图，使两张图合并为一张图，还能调整截图文字图像等等，是一款非常强大的贴图软件，喜欢此款贴图软件的朋友不要错过。
8. Captura (最好用的开源录屏、gif动态图片制作工具)
官网：https://captura.updatestar.com/ github：https://github.com/MathewSachin/Captura
通过这款工具可以帮助你轻松录制各种视频。支持全屏录制、区域录制两种方式，全屏录制可以录制全部的电脑屏幕，将电脑屏幕上所有的动态都录制下来,该软件还拥有视频编解码器，可以对视频进行解码，支持mp4、avi、GIF、webm等格式，可以满足一般的解码需要。还支持屏幕截图、剪贴板，简单的图像编辑等功能，是一款非常好用的屏幕录像工具。
9. 向日葵 (远程控制软件): https://sunlogin.oray.com/
向日葵远程控制是一款提供远程控制服务的软件。向日葵远程控制支持主流操作系统Windows、Linux、Mac、Android、iOS跨平台协同操作，在任何可连入互联网的地点，都可以轻松访问和控制安装了向日葵远程控制客户端的设备。整个远控过程，可通过浏览器直接进行，无需再安装软件。
10. Everything (本地文件检索工具):http://www.voidtools.com/support/everything/
由voidef="">tools 开发的一款文件搜索工具，这款软件是基于名称实时定位文件和目录。Everthing功能强大，体积小巧，第一次安装使用时会建立一个索引数据库，将所有文件和文件夹的名称导入其中，后续使用能够以极快的速度快速搜索，查找到你所需要的文件。
11. StarUML (UML画图工具)
画uml图的一款神器，类图、时序图、流程图、状态图等等，都可以用这款工具轻松应对。
12. uTools (生产力工具集):https://u.tools/
一个极简、插件化、跨平台的现代化桌面软件。通过自由选配丰富的插件,打造你得心应手的工具集合。这个工具，我只能说他是一款神奇，太牛逼，这款工具中汇集了很多好用的工具，可以通过这款工具秒开电脑上的各种软件。
搜索资源网站工具：
1.Bing
Bing 国际版：https://cn.bing.com/ 感觉比某度要好用多了。
2.DuckDuckGo
DuckDuckGo：https://duckduckgo.com/ 从官网的介绍来看这个搜索引擎不收集用户信息，而且没有广告。
3.Stack Overflow
Stack Overflow：https://stackoverflow.com/ 我们如果常用 Google，很多技术问题的答案就在这个网站上，如果你无法使用 Google 可以在这个网站上直接检索就好了。
4.Gitlogs
Gitlogs：https://www.gitlogs.com/ Gitlogs 是专门针对 GitHub 项目的搜索引擎，我们通过他可以快速找到想要项目。
5.jiumo search
文档搜索引擎 jiumo search 鸠摩搜书：https://www.jiumodiary.com/ 可以用来找一些技术文档手册，很多在百度网盘里。
6.Ebooke
Ebooke：https://ebookee.org/ Ebookee 是一个基于互联网并提供免费电子图书下载的搜索引擎网站。
7.Iconfinder
图标搜索：https://www.iconfinder.com/ 用来查找 logo 图片。
8.TinEye
TinEye：https://www.tineye.com 用图片来检索图片，我们可以上传图片或输入图片的 URL 来检索。
9.SemanticScholar
SemanticScholar：https://www.semanticscholar.org/ SemanticScholar 是一个免费学术搜索引擎，其检索结果来自于期刊、学术会议资料或者是学术机构的文献。
10.LibreStock
LibreStock：https://librestock.com/ LibreStock 上可以检索一些优质的高清图片。
11.CC Search
CC Search：https://ccsearch.creativecommons.org/ CC Search 上搜索到的图片资源都是无版权的，我们可以免费的使用。
12.Pexels
Pexels：https://www.pexels.com/ 高质量的图片网站，可以免费使用。
13.Unsplash
Unsplash：https://unsplash.com/ 免费高清素材网站。
14.The App Store
The App Store：https://theappstore.org/ The App Store 是一个针对苹果手机、iPad、Mac 设备的应用搜索工具。
在线画图工具：
• 在线画图工具ProcessOn：https://www.processon.com/
• 在线画图工具draw.io：https://app.diagrams.net/
• 在线思维导图工具：http://www.mindline.cn/webapp
• PlantUML在线编辑器：http://haha98k.com/
在线开发辅助工具：
日常开发经常会用到一些辅助工具我总结为8大类，包括：编解码工具、转换工具、正则工具、编译工具、网络工具、格式化工具、可视化工具、在线生成器、以及其他工具等等。 具体列表如下:
在线编码工具：
• BASE64编解码工具：https://base64.supfree.net/
• MD5编码工具：https://www.zxgj.cn/g/md5
• AES/DES加解密：http://www.fly63.com/tool/cipher/
• JWT解码工具：http://jwt.calebb.net/
• ASCII编解码工具：https://www.matools.com/code-convert-ascii
• Unicode编解码工具：https://www.zxgj.cn/g/unicode
• UTF-8编解码工具：https://www.zxgj.cn/g/utf8
• 字符串编解码工具：https://www.zxgj.cn/g/enstring
• URL编解码工具：http://tool.chinaz.com/tools/urlencode.aspx?jdfwkey=lbixz1
在线转换工具：
•在线ASCII码对照表：http://www.fly63.com/tool/ascii/
• 通用进制转换工具：https://www.zxgj.cn/g/jinzhi
• 在线浮点数十进制转换：http://www.binaryconvert.com/
• RGB颜色转换：https://www.zxgj.cn/g/yansezhi
• 时间戳转换工具：https://www.zxgj.cn/g/unix
• 计量单位换算工具：http://www.fly63.com/tool/unitable/
• 在线JSON解析：http://www.json.cn/
• 在线JS代码格式化工具：https://prettier.io/playground/
• SQL压缩/格式化工具：https://www.zxgj.cn/g/sqlformat
• JSON和XML在线转换：https://www.zxgj.cn/g/jsonxml
• JSON/YAML在线转换：http://www.fly63.com/tool/jsonyaml/
• 人民币大小写转换工具：http://www.fly63.com/tool/renmingbi/
正则表达式工具：
• 正则表达式调试工具：https://regexr.com/
• 正则表达式可视化工具：https://jex.im/regulex/
网络工具：
• IP地址归属地查询：https://www.ip138.com/
• IP地址查询：https://www.ipip.net/ip.html
• HTTP在线接口测试工具：http://www.fly63.com/php/http/
在线编译运行工具：
• C#在线编译运行：https://rextester.com/
• C/C++在线编译调试：https://www.onlinegdb.com/
• 在线编译工具套装：https://c.runoob.com/
可视化/格式化工具：
• 在线前端编辑器: https://codepen.io/
• 在线数据可视化：https://flourish.studio/
• 在线JSON解析：http://www.json.cn/
• 在线CSS代码可视化工具：https://enjoycss.com/
• XML格式化工具：https://www.zxgj.cn/g/xmlformat
• 在线JS代码格式化工具：https://prettier.io/playground/
• SQL压缩/格式化工具：https://www.zxgj.cn/g/sqlformat
• JSON和XML在线转换：https://www.zxgj.cn/g/jsonxml
• JSON/YAML在线转换：http://www.fly63.com/tool/jsonyaml/
在线生成器：
UUID在线生成器：https://www.zxgj.cn/g/uuid 随机数生成器：https://www.zxgj.cn/g/suijishu其他常用工具：
在线Nginx配置工具：https://nginxconfig.io/ 在线对比工具：http://www.fly63.com/tool/textdiff/ 在线Chrome浏览器插件：https://www.crx4chrome.com/ 在线接口文档管理工具：http://www.docway.net/在线素材工具：
如果你写文章，或者做视频，那就一定少不了要找素材，包括各种图片、背景、emoji表情、表情包、壁纸、视频、gif图等等。
• 免费透明背景图片素材：http://pngimg.com/
• Emoji表情搜索：https://emoji.svend.cc/
• Emoji表情包下载：https://emojiisland.com/
• open source icons：https://feathericons.com/
• 表情包在线网站：https://fabiaoqing.com/
• 免费PNG图片库：https://pluspng.com/
• ICON图标在线下载：https://www.iconfinder.com/
• 极简壁纸：https://bz.zzzmh.cn/
• Wallpaper Abyss壁纸：https://wall.alphacoders.com
• Pixabay图片素材库：https://pixabay.com/zh/
• Unsplash图片素材库：https://unsplash.com
• Pexels图片素材库：http://www.pexels.com
• NASA图片视频素材库：https://images.nasa.gov
设计制作类工具：
对于那些文章创作者和视频创作者而言，设计封面，做海报，设计LOGO，图片美化等等基本也是刚需。
这样大概率日常会用到一些简易好上手的在线设计制作类工具，比如在线P图、音/视频轻量化剪辑、logo制作、海报设计制作、图片美化、在线图片转换或生成等等。
• 在线PS：https://www.uupoop.com/
• 在线音频剪辑：https://www.weixinsyt.com/
• 在线视频剪辑：https://www.kapwing.com/
• 免费logo在线制作：http://www.uugai.com/
• 艺术字体在线生成：https://www.qt86.com/
• 在线表格转换工具: https://tableconvert.com/
• 在线海报设计工具: https://www.designcap.com/
• 图片智能放大工具：https://bigjpg.com/
• 二维码美化器：https://mh.cli.im/
• 在线代码截图工具：https://carbon.now.sh/
• 在线抠图工具：https://www.remove.bg/zh
• ICO图标在线生成：http://www.fly63.com/php/ico/
• SVG转PNG工具：http://www.fly63.com/tool/svg2img/
• 视频转GIF工具：http://www.fly63.com/tool/giftxt/
• 二维码在线生成器：http://www.fly63.com/tool/ewm/
• 二维码在线解码：http://www.fly63.com/php/decoder/
写辅助工具：
写文章的过程中经常会用到和写作相关的辅助工具，比方说：字数统计工具、Markdown格式的文章排版工具、图床网站、代码截图工具等等，所以下面这些在线工具就能很好地满足我的需求。
• 在线字数统计：https://www.eteste.com/
• mdnice markdown排版工具：https://mdnice.com/
• md2all markdown排版工具：http://md.aclickall.com/
• 在线图床神器：https://picx.xpoet.cn/
• 在线免费图床：https://sm.ms/
• 图壳图床：https://imgkr.com/
• 在线代码截图工具：https://carbon.now.sh/
• 在线短链接工具：https://urlify.cn/
• 在线文本替换：http://www.fly63.com/tool/textreplace/
在线办公工具：
部分在线工具主要用来处理一些和文档以及文稿相关的事情，经常用到的比如：在线的全套pdf处理和转换工具、各种各样多媒体文件间的相互转换工具、在线识别工具、在线压缩工具等等。
• pdf在线处理工具1：https://smallpdf.com/cn/pdf-tools
• pdf在线处理工具2：https://tools.pdf24.org/zh/
• pdf转word在线工具：https://www.pdftoword.com/
• 在线多媒体转换器合集：https://cn.office-converter.com/
• 在线文字识别工具：https://ocr.wdku.net/
• 在线文件压缩工具：https://docsmall.com/
文档笔记工具：
好记性不如烂笔头，作为一个学习者，我觉得记笔记是必不可少的步骤。当然现在基本都做电子笔记和电子文档比较多。 现如今各式各样优秀的文档工具和笔记软件鳞次栉比，好用的也有很多，整理成如下列表，这东西各有长处，使用哪个最合意还得看个人习惯和需求了。
• 印象笔记：https://www.yinxiang.com/
• 有道笔记：https://note.youdao.com/
• OneNote：https://www.onenote.com/
• 幕布：https://mubu.com/
• 为知笔记：https://www.wiz.cn/
• 石墨文档：https://shimo.im/
• Simplenote：https://simplenote.com/
• 语雀：https://www.yuque.com/
编程学习网：
• 哔哩哔哩：https://www.bilibili.com/
• C语言网：https://www.dotcpp.com/
• cppreference：http://zh.cppreference.com/
• 中国大学MOOC：https://www.icourse163.org/
• 牛客网：www.nowcoder.com
• 网易公开课：open.163.com
• CodeGym：https://codegym.cc/
• BeginnersBook：https://beginnersbook.com/
• JavaSED：http://www.javased.com/
• codecademy：https://www.codecademy.com/
• Coursera：https://www.coursera.org/
• StackOverFlow：https://stackoverflow.com/
• LeetCode：https://leetcode-cn.com/
• LintCode：https://www.lintcode.com/
在线教程文档：
这部分主要集中了在做开发过程中随手参考所要用到的几乎所有在线教程和官方文档，有中文版文档的基本都优先列出来了，但更多时候是英文的官方文档。
• Git中文教程：https://git-scm.com/book/zh/v2
• SVN中文手册：http://svnbook.red-bean.com/nightly/zh/index.html
• jQuery API中文文档：https://jquery.cuishifeng.cn/
• Nginx中文文档：https://www.nginx.cn/doc/index.html
• Kafka中文文档：https://kafka.apachecn.org/
• Mybatis中文文档：https://mybatis.org/mybatis-3/zh/index.html
• 微信小程序官方文档：https://developers.weixin.qq.com/miniprogram/dev/framework/
• Nodejs中文教程文档：http://nodejs.cn/learn
• Apache Web Server文档：http://httpd.apache.org/docs/
• Spring文档中文版：https://www.springcloud.cc/spring-reference.html
• Golang标准库文档中文版：https://studygolang.com/pkgdoc
• Java 8官方文档：https://docs.oracle.com/javase/8/docs/api/index.html
• Maven官方文档：http://maven.apache.org/guides/
• Tomcat 8官方文档：http://tomcat.apache.org/tomcat-8.0-doc/index.html
• Spring Boot官方文档：https://docs.spring.io/spring-boot/docs/current/reference/htmlsingle/
• RabbitMQ官方文档：https://www.rabbitmq.com/documentation.html
• RocketMQ官方文档：http://rocketmq.apache.org/docs/quick-start/
• Dubbo中文文档：https://dubbo.apache.org/zh/docs/
• Netty官方文档：https://netty.io/wiki/index.html
• Elasticsearch官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
• Spring Cloud官方文档：https://spring.io/projects/spring-cloud
• Docker官方文档：https://docs.docker.com/get-started/
• kubernetes中文文档：https://kubernetes.io/zh/docs/home/
• thymeleaf官方文档：https://www.thymeleaf.org/documentation.html
• Vue.js中文文档：https://cn.vuejs.org/v2/guide/
• React.js官方文档：https://reactjs.org/docs/getting-started.html
• Jenkins中文文档：https://www.jenkins.io/zh/doc/
华为云平台：
高效易用的低代码aPaaS平台-应用魔方AppCube：https://www.huaweicloud.com/product/appcube.html集华为研发实践、前沿研发理念、先进研发工具为一体的软件开发平台-软件开发平台 DevCloud：https://www.huaweicloud.com/devcloud/以上内容分享自华为云社区《吐血整理：程序员都在用什么工具？》，作者： 考过IE励志当攻城狮 ，部分内容整理自互联网~
php如何实现生成二维码下带背景图并且在图上上加文本框？
需要写js捕捉事件 mouseover的时候就是鼠标放上去的时候 然后构建一个表单的html代码 显示在下面就行了 里面加Css控制位置就行 然后提交表单可以是在这个表单直接提交 或者用ajax提交
歌词太长怎么放在一张图里？
有三种方法：
1、做成GIF动画图片，方法：在一张图片上加一图层，写上字，让字移动。按L+SHIFT+M会进入Imageready，在帧里会看到gif的每个跳转画面。
2、做成flash动画，方法：在时间轴里建一层放歌词的层，首先要试听歌曲，看看第一句在哪一帧上结束，在开始播放歌曲的那一帧起到要显示的歌曲第一句的最后一帧上， 在最后一帧上做出插入关键帧，然后设置运话补间就做到同步了。
3、用网页代码，如html或css，依然是图片为背景，文字动作。大致方法：用div+css+js实现的，用后台代码(asp/php)分析出lrc文件播放段与歌词数组，然后分析前台播放对应的时间，突显的当歌词。这是原理，网上很多代码可以实现的。
怎么自学数据分析？
这是一份数据分析师的入门指南，它包含七周的内容，Excel、数据可视化、数据分析思维、数据库、统计学、业务、以及Python。
每一周的内容，都有两到三篇文章细致讲解，帮助新人们快速掌握。这七周的内容刚好涵盖了一位数据分析师需要掌握的基础体系，也是一位新人从零迈入数据大门的知识手册。
第一周：Excel
每一位数据分析师都脱离不开Excel。
它是日常工作中最常用的工具，如果不考虑性能和数据量，它可以应付绝大部分分析工作。虽然现在机器学习满地走，Excel依旧是无可争议的第一工具。
Excel的学习分为两个部分。
掌握各类功能强大的函数，函数是一种负责输入和输出的神秘盒子。把各类数据输入，经过计算和转换输出我们想要的结果。
在SQL，Python以及R中，函数依旧是主角。掌握Excel的函数有助于后续的学习，因为你几乎在编程中能找到名字一样或者相近的函数。
在「数据分析：常见的Excel函数全部涵盖在这里了」中，介绍了常用的Excel函数。
清洗处理类：trim、concatenate、replace、substitute、left/right/mid、len/lenb、find、search、text
关联匹配类：lookup、vlookup、index、match、row、column、offset
逻辑运算类：if、and、or、is系列
计算统计类：sum/sumif/sumifs、sumproduct、count/countif/countifs、max、min、rank、rand/randbetween、averagea、quartile、stdev、substotal、int/round
时间序列类：year、month、weekday、weeknum、day、date、now、today、datedif
搜索能力是掌握Excel的不二窍门，工作中的任何问题都是可以找到答案。
第二部分是Excel中的工具。
在「数据分析：Excel技巧大揭秘」教程，介绍了Excel最具性价比的几个技巧。包括数据透视表、格式转换、数组、条件格式、自定义下拉菜单等。正是这些工具，才让Excel在分析领域经久不衰。
在大数据量的处理上，微软提供了Power系列，它和Excel嵌套，能应付百万级别的数据处理，弥补了Excel的不足。
Excel需要反复练习，实战教程「数据分析：手把手教你Excel实战」，它通过网络上抓取的数据分析师薪资数据作为练习，总结各类函数的使用。
除了上述要点，下面是附加的知识点，铺平数据分析师以后的道路。
了解单元格格式，数据分析师会和各种数据类型打交道，包括各类timestamp，date，string，int，bigint，char，factor，float等。
了解数组，以及相关应用（excel的数组挺难用），Python和R也会涉及到 list，是核心概念之一。
了解函数，深入理解各种参数的作用。它会在学习Python中帮助到你。
了解中文编码，UTF8、GBK、ASCII，这是数据分析师的坑点之一。
第二周：数据可视化
数据分析界有一句经典名言，字不如表，表不如图。
数据可视化是分析的常用技巧之一，不少数据分析师的工作就是通过图表观察和监控数据。首先了解常用的图表：
Excel的图表可以100%绘制上面的图形，但这只是基础。
在「数据可视化：你想知道的经典图表全在这」中介绍了各类数据分析的经典图表，除了趋势图、直方图，还包括桑基图、空间图、热力图等额外的类型。
数据可视化不是图表的美化，而是呈现数据的逻辑之美，是揭示数据的内在关联。了解图表的维度和适用场景，比好看更重要。比如桑吉图就是我一直推崇的图表，它并不知名，但是它能清晰的揭露数据内在状态的变化和流向。案例是用户活跃状态的趋势。
Excel的图表操作很傻瓜化，其依旧能打造出一份功能强大的可视化报表。「数据可视化：教你打造升职加薪的报表」教给大家常用的Excel绘图技巧，包括配色选取，无用元素的剔除、辅助线的设立、复合图表等方法。
Excel图表的创造力是由人决定的，对数据的理解，观察和认知，以及对可视化的应用，这是一条很长的道路。
图表是单一的，当面板上绘制了多张图表，并且互相间有关联，我们常称之为Dashboard仪表盘。
上图就是用分析师薪资数据为数据源绘制的Dashboard，比单元格直观不少。我们常常把绘制这类Dashboard的工具叫做BI。
BI（商业智能）主要有两种用途。一种是利用BI制作自动化报表，数据类工作每天都会接触大量数据，并且需要整理汇总，这是一块很大的工作量。这部分工作完全可以交给BI自动化完成，从数据规整、建模到下载。
另外一种是使用其可视化功能进行分析，它提供比Excel更丰富的交互功能，操作简单，而且美观，如果大家每天作图需要两小时，BI能缩短大半。
在「数据可视化：手把手打造BI」教程中，以微软的PowerBI举例，教大家如何读取数据，规整和清洗数据，绘制图表以及建立Dashboard。最后的成果就是上文列举的分析师案例。
BI还有几个核心概念，包括OLAP，数据的联动，钻取，切片等，都是多维分析的技巧，也是分析的核心方法之一。
后续的进阶可视化，将和编程配合。因为编程能够提供更高效率和灵活的应用。而BI也是技术方向的工具，了解技术知识对应用大有帮助。
第三周：数据分析思维数据分析能力的高低，不以工具和技巧决定，而以分析思维决定。
在一场战争中，士兵装备再好的武装，进行再严苛的训练，若是冲锋的方向错了，那么迎接他们的唯有一败涂地。
分析思维决定一场「数据战争」中的冲锋方向。只有先养成正确的分析思维，才能使用好数据。
既然是思维，它就倾向于思考的方式，Excel函数学会了就是学会，分析则不同。大多数人的思维方式都依赖于生活和经验做出直觉性的判断，以「我觉得我认为」展开，好的数据分析首先要有结构化的思维。
麦肯锡是其中领域的佼佼者，创建了一系列分析框架和思维工具。最典型地莫过于金字塔思维。
这篇文章简述了该思维的应用，「快速掌握麦肯锡的分析思维」。你能学会结构化思考，MECE原则，假设先行，关键驱动等方法论。
除此以外，还有SMART、5W2H、SWOT、4P4C、六顶思考帽等，这些都是不同领域的框架。框架的经典在于，短时间内指导新人如何去思考，它未必是最好的，但一定是性价比最优的。数据分析思维，是分析思维的引申应用。再优秀的思考方式，都需要佐证和证明，数据就是派这个用处的，「不是我觉得，而是数据证明」。
现代管理学之父彼得·德鲁克说过一句很经典的话：如果你不能衡量它，那么你就不能有效增长它。如果把它应用在数据领域，就是：如果你不能用指标描述业务，那么你就无法有效增长它。每一位数据分析师都要有指标体系的概念，报表也好，BI也好，即使机器学习，也是围绕指标体系建立的。
下图就是一个典型的指标体系，描述了用户从关注产品、下载、乃至最后离开的整个环节。每一个环节，都有数据及指标以查询监控。
不同业务背景需要的指标体系不同，但有几个建立指标的通用准则。这篇文章深入介绍了「如何建立数据分析的思维框架」。你将区分什么是好指标、什么是坏指标、比率和比例、指标的结构、指标设立的维度等概念。
数据分析不是一个结果，而是一个过程。几乎所有的分析，最终目的都是增长业务。所以比分析思维更重要的是驱动思维落地，把它转化为成果。
数据分析思维是常年累月养成的习惯，一周时间很难训练出来，但这里有一个缩短时间的日常习惯。以生活中的问题出发做练习。
这家商场的人流量是多少？怎么预估？
上海地区的共享单车投放量是多少？怎么预估？
街边口的水果店，每天的销量和利润是多少？怎么预估？
这些开放性问题起源于咨询公司的训练方法，通过不断地练习，肯定能有效提高分析思维。另外就是刷各种CaseBook。
优秀的数据分析师会拷问别人的数据，而他本身的分析也经得起拷问。
第四周：数据库
Excel很容易遇到瓶颈，随着业务的发展，分析师接触的数据会越来越多。对大部分人的电脑，超过十万条数据，已经会影响性能。何况大数据时代就是不缺数据，这时候就需要学习数据库了。
即使非数据岗位，也有越来越多的产品和运营被要求使用SQL。
很多数据分析师戏称自己是跑SQL的，这间接说明SQL在数据分析中有多核心。从Excel到SQL绝对是处理效率的一大进步。
教程内容以MySQL为主，这是互联网行业的通用标准。其实语法差异不大的。
新手首先应该了解表的概念，表和Excel中的sheet类似。「写给新人的数据库指南」是一篇入门基础文章，包括表、ID索引、以及数据库的安装，数据导入等简单知识。
SQL的应用场景，均是围绕select展开。增删改、约束、索引、数据库范式均可以跳过。新手在「SQL，从入门到熟练」教程会学习到最常见的几个语法，select、where、group by、if、count/sum、having、order by、子查询以及各种常用函数。
数据还是分析师薪资数据，它可以和Excel实战篇结合看，不少原理都是相通的。
想要快速掌握，无非是大量的练习。大家可以在leetcode上做SQL相关的练习题，难度从简单到困难都有。「SQL，从熟练到掌握」教程中将会带领大家去刷一遍。
join对新手是一个很绕的概念，教程会从图例讲解，逐步提高难度。从一开始的join关联，到条件关联、空值匹配关联、子查询关联等。最后完成leetcode中的hard模式。
如果想要更进一步，可以学习row_number，substr，convert，contact等函数。不同数据平台的函数会有差异，例如Presto和phpMyAdmin。再想提高，就去了解Explain优化，了解SQL的工作原理，了解数据类型，了解IO。知道为什么union比or的效率快，这已经和不少程序员并驾齐驱。
第五周：统计学
很多数据分析师并不注重统计学基础。
比如产品的AB测试，如果相关人员不清楚置信度的含义和概念，那么好的效果能意味着好么？如果看待显著性？
比如运营一次活动，若不了解描述统计相关的概念，那么如何判别活动在数据上的效果？可别用平均数。
不了解统计学的数据分析师，往往是一个粗糙的分析师。如果你想要往机器学习发展，那么统计学更是需要掌握的基础。
统计知识会教大家以另一个角度看待数据。如果大家了解过《统计数据会撒谎》，那么就知道很多数据分析的决策并不牢靠。
在第一篇教程「解锁数据分析的正确姿势：描述统计」，会教给大家描述统计中的诸多变量，比如平均数、中位数、众数、分位数、标准差、方差。这些统计标准会让新手分析师从平均数这个不靠谱的泥潭中出来。
箱线图就是描述统计的大成者，好的分析师一定是惯用箱线图的常客。
第二篇「解锁数据分析的正确姿势：描述统计(2)」将会结合可视化，对数据的分布进行一个直观的概念讲解。很多特定的模型都有自有的数据分布图，掌握这些分布图对分析的益处不可同日而语。
直方图和箱线图一样，将会是长久伴随分析师的利器。
统计学的一大主要分支是概率论，概率是度量一件事发生的可能性，它是介于0到1之间的数值。很多事情，都可以用概率论解释，「概率论的入门指南」和「读了本文，你就懂了概率分布」都是对其的讲解。
包括贝叶斯公式、二项概率、泊松概率、正态分布等理论。理论不应用现实，那是无根之木，教程中会以运营活动最常见的抽奖概率为讲解，告诉大家怎么玩。
其实数据分析中，概率应用最广泛和最全面的知识点，就是假设检验，大名鼎鼎的AB测试就是基于它的。俗话说得好，再优秀的产品经理也跑不过一半AB测试。
何为假设检验？假设检验是对预设条件的估计，通过样本数据对假设的真伪进行判断。
产品改版了，用户究竟喜不喜欢？调研的评分下降了，这是用户的评价降低了，还是正常的数据波动呢？这些都是可以做假设检验的。它可以说是两面两篇文章的回顾和应用。
「数据分析必须懂的假设检验」依旧以互联网场景讲解各种统计技巧的应用。假设检验并不难，通过Excel的几个函数就能完成。它的难点在于诸多知识点和业务的结合使用，实际公式不需要掌握的多透彻，了解背后的意义更重要。
统计学是一个很广阔的领域，包括方差分析，时间序列等，都有各自不同的应用。大家若感兴趣，可以去阅读各类教材，没错，教材是学习统计学最优的方式。我这类文章堪堪算入门罢了。
第六周：业务
对于数据分析师来说，业务的了解比数据方法论更重要。举个例子，一家O2O配送公司发现在重庆地区，外卖员的送货效率低于其他城市，导致用户的好评率降低。总部的数据分析师建立了各个指标去分析原因，都没有找出来问题。后来在访谈中发觉，因为重庆是山城，路面高低落差比较夸张，很多外卖人员的小电瓶上不了坡…所以导致送货效率慢。这个案例中，我们只知道送货员的送货水平距离，根本不知道垂直距离。这是数据的局限，也是只会看数据的分析师和接地气分析师的最大差异。业务形态千千万万，数据分析师往往难窥一二。我的公众号业务部分也涉及了不少，大家可以通过这几篇文章了解。
一篇文章读懂活跃数据；深入浅出，用户生命周期的运营；获取新增用户，运营都应该知道的事；运营的商业逻辑：CAC和CLV；从零开始，构建数据化运营体系；读懂用户运营体系：用户分层和分群，这些都是互联网运营相关的内容，或多或少涉及了不少业务方面的概念，数据分析人员可以选择性的挑选部分内容。了解业务的数据分析师在职场发展上会更加顺利。
而在「最用心的运营数据指标解读」中，我尝试总结了几个泛互联网领域的指标和业务模型，它们都是通用的框架。
产品运营模型：以移动端APP为主体，围绕AARRR准则搭建起数据框架。包括Acquisition用户获取、Activation用户活跃、Retention用户留存、Revenue营收、Refer传播，以及细分指标。
市场营销模型：以传统的市场营销方法论为基底，围绕用户的生命周期建立框架。包括用户生命周期，生命周期价值、用户忠诚指数、用户流失指数、用户RFM价值等。
流量模型：从早期的网站分析发展而来，以互联网的流量为核心。包括浏览量曝光率、病毒传播周期、用户分享率、停留时间、退出率跳出率等。
电商和消费模型：以商品的交易、零售、购买搭建而起。包括GMV、客单价、复购率、回购率、退货率、购物篮大小、进销存，也包含SKU、SPU等商品概念。
用户行为模型：通过用户在产品功能上的使用，获得精细的人群维度，以此作为分析模型。包括用户偏好、用户兴趣、用户响应率、用户画像、用户分层，还包含点赞评论浏览收藏等功能的相关指标。
除了上述的几个常见模型，数据分析还有其他分支。比如SEO/SEM，虽然可以归类到流量模型，但它并不简单。比如财务分析，商业的各种成本支出也需要专人负责。
在业务知识外，业务层面的沟通也很重要。业务线足够长的时候，沟通往往成为老大难的问题。
业务学习没有捷径，哪怕掌握了诸多模型，不同行业间的业务壁垒会是分析师们的门槛。金融的各类专有领域知识，电子商务不同产品的特性，这些都会影响到分析报告的质量。
在早期，新人最好选择一到两个领域深入了解其业务，然后以此拓展边界。
第七周：Python/R
第七周是最后的学习环节。
是否具备编程能力，是初级数据分析和高级数据分析的风水岭。数据挖掘、BI、爬虫、可视化报表都需要用到编程。掌握一门优秀的编程语言，可以让数据分析师升职加薪，迎娶白富美。数据分析领域最热门的两大语言是R和Python。R的优点是统计学家编写的，缺点也是统计学家编写。涉及各类统计函数和工具的调用，R无疑有优势。但是大数据量的处理力有不逮，学习曲线比较陡峭。
Python则是万能的胶水语言，适用性强，可以将分析的过程脚本化。Pandas、Numpy、SKLearn等包也是非常丰富。
这里的教程以Python为主。
「开始Python的新手教程」将会教大家搭建数据分析环境，Anaconda是功能强大的数据科学工具。Python建议安装Python3+版本，不要选择Python2了。
Python的语法相当简洁，大家print出第一个hello world顶多半小时。就像在Excel上进行运算一样方便。
「开始Python的数据结构」介绍给大家Python的三类数据结构，列表list，元组tuple，以及字典dict。万变不离其宗，掌握这三种数据结构以及相对应的函数，足够应付80%的分析场景。函数式编程为Python一大特色，Python自身就提供不少丰富的函数。很多都和Excel的函数相通，掌握起来非常迅速。另外还有控制流，for、while、if，通常配合函数组合使用。
「了解和掌握Python的函数」教大家如何自定义函数，丰富的函数虽然能偷懒，但是不少场景下，还是需要自己动手撸一个。
能够调第三方包解决，就使用第三方的函数。如果是一个频繁使用的场景，而第三方依靠不了，就自己编一个函数。如果是临时性的场景，写得粗糙点也无所谓。毕竟分析师的代码能力不要求工程师那么严格，所以Python的学习尽量以应用为主，不用像分析师那么严格。
包、模块和类的概念属于进阶知识，不学也不要紧。
「Python的数据分析: numpy和pandas入门」介绍了数据分析师赖以生存的两个包，numpy和pandas，其他Python知识可以不扎实，这两个最好认真掌握。它是往后很多技能树的前置要求。
array，series，dataframe是numpy和pandas的三个数据结构，掌握它们，便算是入门了。后续的两篇教程都是实战。
「用pandas进行数据分析实战」以分析师的薪资作为实战数据。Excel、BI、SQL，一路走来，大家想必对它无比熟悉，这也是最后一次使用它了。教程通过Pandas的各类功能，绘制出一副词云图。
用爬虫技术能做到哪些有趣的事情？
看到这个问题必须来怒答一波～用python爬虫爬便宜机票了解一下？
喜欢旅行又怕吃土？让Python来爬取最便宜机票吧！图源：
videoblocks.com
你喜欢旅行吗？
这个问题通常会得到一个肯定的答案，随后引出一两个有关之前冒险经历的故事。大多数人都认为旅行是体验新文化和开阔视野的好方法。但如果问题是“你喜欢搜索机票的过程吗？”也许话题就到此为止了……
可事实上，便宜的机票往往也很重要！本文将尝试构建一个网络爬虫，该爬虫对特定目的地运行并执行带有浮动日期（首选日期前后最多三天）的航班价格搜索。它会将结果保存为excel文件并发送一封包含快速统计信息的电子邮件。显然，这个爬虫的目的就是帮助我们找到最优惠的价格！
你可以在服务器上运行脚本(一个简单的Raspberry Pi就可以)，每天运行一到两次。结果会以邮件形式发送，建议将excel文件存入Dropbox文件夹，以便随时随地查看。
因为爬虫以“浮动日期”进行搜索，所以它会搜索首选日期前后最多三天的航班信息。尽管该脚本一次仅运行一对目的地，但可以很容易地改写该爬虫使其每个循环运行多个目的地。最终甚至可能找到一些错误票价...那会很有意思！
另一个爬虫某种意义上来讲，网络爬取是互联网“工作”的核心。
也许你认为这是一个十分大胆的说法，但谷歌就是从拉里·佩奇用Java和Python构建的网络爬虫开始的。爬虫不断地爬取信息，整个互联网都在试图为所有问题提供最佳的可能答案。网络爬取有不计其数的应用程序，即使更喜欢数据科学中的其他分支，你仍需要一些爬取技巧以获得数据。
这里用到的一些技术来自于最近新的一本佳作《Python网络数据采集》，书中包含与网络爬取相关的所有内容，并提供了大量简例和实例。甚至有一个特别有意思的章节，讲述如何解决验证码检验的问题。
Python的拯救第一个挑战就是选择爬取信息的平台，本文选择了客涯（Kayak）。我们试过了Momondo, 天巡（Skyscanner）, 亿客行（Expedia）和其它一些网站，但是这些网站上的验证码特别变态。
在那些“你是人类吗？”的验证中，尝试了多次选择交通灯、十字路口和自行车后，客涯似乎是最好的选择，尽管短时间内加载太多页面它会跳出安全检查。
我们设法让机器人每4到6个小时查询一次网站，结果一切正常。虽然说不定哪个部分偶尔会出点小问题，但是如果收到验证码，既可以手动解决问题后启动机器人，也可以等待几小时后的自动重启。
如果你是网络爬取新手，或者不知道为何有些网站花费很大力气阻止网络爬取，那么为构建爬虫写下第一行代码前，你一定要多加努力。
谷歌的“网络爬取规范”：
http://lmgtfy.com/?q=web+scraping+etiquette
系紧安全带...导入并打开Chrome浏览器标签页后，会定义一些循环中会用到的函数。这个架构的构思大概是这样的：
· 一个函数用于启动机器人程序，表明想要搜索的城市和日期。
· 这个函数获得首轮搜索结果，按“最佳”航班排序，然后点击“加载更多结果”。
· 另一个函数会爬取整个页面，并返回一个dataframe数据表。
· 随后重复步骤2和步骤3，得出按“价格”和“航行时间”排序的结果。
· 发送一封简要总结价格（最低价和平均价）的邮件，并将带有这三种排序类型的dataframe数据表保存为一份excel文件。
· 以上所有步骤会在循环中重复，每X小时运行一次。
每个Selenium项目都以一个网页驱动器开始。我们使用Chromedriver驱动器，但还有其它选择。PhantomJS和Firefox也很受欢迎。下载Chromedriver后，将其置于一个文件夹中即可。第一行代码会打开一个空白Chrome标签页。
from time import sleep, strftime
from random import randint
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import smtplib
from email.mime.multipart import MIMEMultipart
# Change this to your own chromedriver path!
chromedriver_path = 'C:/{YOUR PATH HERE}/chromedriver_win32/chromedriver.exe'
driver = webdriver.Chrome(executable_path=chromedriver_path) # This will open the Chrome window
sleep(2)
这些是将用于整个项目的包。使用randint函数令机器人在每次搜索之间随机睡眠几秒钟。这对任何一个机器人来说都是必要属性。如果运行前面的代码，应该打开一个Chrome浏览器窗口，机器人会在其中导航。
一起来做一个快速测试：在另一个窗口上访问客涯网（http://kayak.com），选择往返城市和日期。选择日期时，确保选择的是“+-3天”。由于在编写代码时考虑到了结果页面，所以如果只想搜索特定日期，很可能需要做一些微小的调整。
点击搜索按钮在地址栏获取链接。它应该类似于下面所使用的链接，将变量kayak定义为url，并从网页驱动器执行get方法，搜索结果就会出现。
无论何时，只要在几分钟内使用get命令超过两到三次，就会出现验证码。实际上可以自己解决验证码，并在下一次验证出现时继续进行想要的测试。从测试来看，第一次搜索似乎一直没有问题，所以如果想运行这份代码，并让它在较长的时间间隔后运行，必须解决这个难题。你并不需要十分钟就更新一次这些价格，对吧？
每个XPath都有陷阱到目前为止，已经打开了一个窗口，获取了一个网站。为了开始获取价格和其他信息，需要使用XPath或CSS选择器，我们选择了XPath。使用XPath导航网页可能会令人感到困惑，即使使用从inspector视图中直接使用“复制XPath”，但这不是获得所需元素的最佳方法。有时通过“复制XPath”这个方法获得的链接过于针对特定对象，以至于很快就失效了。《Python网络数据采集》一书很好地解释了使用XPath和CSS选择器导航的基础知识。
接下来，用Python选择最便宜的结果。上面代码中的红色文本是XPath选择器，在网页上任意一处右键单击选择“inspect”就可以看到它。在想要查看代码的位置，可以再次右键单击选择“inspect”。
为说明之前所观察到的从“inspector”复制路径的缺陷，请参考以下差异：
1 # This is what the copymethod would return. Right click highlighted rows on the right side and select “copy> Copy XPath”//*[@id=“wtKI-price_aTab”]/div[1]/div/div/div[1]/div/span/span
2 # This is what I used todefine the “Cheapest” buttoncheap_results= ‘//a[@data-code = “price”]’
第二种方法的简洁性清晰可见。它搜索具有data-code等于price属性的元素a。第一种方法查找id等于wtKI-price_aTab的元素，并遵循第一个div元素和另外四个div和两个span。这次……会成功的。现在就可以告诉你，id元素会在下次加载页面时更改。每次页面一加载，字母wtKI会动态改变，所以只要页面重新加载，代码就会失效。花些时间阅读XPath，保证你会有收获。
不过，使用复制的方法在不那么“复杂”的网站上工作，也是很好的！
基于以上所展示的内容，如果想在一个列表中以几个字符串的形式获得所有搜索结果该怎么办呢？其实很简单。每个结果都在一个对象中，这个对象的类是“resultWrapper”。获取所有结果可以通过像下面这样的for循环语句来实现。如果你能理解这一部分，应该可以理解接下来的大部分代码。它基本上指向想要的结果（结果包装器），使用某种方式（XPath）获得文本，并将其放置在可读对象中（首先使用flight_containers，然后使用flight_list）。
前三行已展示在图中，并且可以清楚地看到所需的内容，但是有获得信息的更优选择，需要逐一爬取每个元素。
准备起飞吧！最容易编写的函数就是加载更多结果的函数，所以代码由此开始。为了在不触发安全验证的前提下最大化所获取的航班数量，每次页面显示后，单击“加载更多结果”。唯一的新内容就是所添加的try语句，因为有时按钮加载会出错。如果它对你也有用，只需在前面展示的start_kayak函数中进行简要注释。
# Load more results to maximize the scraping
def load_more():
try:
more_results = '//a[@class = “moreButton”]'
driver.find_element_by_xpath(more_results).click()
# Printing these notes during the program helps me quickly check what it is doing
print('sleeping…..')
sleep(randint(45,60))
except:
pass
现在，经过这么长的介绍，已经准备好定义实际爬取页面的函数。
我们编译了下一个函数page_scrape中的大部分元素。有时这些元素会返回列表插入去程信息和返程信息之间。这里使用了一个简单的办法分开它们，比如在第一个 section_a_list和section_b_list变量中，该函数还返回一个flight_df数据表。所以可以分离在不同分类下得到的结果，之后再把它们合并起来。
def page_scrape():
“““This function takes care of the scraping part”““
xp_sections = '//*[@class=“section duration”]'
sections = driver.find_elements_by_xpath(xp_sections)
sections_list = [value.text for value in sections]
section_a_list = sections_list[::2] # This is to separate the two flights
section_b_list = sections_list[1::2] # This is to separate the two flights
# if you run into a reCaptcha, you might want to do something about it
# you will know there's a problem if the lists above are empty
# this if statement lets you exit the bot or do something else
# you can add a sleep here, to let you solve the captcha and continue scraping
# i'm using a SystemExit because i want to test everything from the start
if section_a_list == []:
raise SystemExit
# I'll use the letter A for the outbound flight and B for the inbound
a_duration = []
a_section_names = []
for n in section_a_list:
# Separate the time from the cities
a_section_names.append(''.join(n.split()[2:5]))
a_duration.append(''.join(n.split()[0:2]))
b_duration = []
b_section_names = []
for n in section_b_list:
# Separate the time from the cities
b_section_names.append(''.join(n.split()[2:5]))
b_duration.append(''.join(n.split()[0:2]))
xp_dates = '//div[@class=“section date”]'
dates = driver.find_elements_by_xpath(xp_dates)
dates_list = [value.text for value in dates]
a_date_list = dates_list[::2]
b_date_list = dates_list[1::2]
# Separating the weekday from the day
a_day = [value.split()[0] for value in a_date_list]
a_weekday = [value.split()[1] for value in a_date_list]
b_day = [value.split()[0] for value in b_date_list]
b_weekday = [value.split()[1] for value in b_date_list]
# getting the prices
xp_prices = '//a[@class=“booking-link”]/span[@class=“price option-text”]'
prices = driver.find_elements_by_xpath(xp_prices)
prices_list = [price.text.replace('$','') for price in prices if price.text != '']
prices_list = list(map(int, prices_list))
# the stops are a big list with one leg on the even index and second leg on odd index
xp_stops = '//div[@class=“section stops”]/div[1]'
stops = driver.find_elements_by_xpath(xp_stops)
stops_list = [stop.text[0].replace('n','0') for stop in stops]
a_stop_list = stops_list[::2]
b_stop_list = stops_list[1::2]
xp_stops_cities = '//div[@class=“section stops”]/div[2]'
stops_cities = driver.find_elements_by_xpath(xp_stops_cities)
stops_cities_list = [stop.text for stop in stops_cities]
a_stop_name_list = stops_cities_list[::2]
b_stop_name_list = stops_cities_list[1::2]
# this part gets me the airline company and the departure and arrival times, for both legs
xp_schedule = '//div[@class=“section times”]'
schedules = driver.find_elements_by_xpath(xp_schedule)
hours_list = []
carrier_list = []
for schedule in schedules:
hours_list.append(schedule.text.split('\n')[0])
carrier_list.append(schedule.text.split('\n')[1])
# split the hours and carriers, between a and b legs
a_hours = hours_list[::2]
a_carrier = carrier_list[1::2]
b_hours = hours_list[::2]
b_carrier = carrier_list[1::2]
cols = (['Out Day', 'Out Time', 'Out Weekday', 'Out Airline', 'Out Cities', 'Out Duration', 'Out Stops', 'Out Stop Cities',
'Return Day', 'Return Time', 'Return Weekday', 'Return Airline', 'Return Cities', 'Return Duration', 'Return Stops', 'Return Stop Cities',
'Price'])
flights_df = pd.DataFrame({'Out Day': a_day,
'Out Weekday': a_weekday,
'Out Duration': a_duration,
'Out Cities': a_section_names,
'Return Day': b_day,
'Return Weekday': b_weekday,
'Return Duration': b_duration,
'Return Cities': b_section_names,
'Out Stops': a_stop_list,
'Out Stop Cities': a_stop_name_list,
'Return Stops': b_stop_list,
'Return Stop Cities': b_stop_name_list,
'Out Time': a_hours,
'Out Airline': a_carrier,
'Return Time': b_hours,
'Return Airline': b_carrier,
'Price': prices_list})[cols]
flights_df['timestamp'] = strftime(“%Y%m%d-%H%M”) # so we can know when it was scraped
return flights_df
尽量让这些名字容易理解。记住变量a表示旅行的去程信息，变量b表示旅行的返程信息。接下来说说下一个函数。
等等，还有什么吗？截至目前，已经有了一个能加载更多结果的函数和一个能爬取其他结果的函数。本可以在此结束这篇文章，而你可以自行手动使用这些函数，并在浏览的页面上使用爬取功能。但是前文提到给自己发送邮件和一些其他信息的内容，这都包含在接下来的函数start_kayak中。
它要求填入城市名和日期，并由此打开一个kayak字符串中的地址，该字符串直接跳转到“最佳”航班结果排序页面。第一次爬取后，可以获取价格的顶部矩阵，这个矩阵将用于计算平均值和最小值，之后和客涯（Kayak）的预测结果（页面左上角）一同发送到邮件中。这是单一日期搜索时可能导致错误的原因之一，因其不包含矩阵元素。
def start_kayak(city_from, city_to, date_start, date_end):
“““City codes it's the IATA codes!
Date format YYYY-MM-DD”““
kayak = ('https://www.kayak.com/flights/' + city_from + '-' + city_to +
'/' + date_start + '-flexible/' + date_end + '-flexible?sort=bestflight_a')
driver.get(kayak)
sleep(randint(8,10))
# sometimes a popup shows up, so we can use a try statement to check it and close
try:
xp_popup_close = '//button[contains(@id,”dialog-close”) and contains(@class,”Button-No-Standard-Style close “)]'
driver.find_elements_by_xpath(xp_popup_close)[5].click()
except Exception as e:
pass
sleep(randint(60,95))
print('loading more.....')
# load_more()
print('starting first scrape.....')
df_flights_best = page_scrape()
df_flights_best['sort'] = 'best'
sleep(randint(60,80))
# Let's also get the lowest prices from the matrix on top
matrix = driver.find_elements_by_xpath('//*[contains(@id,”FlexMatrixCell”)]')
matrix_prices = [price.text.replace('$','') for price in matrix]
matrix_prices = list(map(int, matrix_prices))
matrix_min = min(matrix_prices)
matrix_avg = sum(matrix_prices)/len(matrix_prices)
print('switching to cheapest results…..')
cheap_results = '//a[@data-code = “price”]'
driver.find_element_by_xpath(cheap_results).click()
sleep(randint(60,90))
print('loading more…..')
# load_more()
print('starting second scrape…..')
df_flights_cheap = page_scrape()
df_flights_cheap['sort'] = 'cheap'
sleep(randint(60,80))
print('switching to quickest results…..')
quick_results = '//a[@data-code = “duration”]'
driver.find_element_by_xpath(quick_results).click()
sleep(randint(60,90))
print('loading more…..')
# load_more()
print('starting third scrape…..')
df_flights_fast = page_scrape()
df_flights_fast['sort'] = 'fast'
sleep(randint(60,80))
# saving a new dataframe as an excel file. the name is custom made to your cities and dates
final_df = df_flights_cheap.append(df_flights_best).append(df_flights_fast)
final_df.to_excel('search_backups//{}_flights_{}-{}_from_{}_to_{}.xlsx'.format(strftime(“%Y%m%d-%H%M”),
city_from, city_to,
date_start, date_end), index=False)
print('saved df…..')
# We can keep track of what they predict and how it actually turns out!
xp_loading = '//div[contains(@id,”advice”)]'
loading = driver.find_element_by_xpath(xp_loading).text
xp_prediction = '//span[@class=“info-text”]'
prediction = driver.find_element_by_xpath(xp_prediction).text
print(loading+'\n'+prediction)
# sometimes we get this string in the loading variable, which will conflict with the email we send later
# just change it to “Not Sure” if it happens
weird = '¯\\_(ツ)_/¯'
if loading == weird:
loading = 'Not sure'
username = 'YOUREMAIL@hotmail.com'
password = 'YOUR PASSWORD'
server = smtplib.SMTP('smtp.outlook.com', 587)
server.ehlo()
server.starttls()
server.login(username, password)
msg = ('Subject: Flight Scraper\n\n\
Cheapest Flight: {}\nAverage Price: {}\n\nRecommendation: {}\n\nEnd of message'.format(matrix_min, matrix_avg, (loading+'\n'+prediction)))
message = MIMEMultipart()
message['From'] = 'YOUREMAIL@hotmail.com'
message['to'] = 'YOUROTHEREMAIL@domain.com'
server.sendmail('YOUREMAIL@hotmail.com', 'YOUROTHEREMAIL@domain.com', msg)
print('sent email…..')
虽然没有使用Gmail账户测试发送邮件，但是可以搜索到很多的替代方法，前文提到的那本书中也有其他方法来实现这一点。如果已有一个Hotmail账户，只要替换掉个人的详细信息，它就会开始工作了。
如果想探索脚本的某一部分正在做什么，可以将脚本复制下来并在函数外使用它。这是彻底理解它的唯一方法。
利用刚才创造的一切在这些步骤之后，还可以想出一个简单的循环来使用刚创造的函数，同时使其持续运行。完成四个“花式”提示，写下城市和日期（输入）。因为测试时不想每次都输入这些变量，需要的时候可以使用以下这个清楚的方式进行替换。
如果已经做到了这一步，恭喜你！改进还有很多，比如与Twilio集成，发送文本消息而不是邮件。也可以使用VP*或更加难懂的方式同时从多个服务器上研究搜索结果。还有就是验证码的问题，验证码会时不时地跳出来，但对此类问题还是有解决办法的。不过，能走到这里已经是有很牢固的基础了，你可以尝试添加一些额外的要素。
使用脚本运行测试的示例
留言 点赞 关注
我们一起分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”