php表单怎么过滤

1、php表单怎么过滤，如何加固ecshop网站安全？

谢谢悟空小秘书邀请！对于有些朋友可能对于ecshop有点陌生，首先ecshop是上海商派网络科技有限公司旗下的B2C独立网店系统。而且适合个人以及企业快速构建个性化网上商店。而且ecshop是基于PHP语言，以及MYSQL数据库构架开发的垮平台开源系统。经过多年的发展，ecshop网店系统在产品功能，稳定性以及执行效率等方面都占国内同类产品领先地位。而且也成为国内主流的购物系统之一。

1:那么怎么加固它的安全性呢？首先网站后台目录尽量不要使用系统默认的admin或huani以及houtai之类的名称，尽快修改。以保证系统的安全性能。

2:修改管理员用户名和密码要设置复杂，最好的做法就是使用大小写加字母。这样可以保证登录安全性能。

3:如果网站是找了二次开发的人员进行了功能的修改，那么要一定要告诉程序员严格过滤非法参数和传递以及调用包含文件的函数和操作。不能把非法数带入spl查询中，而且对一些转义函数上一定要严格使用。

4:升级系统为最新版本，应该定期注意官方发布版本更新提示，这样会避免低版本安全系数。

2、网络安全都学什么？

你好。对于所提问的，我身边正好有两位朋友，工作前学的就是网络安全。我刚刚也和他们简单聊了一些相关的话题，也自己去了解了一些。

如果你想学习相关知识，网络安全知识不是一朝一夕就能学会的，如果借助于计算机网络安全培训，相信你会学的更全面、更扎实。

学习网络安全需要具备的知识：

（1）熟悉计算机系统的基础知识；

（2）熟悉网络操作系统的基础知识；

（3）理解计算机应用系统的设计和开发方法；

（4）熟悉数据通信的基础知识；

（5）熟悉系统安全和数据安全的基础知识；

（6）掌握网络安全的基本技术和主要的安全协议与安全系统；

（7）掌握计算机网络体系结构和网络协议的基本原理；

（8）掌握计算机网络有关的标准化知识。

学习安全网络还需要掌握局域网组网技术，理解城域网和广域网基本技术；掌握计算机网络互联技术；掌握TCP/IP协议网络的联网方法和网络应用服务技术，理解接入网与接入技术；

掌握网络管理的基本原理和操作方法；熟悉网络系统的性能测试和优化技术，以及可靠性设计技术；理解网络应用的基本原理和技术，理解网络新技术及其发展趋势。

网络安全是指网络系统的硬件、软件及系统中的数据受到保护，不因偶然的或者恶意的原因而遭到破坏、更改、泄露，系统可以连续可靠正常地运行，网络服务不被中断。

我在说说，咱们普通家庭，平时使用电脑，该注意的一些网络安全方面的知识。

1：上网前可以做哪些事情来确保上网安全？

首先，你需要安装个人防火墙，利用隐私控制特性，你可以选择哪些信息需要保密，而不会不慎把这些信息发送到不安全的网站。这样，还可以防止网站服务器在你不察觉的情况下跟踪你的电子邮件地址和其他个人信息。其次,请及时安装系统和其它软件的补丁和更新。基本上越早更新,风险越小。防火墙的数据也要记得及时更新。

2：如何防止黑客攻击？

首先，使用个人防火墙防病毒程序以防黑客攻击和检查黑客程序(一个连接外部服务器并将你的信息传递出去的软件)。个人防火墙能够保护你的计算机和个人数据免受黑客入侵，防止应用程序自动连接到网站并向网站发送信息。

其次，在不需要文件和打印共享时，关闭这些功能。文件和打印共享有时是非常有用的功能，但是这个特性也会将你的计算机暴露给寻找安全漏洞的黑客。一旦进入你的计算机，黑客就能够窃取你的个人信息。

3：如何防止电脑中毒？

首先，不要打开来自陌生人的电子邮件附件或打开及时通讯软件传来的文件。这些文件可能包含一个特洛伊木马程序，该程序使得黑客能够访问你的文档，甚至控制你的外设，你还应当安装一个防病毒程序保护你免受病毒、特洛伊木马程序和蠕虫侵害。

4：浏览网页时，如何确保信息安全？

采用匿名方式浏览，你在登录网站时会产生一种叫cookie(即临时文件，可以保存你浏览网页的痕迹)的信息存储器，许多网站会利用cookie跟踪你在互联网上的活动。

你可以在使用浏览器的时候在参数选项中选择关闭计算机接收cookie的选项。(打开 IE浏览器，点击 “工具”—“Internet选项”， 在打开的选项中，选择“隐私”，保持“Cookies”该复选框为未选中状态，点击按钮"确定")

5：网上购物时，如何确保你的信息安全？

网上购物时，确定你采用的是安全的连接方式。你可以通过查看浏览器窗口角上的闭锁图标是否关闭来确定一个连接是否安全。在进行任何的交易或发送信息之前阅读网站的隐私保护政策。因为有些网站会将你的个人信息出售给第三方。在线时不要向任何人透露个人信息和密码。

以上所说的，希望对你有所帮助。最后祝你学习工作，生活愉快，谢谢。

3、如何写出一份漂亮的简历？

经典的职场个人简介标准版

职场个人简介篇1各位领导,各位同事,大家上午好。

我叫张克成，弓长张,克服困难的克,成功的成，初次见面大家可能记不住，没关系，大家叫我小张就好了。

我来自湖北黄冈武穴，是武汉大学动力与机械学院能源动力系统及其自动化专业的应届本科毕业生,目前在公司咨询部工作。作为一名应届本科毕业生，新到一-个陌生的城市,面对自己人生的第一份工作,我是忐忑大于欣喜的,有一种前途未卜的感觉,再加上逝去学生时代的伤感，刚开始我的情绪是比较低落的。

值得庆幸的是，公司领导对我们给予了充分的照顾和细致的指导,邓总、吴经理、李副经理多次找我谈心;在入职方面,办公司于姐也是热心热情地帮我们办理各种手续;在工作方面，以周工为代表的前辈们也是我学习的榜样,众所周知，技术工种是比较枯燥的，但是已经在本行业工作十几甚至几十年的前辈们却依旧用他们饱满的精神深深地感染了我，在这里对他们一并表示感谢。

最后，要感谢的是我的校友兼同事余芳同学,室友兼同事黄晶同学,曾令奎同事,邓洪明同事，谢谢他们在学习工作生活上的帮助

当然还有那些散布于全国各地的朋友同学们，也希望他们像我一样荣幸地进入像深水这样温馨的大家庭，谱写自己人生的新篇章。

相信有了这么多的关心和帮助，鼓励和祝福,我一定能克服目前的困难,尽快地成长起来，为公司的发展尽自己的一份薄力。实习实践20XX年3月至6月在石家庄某小学进行教育实习20XX年7月至8月在某家教育培训班帮忙辅导小学生的作业，深受小学生的喜爱并邀请下期继续留下助教;20XX年7月至8月给一初二女生辅导其数学，成绩有所提高。

技能证书20XX年7月获计算机等级-级证书20XX年4月获计算机等级二级证书20XX年12月通过大学英语四级考试20XX年6月获高级动物疫病防治员职业资格证20XX年7月获高级中学教师资格证自我评价热情随和,活波开朗,具有进取精神和团队精神，有较强的动手能力。

良好协调沟通能力，适应力强，反应快、积极、灵活，爱创新!在学习中，我注重理论与实践的结合，己具备了相当的实践操作能力，提高自己，适应工作的需要。

很强的事业心和责任感使我能够面对任何困难和挑战。

在校获奖情况20XX-7高级中学教师资格证20XX5优秀团干部荣誉称号20XX-905级国旗班优秀护旗手在校实践20XX-3至，20XX-6石家庄合作路小学教师

大学里经常参加一-些文娱活动，逐渐养成了善于交际、能与人和睦相处的好习惯。工作中认真负责、勤劳肯干,同时又注重团队合作，获得周围同学的一致好评 。

毕业后，本人还将这种态度保持到今后的工作中去，去实现人生的价值。

本人性格开朗活泼,兴趣较为广泛,待人真成。

在校所读专业为机械制造与自动化，平时喜欢多动手和看看书，动手能力较强，并在校通过自己的努力完成了自考专升本的商务管理课程，有一-定的自学能力。

在校期间曾获院一等奖及各种荣誉称号 。曾担任系文艺部部长及班团支书-职，在工作.上认真负责，在学习，上也丝毫不敢怠慢，在生活上也有激情活泼的-面 。

大学这三年我没白来，至少我学到了-定.的专业知识，我的组织和管理能力也得到了一定的提升，让我在竞争中处于-定的优势。

性格开朗、稳重、有活力,待人热情、真诚;工作认真负责，积极主动，能吃苦耐劳,用于承受压力，勇于创新;有很强的组织能力和团队协作精神，具有较强的适应能力;纪律性强，工作积极配合;意志坚强，具有较强的无私奉献精神。

本人性格开朗、为人诚恳、乐观向上、兴趣广泛、拥有较强的组织能力和适应能力、并具有较强的管理策划与组织管理协调能力。

吃苦耐劳，友善，待人真诚，富有责任感,积极进取;具备团队协作的精神,追求完美,工作认真执着积极集体活动，喜欢篮球。大学三年多的时间里培养了自学和研究问题的能力，有较好的接受新事物新知识的能力。

本人在大学期间认真学习自己的专业知识，而且还涉猎部分课外的知识,开阔视野,增强知识面;与此同时，本人还积极参加社团及班集体的活动,工作认真负责，积极主动,能吃苦耐劳,有较强的组织能力、实际动手能力和团体合作精神，能迅速地适应各种环境，为贵公司创造更好的利益。在实践期间,遇到不懂的问题,虛心请教各位前辈，总结自己存在的不足之处并加以改进,同时培养了吃苦耐劳、独立分析和解决问题的能力。

性格乐观开朗,做事勤快,认真,踏实，为人随和，好相处,爱学习，高中当过两年班长具有一定的管理能力。

熟练使用CADOffice喜欢户外运动，爬山，打乒乓球，篮球，骑山地自行车外出旅游等性格开朗，但坚强,做事能持之以恒,不畏艰险,善于与其他人合作，团队意识强，讳虚求学，学习能力较强，人际交往能力强,能很快的融入新的集体,但人无完人，我还有地方需要改进，在面对大事时比较的犹豫，不够坚决。

个人兴趣爱好比较广泛,喜欢运动,打篮球，乒乓，羽毛球，踢足球等等。

性格开朗,乐观向上，是一个相信明天会更

工作责任心和团体意识强，作为电子信息工程学院的足球队长尤为体现性格坚韧,办事有毅力，面对难题能沉下心攻克难关动手能力强,善于在实践中寻找问题，解决问题本人性格开朗、稳重、有活力，待人热情、真诚。

工作认真负责,积极主动,能吃苦耐劳,自信心强，思想活跃。

有较强的组织能力、实践动手能力和团队协作精神,能迅速的适应各种环境，并融于其中。

本人性格开朗、思维活跃;待人真诚;对工作充满热情,任劳任怨，具有很强的团队精神和协调能力。

善于交际能处理好人与人之间的关系，具有-定较好的学习能力。

在假期中，做兼职丰富自己的社会经验，提高了自己的社会实践能力。

在学习中，虽不是名列前茅但对基础知识也基本掌握完好为人开朗热情，乐于奉献,积极向上，性坚韧、善耐压、勤思考、求创新;丰富的学生会工作和社会实践实习经历,培养了坚韧不拔、高效务实的工作品性,优秀的团队合作意识。

为人诚恳、热心，性格乐观，待人友善;个性随和谦虚、自信、自律;积极创新，善于沟通，具有较强的团队合作精神，能够快速适应新的环境，对工作抱有极大的热情和责任心。

专业基础知识扎实,熟练掌握模电、数电、单片机等基础知识，能熟练运用Protel、AltiumDesigner等电路图绘制软件及Proteus、Multisim等仿真软件;并熟悉Keil、ICC、IAR等编程软件;能够用51单片机、AVR、MSP430、ARM等芯片制作控制电路。

个人简历都要包括什么,

一般来讲,个人简历的内容都应该包括:"本人基本情况”、“个人履历”“能力和专长”、“求职意向”、“联系方式”等基本要素。

“本人基本情况”包括:姓名、年龄(出生年月)、性别、籍贯、民族、学历、学位、政治面貌、学校、专业、身高、毕业时间等等。一般来说，本人基本情况的介绍越详细越好，但也没有必要画蛇添足，一个内容要素用一两个关键词简明扼要地括说明一下就够了。

“个人履历”主要是个人从高中阶段至就业前所获最高学历阶段之间的经历，应该前后年月相接

“本人的学习经历”主要列出大学阶段的主修、辅修与选修课科目及成绩,尤其是要体现

与你所谋求的职位有关的教育科目、专业知识。不必面面俱到(如果用人单位对你的大学大学成绩感兴趣，可以提供给他全面.的成绩单，而用不着在求职简历中过多描述这些东西)，要突出重点，有针对性。使你的学历、知识结构让用人单位感到与其招聘条件相吻合。

“本人的实践、工作经历”主要突出大学阶段所担任的社会工作、职务,在各种实习机会当中担当的工作。对于参加过工作的研究生，突出自己在原先岗位上的业绩也是非常重要的。

“本人的能力、性格评价”这种介绍要恰如其分,尽可能使你的专长、兴趣、性格与你所所谋求的职业特点、要求相吻合。事实.上，“本人的学习经历”、“本人的实践、工作经历”同样在映证个人的能力、性格,因此,前后一定要相互照应。

“求职意向”简短清晰,主要表明本人对哪些岗位、行业感兴趣及相关要求。

4、大数据主要学习哪些内容？

前言

要从事计算机行业的工作，不管是什么工作，开发、测试、还是算法等，都是要有一门自己比较熟练的编程语言，编程语言可以是C语言、Java、C++等，只要是和你后续工作所相关的就可以（后续用到其他语言的话，你有一门语言基础了，学起来就快了）。一般初学者入门语言大多都会选择Java、C语言、C++或者Python，而且现在网上有很多好的视频，可以供初学者学习使用。关于学习视频或者资料的选择，知乎或者百度等都有很多讲解了，也可以跟师兄师姐咨询，这样可以少走很多弯路，当然，有人说，走一些弯路总是有好处的，但是我这里说的弯路不是说不犯错误，不调bug，而是指学习资料以及一些知识点的偏重点，这样可以尽量节约一部分时间，刚开始时，总会有点迷，而且当你真正投入进去学习时，会发现时间总是不够用。

我前面是做的Java后端，后续才转的大数据，所以一些Java开发所需要的东西自己也有学习过，也都是按照正常的路线走的，JavaSE阶段，然后数据库，SSM框架，接着做了一些网上找的项目，之后发现对大数据比较感兴趣，就开始找大数据相关的资料学习，看视频，看博客，敲代码，前期大概花了3-4个月吧（公众号的这些资料就是我当时看过的），也是一步步艰难走过来的，刚刚开始接触大数据相关的东西时，一度怀疑这么多东西自己能否学得完，是不是能用得到，学完又忘了，忘了又回头看，不过还好，坚持过来了，还好没有放弃，工作也还ok，找的大数据开发岗，待遇也还不错吧。

下面就说一下我自己从Java开发到大数据开发的曲折学习之路（狗头保命.jpg）。因为我现在是做大数据相关的工作了，所以Java后端涉及到的一些SSM框架等知识点我就不介绍了，毕竟后续一段时间也没有做了。自己看过的大数据学习相关的视频+资料大概是200G-300G吧，从Linux->Hadoop->。。。->Spark->项目，还有就是一些面试文档，面经等。一些视频看了两遍或者更多，跟着学，跟着敲代码，做项目，准备面试。涉及到需要学习的东西包括：JavaSE，数据结构与算法（计算机行业必备），MySQL，Redis，ES（数据库这些可以看项目，也可以自己熟练一两个），Linux，Shell（这个可以后期补），Hadoop，Zookeeper，Hive，Flume，Kafka，HBase，Scala（Spark是Scala写的，会Scala做相关的项目会更容易入手），Spark，Flink（这个是找工作时有面试官问过几次liao不liao解，所以找完工作才开始接触学习），相关项目。

编程语言阶段学习

  如果是零基础的话，建议还是从视频开始入门比较好，毕竟一上来就看教材，这样有些代码的来龙去脉可能不是很了解。如果是有一些编程语言基础的话，从视频开始也会更简单，一些for、while循环你都知道了，学起来也会快很多。  JavaSE我是选择的某马刘意的为主，因为刚刚开始学Java看过一本从《Java从入门到精通》，没什么感觉，后续又在看了某课网的Java初级视频，还是没感觉出来啥（当时就有点怀疑自己了。。。），可能有点没进入状态。  还好后续找了某马刘意老师的JavaSE视频（我是看的2015年版本，那时候19版还没出），觉得他讲的真的是很好很详细，每个知识点都会有例子，也都会带你敲代码，做测试，可能前面有C语言基础，然后也看过Java的一些语法，所以学起来还是比较顺利，后面的IO流、多线程等知识点时，也有看书看博客，或者看看其他老师的课程，讲解的可能自己比较容易接受就可以，反正都是多尝试（下面会给出视频链接），尽量懂一些，后续可以回头来复习。JavaSE相关的视频，先看一遍，后续有时间建议再看一遍，而且这些经典的视频，看两遍真的是享受。  如果有一定基础了的，JavaSE前面七八天的视频可以加速看，但是不懂的一定要停下开仔细想想，零基础的还是尽量不要加速吧，慢慢来稳些。后面的视频建议还是跟着视频来，尽量不要加速，代码尽量都敲一敲，第一遍基本上一个月到一个半月可以结束。  JavaSE可以说是很基础也很重要的东西，主要重点包括面向对象、集合（List、Map等），IO流，String/StringBuilder/StringBuffer、反射、多线程，这些最好是都要熟悉一些，面试也是重点。  JavaSE之后，如果你是要走前端或后端开发路线的话，可以跟着一些网上的视频继续学习，这里我就不多做介绍了。

===========分割线，Scala可以后续Spark阶段再接触学习=============

  Scala的学习，Scala是一门多范式 (multi-paradigm) 的编程语言，Scala支持面向对象和函数式编程，最主要的是后续Spark的内容需要用到Scala，所以前面学习了JavaSE，到Spark学习之前，再把Scala学习一波，美滋滋，而且Scala可以和Java进行无缝对接，混合使用，更是爽歪歪。后续Spark学习时基本都是用的Scala，也可能是和Java结合使用，所以Spark之前建议还是先学一波Scala，而且Scala用起来真是很舒服（wordcount一行代码搞定），适合迭代式计算，对数据处理有很大帮助，不过Scala看代码很容易看懂，但是学起来还是挺难的，比如样例类（case class）用起来真是nice，但是隐式转换学起来就相对比较难。学习Scala的建议：1. 学习scala 特有的语法，2. 搞清楚scala和java区别，3. 了解如何规范的使用scala。Scala对学习Spark是很重要的（后面Flink也是要用），虽然现在很多公司还是用Java开发比较多，而且Spark是Scala写的，如果要读源码，会Scala还是很重要的（至少要看得懂代码）。  Scala主要重点包括：隐式转换和隐式参数、模式匹配、函数式编程。这里我看的是某硅谷韩老师的Scala视频，韩老师讲的真的很不错，五星推荐，哈哈。  也许有人会觉得Python也是需要的，但是学习阶段，可能用Java还是比较多，面试也基本都是问Java相关的内容，所以Python后续工作会用到的话，再看看Python的内容吧。

大数据框架阶段学习

  大数据这方面的知识点自己可以说真的是从零开始的，刚刚开始学那会Linux基本都没用过，心里那个虚啊，而且时间也紧迫，想起来都是一把辛酸泪。  刚刚开始学的时候，看了厦门大学林子雨的《 大数据技术原理与应用》课程，可能这个课程是面对上课的，所以看了一些，感觉对自己帮助不是很大（并不是说课程不好，可能不太适合自己，如果是要了解理论知识，很透彻，但是俺时间紧迫啊），所以就继续在网上找视频，然后发现某硅谷的培训视频很多人去参加，而且知识点也很齐全，大数据相关组件都有讲课，还有一些项目比较好，所以就找了它相关的视频，当时看的是2018年的，所以视频不算旧。  来一张推荐系统架构的图，先看看

  一般来说，Flume+Kafka对数据进行采集聚合传输，一方面Spark对实时数据进行处理，传输给相应的数据处理模块（比如实时数据处理的算法模块，Spark也有提供常见的机器学习算法的程序库），另一方面采集的数据也可以放入数据库（HBase、MongoDB等）中，后续MapReduce对离线数据进行离线处理，数据处理完毕用于后续的使用，数据采集处理的流程大概就是这样。如果是推荐系统，实时推荐会给用户产生实时的推荐结果，让用户进行查阅选择，比如你在界面浏览了或者看了新的物品，然后刷新下界面，可能给你展示的东西就有一些变成跟你刚刚浏览的相关了。离线推荐的话主要是对离线数据进行处理，为物品或种类做出相似的推荐，如果后续用户搜索相应的物品时，给用户展示相应的产品。

  大数据学习路线：Linux -> Hadoop -> Zookeeper -> Hive -> Flume -> Kafka -> HBase -> Scala -> Spark -> 项目 > Flink（ 如果需要学习Storm，在Spark前面学习）

一、Linux（基本操作）

  一般我们使用的都是虚拟机来进行操作，所以要安装VM（ Virtual Machine），我使用的是CentOS，所以VM和CentOS都要跟着安装好，跟着视频操作，一定要动手实践，将一些Linux基本命令熟练掌握，一些VIM编辑器的命令也要会用，做相应的一些配置，使用SecureCRT来做远程登录操作（也可以使用其他的，自己顺手就行）。再强调一遍，基本操作命令尽量熟练一点，如果一下记不住，打印一些常用的，自己看看，多用多实践，慢慢就会用了。还有一些软件包的下载安装卸载等，跟着操作一遍，熟悉下，后续都会使用，Shell编程可以后续补。

二、Hadoop（重点中的重点）

  Hadoop是一个分布式系统基础框架，用于主要解决海量数据的存储和海量数据的分析计算问题，也可以说Hadoop是后续整个集群环境的基础，很多框架的使用都是会依赖于Hadoop。主要是由HDFS、MapReduce、YARN组成。这个部分安装Hadoop，Hadoop的三个主要组成部分是重点，对他们的概念要理解出来，知道他们是做什么的，搭建集群环境，伪分布式模式和完全分布式模式的搭建，重要的是完全分布式的搭建，这些部分一定要自己动手实践，自己搭建集群，仔细仔细再仔细，Hadoop的NameNode，DataNode，YARN的启动关闭命令一定要知道，以及他们的启动关闭顺序要记住，不要搞混。后续视频会有一些案例操作，跟着写代码，做测试，把基本环境都配置好，后续这个集群（完全分布式需要三台虚拟机）要一直使用。

三、Zookeeper

  Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。分布式安装ZK，对ZK有一定的了解就可以了，了解它的应用场景，以及内部原理，跟着做一些操作，基本上有一些了解即可。

四、Hive（重点）

  Hive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive的安装，它的数据类型，以及它的数据定义、数据操作有较好的了解，怎么操作表（创建表、删除表，创建什么类型的表，他们有什么不同），怎么操作数据（加载数据，下载数据，对不同的表进行数据操作），对数据的查询一定要进行实践操作，以及对压缩方式和存储格式要有一些了解，用到时不懂也可以去查，最好是能理解清楚。这部分有什么面试可能会问，所以视频后续的面试讲解可以看看，理解清楚。

五、Flume

  Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。对于Flume，对它的组成架构，以及对Flume Agent的内部原理要理解清楚，Source、Channel、Sink一定要知道它们的各种类型以及作用，有哪些拓扑结构是常见常用的，例如一对一，单Source、多Channel、多Sink等，它们有什么作用，要理解清楚。还有一个重点，就是对Flume的配置文件一定要了解清楚，不懂的可以上官网查看案例，对于不同的情况，它的配置文件要做相应的修改，才能对数据进行采集处理，视频中的实践案例一定要跟着做。

六、Kafka（重点）

  Kafka是一个分布式消息队列，用来缓存数据的。比如说实时计算中可以通过Flume+Kafka对数据进行采集处理之后，Spark Streaming再使用Kafka相应的Topic中的数据，用于后续的计算使用。对于Kafka，要理解Kafka的架构，什么是Kafka，为什么需要Kafka，应用场景。基本的命令行操作要掌握，比如怎么创建删除Topic，怎么通过生产者生成数据，消费者怎么消费数据等基本操作，官网也是有一些案例可以查阅的。

七、HBase（重点）

  HBase是一个分布式的、基于列存储的开源数据库。HBase适合存储PB级别的海量数据，也可以说HBase是很适合大数据的存储的，它是基于列式存储数据的，列族下面可以有非常多的列，列族在创建表的时候就必须指定。所以对HBase的数据结构要有一定的理解，特别是RowKey的设计部分（因为面试被问到过，咳咳，所以点一下），对于它的原理要了解，一些基本操作也要都会，比如创建表，对表的操作，基本的API使用等。

八、Spark（重点中的重点）

  Spark是快速、易用、通用的大数据分析引擎。一说到Spark，就有一种哪哪都是重点感觉，哈哈。  Spark的组成可以看下图

  Spark是基于内存计算的，对于数据的处理速度要比MapReduce快很多很多，而且数据挖掘这些都是要对数据做迭代式计算，MapReduce对数据的处理方式也不适合，而Spark是可以进行迭代式计算，很适合数据挖掘等场景。Spark的Spark SQL能够对结构化数据进行处理，Spark SQL的DataFrame或DataSet可以作为分布式SQL查询引擎的作用，可以直接使用Hive上的表，对数据进行处理。Spark Streaming主要用于对应用场景中的实时流数据进行处理，支持多种数据源，DStream是Spark Streaming的基础抽象，由一系列RDD组成，每个RDD中存放着一定时间段的数据，再对数据进行处理，而且是基于内存计算，速度快，所以很适合实时数据的处理。Spark MLlib提供常见的机器学习(ML)功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据 导入等额外的支持功能。对Spark的核心组件、部署模式（主要是Standalone模式和YARN模式）、通讯架构、任务调度要有一定了解（面试问到了可以说一波），Spark Shuffle要好好理解，还有内存管理要知道，对Spark的内核原理一定要好好理解，不仅面试可能要用，以后工作也是有帮助的。

九、Flink（重点中的重点）

  Flink是一个框架和分布式处理引擎，用于对无界（有开始无结束）和有界（有开始有结束）数据流进行有状态计算。现在主要是阿里系公司使用的比较多，很多公司使用的还是Spark居多，而且Flink基本上都是和Spark很多功能大体上一样的，但是以后Flink和Spark孰强孰弱还有待时间的考验，不过Flink近几年越来越火了这是事实，所以如果有时间有精力的话，可以学一学Flink相关的内容也是很不错的。Spark和Flink主要都是在数据处理方面应用，在数据处理方面的话，离线数据处理：Flink暂时比不上Spark，Spark SQL优点在于可以和Hive进行无缝连接，Spark SQL可以直接使用Hive中的表；Flink暂时做不到这一步，因为官方不支持这一操作，Flink只能将数据读取成自己的表，不能直接使用Hive中的表。对于实时数据的处理：Flink和Spark可以说是平分秋色吧，而且Flink是以事件为驱动对数据进行处理，而Spark是以时间为驱动对数据进行处理，在一些应用场景中，也许Flink的效果比Spark的效果还要好些，因为Flink对数据更加的敏感。比如一秒钟如果触发了成千上万个事件，那么时间驱动型就很难对数据做细致的计算，而事件驱动型可以以事件为单位，一个个事件进行处理，相比而言延迟更低，处理效果更好。现在使用Flink的公司越来越多，有时间学习下，也算是有个准备。

项目阶段

  其实某硅谷的视频里面有很多大数据相关的项目，而且都是文档配代码的，B站上也有视频，学习期间可以跟着视频做两到三个项目，自己理清思路，把项目理解透彻，还是可以学到很多东西的。  根据自己情况，选择两到三个项目重点跟着做，理解透彻一点

大数据项目实战

  某硅谷的视频里面有很多大数据相关的项目，而且都是文档配代码的，学习期间可以跟着视频做两到三个项目，自己理清思路，把项目理解透彻，还是可以学到很多东西的。根据自己情况，选择两到三个项目重点跟着做，理解透彻一点。相关项目文档资料我已经放到网盘，GongZhongHao回复相应关键字获取领取方式。   相关项目、涉及技术框架及其B站链接（B站链接主要是为了有些小伙伴网盘速度限制，这样就下载文档资料即可）

书籍

  书籍部分直接云盘链接保存即可，这里我放两张Java开发和大数据开发我自己的书单（很多，路漫漫，吾将上下而求索~）  Java后端书架：

  大数据书架：

  大概就这些，看完就需要很久了，大部分我也是需要的时候看相应的部分，所以有时间可以好好看下，不然就需要哪一部分看哪一部分，有助于学习即可。

最后

  大数据开发也是需要编程基础的，并不是学会使用这些框架怎么样就可以了，所以对于编程语言，数据结构与算法，计算机网络这些基础也是要的，这些基础知识也有助于自己以后的发展，如果是应届生校招的话，面试基本上都是JavaSE和数据结构与算法等的知识点，还有大数据组件相关的知识点，以及对项目的理解，这些都是要自己面试前准备好的，多看面经，多找面试题看，面几次，心里有谱了，后续面试就好了。  不管是从事什么样的计算机相关的岗位，编程都是很重要的，数据结构与算法特别重要，还有就是leetcode等编程网站刷题，提升自己的编程思维，后续笔试面试都要要的。  要将一行行代码看做一叠叠rmb，但是一行行代码能不能转换成一叠叠rmb，自己就一定要：坚持，多敲代码；多敲代码，坚持；坚持。 

5、哪个数据可视化工具比较好？

R-ggplot2

ggplot2是R语言最为强大的作图软件包，强于其自成一派的数据可视化理念。当熟悉了ggplot2的基本套路后，数据可视化工作将变得非常轻松而有条理。

技术相关

核心理念

1. 将数据，数据相关绘图，数据无关绘图分离

这点可以说是ggplot2最为吸引人的一点。众所周知，数据可视化就是将我们从数据中探索的信息与图形要素对应起来的过程。

ggplot2将数据，数据到图形要素的映射，以及和数据无关的图形要素绘制分离，有点类似java的MVC框架思想。这让ggplot2的使用者能清楚分明的感受到一张数据分析图真正的组成部分，有针对性的进行开发，调整。

2. 图层式的开发逻辑

在ggplot2中，图形的绘制是一个个图层添加上去的。举个例子来说，我们首先决定探索一下身高与体重之间的关系；然后画了一个简单的散点图；然后决定最好区分性别，图中点的色彩对应于不同的性别；然后决定最好区分地区，拆成东中西三幅小图；最后决定加入回归直线，直观地看出趋势。这是一个层层推进的结构过程，在每一个推进中，都有额外的信息被加入进来。在使用ggplot2的过程中，上述的每一步都是一个图层，并能够叠加到上一步并可视化展示出来。

3. 各种图形要素的自由组合

由于ggplot2的图层式开发逻辑，我们可以自由组合各种图形要素，充分自由发挥想象力

基本开发步骤

1. 初始化 – ggplot()

这一步需要设定的是图的x轴，y轴和”美学特征”。基本形式如下：

p <ggplot(data = , aes(x = , y = ))

这一步里，设置x轴和设置y轴很好理解。那么”美学特征”又是什么呢？

举个例子来说，下面这张散点图里，x轴表示年龄，y轴表示身高，很好理解：

但这张图除了展示年龄和身高的关系，还展示出每个样本点的体重：颜色越深表示体重越大。因此体重信息和年龄身高一样，也需要绑定到一个具体的列。这一列就是散点图中的”美学特征”。

来看看R语言绘制代码：

ggplot(heightweight, aes(x=ageYear, y=heightIn, colour=weightLb))+geom_point()

其中的colour参数就是该图的”美学特征”。

再比如，下面这张柱状图中，x轴表示日期，y轴表示权重，很好理解：

但这张图中每个日期对应了两个不同的权重并采用两个柱状来对比，那么这个划分依据也是另一个“美学特征”。

再看看绘制代码：

ggplot(cabbage_exp, aes(x=Date, y=Weight, fill=Cultivar))+geom_bar(position="dodge", stat="identity")

其中的fill参数就是该图的”美学特征”。

综上所述，图中的每个样本点除了通过它的坐标位置，还可以以其他形式展示信息，比如大小，色深，分组等。而这些新形式需要绑定的列，便叫做”美学特征”。

“美学特征”的形式和x，y轴一样是以列的形式给出，且列中元素个数和x，y轴列必然相等。它的设置也和x，y轴一样在ggplot()函数的aes参数括号内进行。

2. 绘制图层 – geom_bar()/geom_line()等等

上一步的主要工作是为数据可视化配置好了数据，接下来便可根据业务的需要来绘制不同的图，如折线图/柱状图/散点图等等。具体的实现方法在后面的章节中会细致讲解，这里重点提一下绘图函数里的stat参数。这个参数是对冲突样本点做统计，该参数默认为identity，表示保留样本点原(y)值，还可以是sum，表示对出现在这点的(y)值进行求和等等。

3. 调整数据相关图形元素 – scale系列函数、某些专有函数

在ggplot2中，scale标尺机制专门负责完成数据到图像元素的映射。也许你会问，”美学特征”不是已经定义好了这个映射吗？然而事实是”美学特征”只是选定了映射前的数据，并没有说明具体映射到什么图形元素。

举个例子，假如某张表记录了不同种类水池的长，宽，深信息。现在需要绘制不同种类下水池长和宽关系的柱状图，那么初始化完成的是这个映射：

而scale函数完成的是这个映射：

显然a映射为了红色，b映射为了蓝色。

也许你还会问，我的代码不用scale，那么映射是如何完成的呢？答曰系统有默认映射的，就像绘图函数都有默认参数stat=identity这样。

4. 调整数据无关图形元素 – theme()、某些专有函数

这部分包括设置图片标题格式，文字字体这类和数据本身无关的图像元素。只需调用theme()函数或者某些专有函数(如annovate函数可为图片添加注释)便可实现。

一个图层绘制好后便可观察调整，然后开始下一个图层的制作，直到整幅图绘制完毕。

R语言可视化成品图

说到工具，顺带提一下BI工具---FineBI

FineBI是为大数据量提供数据处理、ETL、Dashboard报表展示、动态分析、报表管理的可视化分析工具。优势是：

前端可视化简单操作（小试牛刀）：1.新建分析新建分析包括两种类型的分析：普通即时分析和实时报表。普通即时分析：是指普通的分析模板，从cube中获取数据，进行数据分析；实时报表：是指做出来的即时分析模板，可以对数据进行实时查看，保证数据的准确性报表创建完成之后，页面进入数据分析设计界面，选择组件布局为自由布局，如下图：添加组件制作汇总表制作图表组件布局：自适应布局&自由布局自适应布局，自动调节布局自由布局，自由选择布局