扫一扫,访问微社区

QQ登录

只需一步,快速开始

登录 | 立即注册 | 找回密码 换肤

TIFY CLUB

搜索
热搜: 活动 交友 discuz
 找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 654|回复: 19

云计算、大数据、数据挖掘,选择哪个能更快的入门并且在半年后校招中找到工 ...

[复制链接]

1948

主题

2009

帖子

8529

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8529
发表于 2018-5-21 21:03:14 | 显示全部楼层 |阅读模式
本人在校非科班硕士,做过半年的嵌入式开发,有自学半年的PHP。打算跨越到云计算、大数据、数据挖掘之中一个,希望在来年的校招中找到满意的工作,我应该如何选择?
回复

使用道具 举报

1948

主题

2009

帖子

8529

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8529
 楼主| 发表于 2018-6-13 22:58:02 | 显示全部楼层
12年跨入大数据领域,从大数据平台开发做起,基本算是横跨了离线处理、实时处理等相关平台架构,随后逐渐涉及数据挖掘等相关领域,目前在一公司负责大数据部门,算是半个大数据老鸟吧,稍微的讲讲,希望有帮助。


首先说一下题主说的三个方向:
1 云计算,其实偏底层基础设施,偏分布式架构,偏存储;
2 大数据,这个范畴有点大,有点广,抛开底层基础设施(即偏云端)的不说,基本涵盖爬虫系数据收集、数据清洗ETL、数据分布式存储、数据离线处理、数据实时内存处理、数据应用挖掘、数据业务分析,以及数据可视化等整个数据链路的东西;
3 而数据挖掘,其实早在大数据出来之前就有这个概念以及行业,但是整体偏传统模式,包括使用的工具也好,挖掘的模式也好,但随着大数据概念的铺开,数据挖掘跟大数据绑定的越来越紧,一方面是大规模的数据挖掘挖掘的需求,另一方面是分布式挖掘以及算法相关的技术支持的发展。

1 先简单说一下云计算
随着近两年云的发展,云计算这个概念整体还比较火,但是整体来说偏底层开发,即上面所说的,偏分布式存储、对象存储之类的,所以对于底层技术要求较高,但这两年整体火热程度有所下降,而且对于薪酬来说,其实并不算特别高,至于说入门门槛,倒也不是很高。



PS:这里插一张之前爬的主流招聘网站的大数据相关薪酬分析报告的一张图。

2 大数据&数据挖掘
这里将大数据和数据挖掘一起说,至于说偏传统的数据挖掘就不多说了,整体都在呈下滑趋势,都在往大规模数据挖掘方面转,所以就不过多说了。
整个大数据领域,上面也说了,整个数据链路,从数据收集,到处理,到最上层的应用,细分很多子方向,五花八门,各自的需求以及入门门槛,甚至是薪酬都是不同的。
整体上说有以下几个职业方向:
(1)爬虫工程师,目前大数据领域越来越多的数据是从互联网上获取,所以爬虫工程师也可以算做是大数据领域的一个细分,在未来缺口会逐渐增大,语言偏python,其他相关脚本系,当然java也凑合(越来越多java系的爬虫框架),相对入门门槛一般。
(2)大数据平台开发工程师(或者平台运维),这类职业偏平台开发、运维,语言以大数据领域开源的主语言java为主,辅助linux系统相关知识,以及对应部分脚本知识。这个子方向其实还可以细分,偏平台维护运维方向,以及普通的数据处理(离线、实时数据处理)等等。再往高了发展,可以是自身的平台运维,或者大数据架构师,入门门槛一般。
(3)BI数据分析师,这里的数据分析偏业务,对于业务理解能力需要相当的强,语言方向主要是偏类SQL的语言,以及各种脚本语言,当然还有一些偏传统的工具等,至于说入门门槛,如果业务理解能力强,技术方面要求倒不是很高。
(4)数据挖掘&算法,这类主要是偏数据的深度挖掘,一方面对于业务应用场景的熟悉,诸如各种推荐,个性化等技术,此外就是对于算法需要有较高的技术存储,至于说基础知识,需要对算法、数学等有较好的功底,所以门槛是相对较高的。
(5)数据可视化,基本属于前端,但是偏数据展示、可视化等,除了前端必备的基础技能,对于一些数据可视化的框架以及工具等需要很熟练,诸如d3.js, echarts.js等,有前端技术存储,不难。

给题主推荐:
结合题主个人的信息,数据挖掘是不推荐,门槛过高,而云计算方面也不是很推荐,主要是薪酬待遇。推荐大数据平台开发工程师,或者爬虫相关的子方向可以考虑。
还有一点,大数据领域由于涉及大量的开源,以及快速的框架迭代,知识迭代,所以需要对新的知识有更快的掌握能力,其实就是自学能力。
看题主能自学php,这方面应该不成问题。

最后:
对于所有有意转行或者跨界的童鞋,这里有份大数据领域的知识技能云图(依然是9月份做的大数据职位需求报告的图),可以参考,可以自己寻思一下自己掌握了哪些技能点。


(打完收工,有问题欢迎留言、点赞)
-----------------------------------------------------
补充分隔线,补充一份之前做的关于大数据领域职位需求报告,上面两图摘自文中,此外还有各种详细的大数据职位数据分析结论:








您目前使用的是【试用版】,很多功能受到限制!!如果试用此插件之后满意,对您产生了帮助,请购买正式版支持一下辛苦的开发者,插件的持续发展离不开正式版用户的支持,优秀的应用得益于您的捐助,点击下面的链接去Discuz官方应用中心购买正式版永久授权


http://addon.discuz.com/?@csdn123com_zhihu.plugin
正式版后续更新升级免费,一次购买,终身使用!
回复

使用道具 举报

1948

主题

2009

帖子

8529

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8529
 楼主| 发表于 2018-6-13 23:01:52 | 显示全部楼层
谢邀。
抛开自身谈方向属于瞎扯淡,看题主的情况。要结合自己已经具备的来考虑。
贵校计算资源如何?
对大数据云计算是否有人趟过?
周围有没有能求教的人?
然后,你自己算法基础如何?
数字基础如何?


我自身仅仅涉猎了数据挖掘这一个行业。知道的是这行对你的数据基础和算法基础要求比较高。
要走进校招无疑问就是专问这方面的基础。

另外之前面过了百度,他们对这个研究实习生的观念主要也是一种大量数据处理的经验。还有算法思维上的考量。。

好了…我只是渣渣。。希望有熟悉云计算和大数据的来讲讲该学科最需求的能力点。








您目前使用的是【试用版】,很多功能受到限制!!如果试用此插件之后满意,对您产生了帮助,请购买正式版支持一下辛苦的开发者,插件的持续发展离不开正式版用户的支持,优秀的应用得益于您的捐助,点击下面的链接去Discuz官方应用中心购买正式版永久授权


http://addon.discuz.com/?@csdn123com_zhihu.plugin
正式版后续更新升级免费,一次购买,终身使用!
回复

使用道具 举报

1948

主题

2009

帖子

8529

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8529
 楼主| 发表于 2018-6-13 23:05:21 | 显示全部楼层
哈哈,云计算吧,现在是一个很大发展,我们公司最近就在高新招人,感兴趣的可以来看看,了解一下:  https://www.cloudin.cn/  ,欢迎志同道合的小伙伴们









您目前使用的是【试用版】,很多功能受到限制!!如果试用此插件之后满意,对您产生了帮助,请购买正式版支持一下辛苦的开发者,插件的持续发展离不开正式版用户的支持,优秀的应用得益于您的捐助,点击下面的链接去Discuz官方应用中心购买正式版永久授权


http://addon.discuz.com/?@csdn123com_zhihu.plugin
正式版后续更新升级免费,一次购买,终身使用!
回复

使用道具 举报

1948

主题

2009

帖子

8529

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8529
 楼主| 发表于 2018-6-13 23:08:56 | 显示全部楼层
半年很难,一年差不多。
大数据和云计算,现在比较热,自然也就少不了要去炒作,炒作这个技术炒作那个技术。于是就把大数据和云计算等同于这些技术。这里我必须提醒楼主,就是做任何一个行业,不是总是去关注技术这些很表象的东西,而是深入了解一个行业的核心知识,这是做好一个行业的根本。
数据科学本质是一个数学概念,就是针对一堆数据,还原这个数据所表示的现象,然后分析这个现象产生、发生演化的根本原因,最后根据这些分析来的原因,对现象的发展趋势进行预测。这种思维又称为演化思维。
数据挖掘就是基于统计学、算法学的基本原理,从数据中提取这些信息的方法。作为数据科学的一个工具,数据挖掘不是整个数据科学的全部。分析数据最严谨的方法仍然是根据物理、社会、经济学的基本原理,加上一定合情合理的假设,利用数学工具推演出的数学模型。而数学模型的建立,则依赖于你在相关专业的基础知识和良好的数学基础,尤其是微分方程方面的基础。
云计算本质上是就是把很多台计算机用网络集成起来,然后根据机器的性能的特长(比如有些机器计算能力强,有些机器硬盘大等等...)、用户的需求(比如有些人需要计算能力强,有些用户是侧重IO,有些用户侧重数据存储),按照一定的规则分配硬件资源。而大家提到的IaaS,PaaS和SaaS,其实都只是一些炒作的概念而已。本质上,PaaS和SaaS就是在硬件资源分配的功能之上,对用户隐藏底层细节,然后直接提供一些软件增值服务(IaaS就是超算上的PBS还有大家熟悉的虚拟化,PaaS就是大家经常用的云盘、iCloud办公这些,而SaaS就是一些基于云盘,icloud这些平台设计出来的应用软件)。
云计算本质上和数据科学没有什么直接性的联系。而大数据和云计算发生关联的地方,只有分布式数据库、分布式存储这些。所以如果你想在数据科学上有所发展,一是把数学建模、统计学和算法的基础打好,通晓大部分常见的数据分析模型。在技术上,熟悉Python,以及如何用Python里面的库做大数据分析,MATLAB和里面的工具库,R语言这些。
而如果做云计算,那就是纯粹技术型的工作了。总的来说,我不推荐非计算机/软件专业科班毕业的学生去做这些工作,因为专业性太强。如果要做云计算,一是要学习好网络技术(一般推荐Tanenbaum的《计算机网络》和《分布式操作系统》,再参考CCNA-CCNP的考试教材,掌握所有知识要点),之后参考RedHat的培训教材把Linux操作系统玩熟,通读IBM红宝书系列里的相关书籍,差不多就够了。然后自己买个服务器回来捣鼓一下(在下是16核的至强服务器,6000大洋)。比起看网上那些炒作的技术书来说,这些东西更为实在。









您目前使用的是【试用版】,很多功能受到限制!!如果试用此插件之后满意,对您产生了帮助,请购买正式版支持一下辛苦的开发者,插件的持续发展离不开正式版用户的支持,优秀的应用得益于您的捐助,点击下面的链接去Discuz官方应用中心购买正式版永久授权


http://addon.discuz.com/?@csdn123com_zhihu.plugin
正式版后续更新升级免费,一次购买,终身使用!
回复

使用道具 举报

1948

主题

2009

帖子

8529

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8529
 楼主| 发表于 2018-6-13 23:12:06 | 显示全部楼层
如果你数学和物理好并且有每天刷paper外加复现习惯的话搞机器学习,否则就云计算,偏底层的总是能找到工作








您目前使用的是【试用版】,很多功能受到限制!!如果试用此插件之后满意,对您产生了帮助,请购买正式版支持一下辛苦的开发者,插件的持续发展离不开正式版用户的支持,优秀的应用得益于您的捐助,点击下面的链接去Discuz官方应用中心购买正式版永久授权


http://addon.discuz.com/?@csdn123com_zhihu.plugin
正式版后续更新升级免费,一次购买,终身使用!
回复

使用道具 举报

1948

主题

2009

帖子

8529

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8529
 楼主| 发表于 2018-6-13 23:15:14 | 显示全部楼层
云计算包括存储,云计算平台,分布式架构等等方向。
大数据包括的东西更多,写sql分析数据也算啊。
数据挖掘主要有几个技能要求,分布式计算,业务建模和凸优化。
我个人感觉数据挖掘要求比较高,要有对业务的抽象和建模能力,要有将想法实现到代码的能力,而且是分布式计算,像hadoop/spark,还得懂机器学习算法,机器学习算法又涉及凸优化,线性代数,高数,概率论和数理统计等等数学基础。如果对数学感兴趣,那么欢迎入坑。
我本来是在数据组做Java后台的,后面接触到机器学习,觉得好神奇,加之对数学比较感兴趣,就入坑了。入坑的后果就是,了解到该方向都是一群学术大牛引领的,智商被虐成狗。








您目前使用的是【试用版】,很多功能受到限制!!如果试用此插件之后满意,对您产生了帮助,请购买正式版支持一下辛苦的开发者,插件的持续发展离不开正式版用户的支持,优秀的应用得益于您的捐助,点击下面的链接去Discuz官方应用中心购买正式版永久授权


http://addon.discuz.com/?@csdn123com_zhihu.plugin
正式版后续更新升级免费,一次购买,终身使用!
回复

使用道具 举报

1948

主题

2009

帖子

8529

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8529
 楼主| 发表于 2018-6-13 23:18:19 | 显示全部楼层
非科班硕士,只有自学半年的PHP,半年转的努力都不见得找到工作,更别说转什么了。

云计算,大数据,数据挖掘概念层面的都能了解点,自己能搭环境可以上手spark,docker可能用一用,可是这就能够满足要求了吗?要搞大数据你要会Java或Scala,或Python吧,要搞数据挖掘,你得会RDBMS和SQL吧,搞云计算,大概得会Go吧。

不如把PHP搞精一点,找一个工作作为入门,上手就能开发出东西来。对于软件工程的一些工具比如版本管理,Bug管理,构建工具,代码规范,单元测试,静态代码分析工具,性能测试工具多少摸一点。








您目前使用的是【试用版】,很多功能受到限制!!如果试用此插件之后满意,对您产生了帮助,请购买正式版支持一下辛苦的开发者,插件的持续发展离不开正式版用户的支持,优秀的应用得益于您的捐助,点击下面的链接去Discuz官方应用中心购买正式版永久授权


http://addon.discuz.com/?@csdn123com_zhihu.plugin
正式版后续更新升级免费,一次购买,终身使用!
回复

使用道具 举报

1948

主题

2009

帖子

8529

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8529
 楼主| 发表于 2018-6-13 23:22:03 | 显示全部楼层
补充一点吧,blogchong 题主回答云计算这一块稍有欠佳,云计算粗略说是提供资源层和服务资源层,严格意义上讲数据挖掘与大数据可以容纳为SAAS层服务中的一个技术要点,只是大家说的多了也就多了一条路,云计算层在底层IAAS层确实存储与分布式框架很重要,但缺失了更重要层的,网络,如SDN NFV,OpenVswitch,Xvlan等,甚至是VCN大网,虚拟化层,KVM XEN VMWARE DOCKER等,通过这些基础资源向上提供数据存储与数据分析以及平台服务的基础资源,简单说就是把你外来的数据存储在这个平台上同时提供计算资源让你的数据分析有一个支撑点,无论你是搞数据挖掘还是搞大数据其实实质是一样的,只是工种不一样罢了,有人搞模型,有人搞算法,也有人搞数据展现,甚至有人搞网站服务。无论你想搞什么都建议给自己定一个大的方向,云计算里面的框架较大,数据挖掘的工种较多,所以看你想在那个层次给自己加压,自己爱好什么,如果说发展,云计算的路子更成熟一些,融合了,网络,存储,虚拟化,负载均衡,安全领域以及系统层(WIN linux unix),数据仓库(sql &NOsql)等,对于数据挖掘领域,目前也是刚刚起步两年,深层次的软件平台越来越成熟,通用性基础模型越来越多,看一下楼上的大数据挖掘职业方向也就能知道具体的分工了,顺便说一句,楼上的向磊是个大数据平台的高人(不知是否在暴风的那位)








您目前使用的是【试用版】,很多功能受到限制!!如果试用此插件之后满意,对您产生了帮助,请购买正式版支持一下辛苦的开发者,插件的持续发展离不开正式版用户的支持,优秀的应用得益于您的捐助,点击下面的链接去Discuz官方应用中心购买正式版永久授权


http://addon.discuz.com/?@csdn123com_zhihu.plugin
正式版后续更新升级免费,一次购买,终身使用!
回复

使用道具 举报

1948

主题

2009

帖子

8529

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8529
 楼主| 发表于 2018-6-13 23:25:19 | 显示全部楼层
云计算,不抬杠。
首先说一下,题主提到的三者不太好违并列存在,云计算和大数据可并列于ABC,但数据挖掘,简单来说,其实更多地可以理解为大数据的一个发展方向,二者在学科基础上具有较大的交集。
论入门速度,ABC中,显然云计算要比其他两个入起门来要简单太多。
这两者都是时下非常热门的点,每一门对知识的广度要求都比较高,题主可以看我之前的两篇文章:
千锋编程部落:2018最新千锋教育Linux云计算架构师+Python运维开发课程学习路线图千锋编程部落:一份详细的大数据学习路线图这些是鄙校给自己学生规划的学习路线,换言之,即是说鄙校的两大教学团队认为,如果学习某一科,只有按照此学习路线学习完毕后,才有敢放手让学生去找工作,或者说,学生才能更好地找到一个起点相对较高的工作。
所以,如果题主想要知道云计算和大数据要学什么,或者自己更适合学什么的话,完全可以拿来比对一番。
当然,如果题主想报个班学学的话,我们也非常欢迎啦~









您目前使用的是【试用版】,很多功能受到限制!!如果试用此插件之后满意,对您产生了帮助,请购买正式版支持一下辛苦的开发者,插件的持续发展离不开正式版用户的支持,优秀的应用得益于您的捐助,点击下面的链接去Discuz官方应用中心购买正式版永久授权


http://addon.discuz.com/?@csdn123com_zhihu.plugin
正式版后续更新升级免费,一次购买,终身使用!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

zoom三季度促销中

QQ|手机版|TIFY Club ( 京ICP备18011007号-1 )

GMT+8, 2019-5-21 21:39 , Processed in 0.025049 second(s), 20 queries .

Powered by Discuz! X3.4 Licensed

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表