IT屌丝如何成为数据科学家?

标签: 动态 大数据 数据科学家 职业规划 | 发表时间:2013-09-26 20:35 | 作者:王萌
出处:http://www.ctocio.com

bigdata-worker

数据科学家被《财富》杂志誉为21世纪最性感的职业,但遗憾的是大多数企业里都没有真正的数据科学家人才。根据麦肯锡 报告,仅仅在美国市场,2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才。

那么,对于不同职业经历和专业背景的IT人士来说,如何才能尽快转型,加入数据科学家的钻石王老五的行列呢?

Ofer Mendelevitch近日在Hortonworks官方博客发表 文章给出了自己的观点。

Mendelevitch认为无论是Java程序员还是业务分析师都有机会成为数据科学家,以下是他对不同人群给出的具体建议:

Java程序员

作为Java开发者,你对软件工程的规则已经了然于心,能够设计软件系统执行复杂任务。数据科学正是关于开发“数据产品”的一门科学,主要是基于数据和算法的软件系统。

对于Java程序员来说,第一步需要了解机器学习的各种算法:现在有哪些算法,都能解决哪些问题以及如何实现。另外还需要学习使用 RMatlab等建模工具,此外 WEKAVowpal WabbitOpenNLP等库也为大多数常见算法提供了经过验证的实现方法。如果你还不太熟悉Hadoop,学习map-reduce、 PigHiveMahout将很有帮助。

Python程序员

如果你是Python程序员,对软件开发和脚本编写一定很熟悉,也许已经在使用很多数据科学中常见的库例如 NumPySciPy

Python对数据科学应用的支持很好,尤其是 NumPy/ Scipy, Pandas, Scikit-learn, IPython 等用于探索性分析的库,以及可视化方面的 Matplotlib

在处理大型数据集方面,多学些Hadoop及其与Python的流式集成。

统计学家与应用科学家

如果你有统计学或者机器学习的背景,那么你很可能很多年前就开始使用诸如 R, MatlabSAS进行回归分析、聚类分析等机器学习相关任务。

R、Matlab和SAS是很强大的统计分析和可视化工具,对于很多机器学习算法都有很成熟的实现方法。

但是,这些工具通常被用于做数据勘探和模型开发,很少单独用来开发产品级的数据产品。在开发端到端的数据产品时,大多数情况下,你需要需要同时用到其他软件模块如Java、Python等,并与Hadoop等数据平台整合。

显然,熟悉一门或者多门现代编程语言,例如Python或Java是你的首要任务。此外,与有经验的数据工程师紧密合作将有助于更好地理解他们开发生产级数据产品所用到的工具和方法。

业务分析师

如果你的背景是SQL,那么说明你已经跟数据打交道很多年了,你很清楚如何通过数据获取业务分析结果。 Hive能让你以你熟悉的SQL语言访问Hadoop上的大数据集,因此是你步入大数据殿堂的首选。

数据产品通常需要使用SQL无法胜任的高级机器学习和统计,因此对于业务分析师来说,进入数据科学领域的第二个重要步骤就是在理论层面深入了解此类算法(例如推荐引擎、决策树、NLP),并熟悉目前的实现工具如 Mahout, WEKA,或Python的 Scikit-learn

Hadoop开发者

作为Hadoop开发者,你一定已经了解了大数据集和集群计算的复杂性。你还可能熟悉Pig、Hive、HBase并有丰富的Java经验。

第一步,你需要深入了解机器学习和统计,以及这些算法面向大数据集的高效实现方法。Mahout是个不错的开始,可以在Hadoop上实现上述很多算法。

另外一个需要关注的领域是数据清理(data cleanup),很多算法在建模前都会为数据分配基本结构。但不幸的是,现实中数据大多很“脏”,清理这些数据是数据科学中一项很繁重的工作。Hadoop通常是建模前大规模数据清理和预处理的工具选择。

总结

通向数据科学殿堂之路不可能一帆风顺,你必须学习很多新规则、编程语言,更重要的是还要积累实战经验。这些都需要时间、精力和投入,但最终你会发现一切都物超所值。

这里有很多你可能会用到的学习参考 书籍培训演示文稿

相关 [it 屌丝 数据科学] 推荐:

IT屌丝如何成为数据科学家?

- - IT经理网
数据科学家被《财富》杂志誉为21世纪最性感的职业,但遗憾的是大多数企业里都没有真正的数据科学家人才. 根据麦肯锡 报告,仅仅在美国市场,2018年大数据人才和高级分析专家的人才缺口将高达19万. 此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才. 那么,对于不同职业经历和专业背景的IT人士来说,如何才能尽快转型,加入数据科学家的钻石王老五的行列呢.

数据科学家炙手可热

- - 互联网分析
《哈佛商业评论》(Harvard Business Review)近期声称,21世纪最性感的工作是数据科学家. 这一美国商学院期刊表示,数据科学家集“数据黑客、分析师、沟通大师和受信任的顾问”于一身,并指出,这种技能的结合极为罕见. 这正是全球各地诸多企业的问题所在. 尽管公司经理深知大数据所能带来的效益,但他们难以找到拥有合适技能的人才.

zillow数据科学应用探索

- - 冰火岛
zillow 美国一家房地产租赁和销售企业. Zillow described their 20TB dataset and the technology they use to estimate house values for more than 110 million homes in the US..

一个大数据屌丝的一天

- - 知乎每日精选
马克思说过:资本家是靠剥削剩余价值来获取利润的. 这句话在今天有了新的含义,因为在大数据时代,人最可宝贵的已经不再是劳动时间,也不是贞节牌坊,而是——你身上产生的数据. 无数的互联网巨头和大数据专家们,像欣赏鹿茸和牛黄那样,细细品味着你每天都去过哪里、吃的什么、买了几卷卫生纸,并用人工智能技术依次向你推送扎了洞的安全套和无痛人流医院.

初创公司数据科学项目全流程指南,一位资深数据科学家的经验谈

- - 机器之心
无论是管理人员还是创业公司中的不同团队,都可能会发现数据科学项目与软件开发之间的差异并不直观. 如果没有明确的说明与解释,可能会导致数据科学家与其同行之间的误解和冲突. 来自学术界(或高度研究型的行业研究小组)的研究人员在初入初创公司或小型公司时可能会面临各自的挑战. 他们可能会发现将新型输入(例如产品和业务需求、更严格的基础架构和计算约束以及客户反馈)纳入其研发过程中是很有挑战性的.

信息平台和数据科学家的兴起

- 景峰 - 《程序员》杂志官网
文 / Jeff Hammerbacher. Facebook有了“自知之明”. 在2005年9月,Facebook首次向非大学生公开,允许高中生注册账号. 忠实的用户愤怒了,但Facebook团队认为这是为网站做出的正常方向. 那么它该如何证明它的方案是正确的呢. 此外,在几乎所有可登录Facebook网站的学校中,Facebook已经渗入学生当中,但还是在有部分学校中,该网站一直不受青睐.

linkedin 数据科学实习的5个经验总结

- - 冰火岛
这些可以使接下来的工作更加简单,结果更加可信. As a data scientist at LinkedIn, you have access to Petabytes of data (1 Petabyte as much data as is transferred when viewing HDTV for about 13.5 years).

Facebook数据科学家需具备的六大技能

- - 互联网分析
数据科学家到底应该具备哪些技能. 对于这个新兴职业的定位和展望,我们也许Facebook的招聘说明中找到答案. Facebook近日公开招募数据科学家,负责分析Facebook拥有的全球最大的人际关系数据库. 在 Facebook的数据科学家招聘说明中,数据科学家被归类到“软件工程职业”,但实际上Facebook的数据科学家的工作更多是在产品层面.

揭秘LInkedin数据科学家如何工作

- - 互联网分析
在互联网企业中,LinkedIn是一家出了名的“慢公司”,但LinkedIn也是最成功的社交网络,用户品质、广告价值都是行业翘楚,秘密在于LinkedIn有一个高效的数据科学家团队. 作为社交网络, LinkedIn并不是最大的,也不是生长最快的. 成立于2003年的LinkedIn, 花了500天, 才达到了100万用户.

数据科学家的职业发展前景如何?

- - 美国留学申请与就业找工作咨询博客|Warald|一亩三分地论坛
从2011年下半年开始,Warald注意到LinkedIn上Data Scientist相关工作在迅速增长,2012年更是增幅显著,好多公司都在扩充或者创建自己的data science or analytics team. 也有越来越多的人在自己的LinkedIn profile头衔里添加big data、data scientist、data analyst之类的字眼,希望被猎头或者公司直接搜索到.