打造顶级大数据团队的几个偏方

标签: 大数据 热点 Kaggle 大数据方法 数据科学家 | 发表时间:2013-09-21 00:07 | 作者:Cashcow
出处:http://www.ctocio.com

big data team

出人意料的是,音乐人才、物理学家和工商管理人士能为大数据团队带来全新的视角。

你的企业正在打造数据科学团队吗?首先,你应当从业务部门抽调专家来提出正确的问题。然后考虑招募一些物理学家、音乐人才,当然,还有统计人才和计算机科学家。

这些才是顶级大数据团队的关键“配方”,至少管理咨询与技术顾问公司Booz Allen的战略创新部门副总裁乔什沙利文是这么认为的。沙利文的部门负责帮助客户开展数据分析项目,在这个过程中沙利文看到太多企业犯下相同的错误。

“大多数企业只知道招聘计算机科学家,因为他们认为大数据是一个技术问题,但他们错了,”在接受媒体采访时,沙利文说道:

我们问客户的第一个问题是:你准备向数据分析系统提出什么样的问题?而不是你需要如何去编写代码。你首先需要有创造力和好奇的人。

Booz Allen组件数据科学团队的第一步是确保团队成员包括数学与统计人才、计算机科学专家和企业各业务领域专家。其中业务专家非常关键,他们是确保大数据分析产生商业价值并提升企业决策的关键环节。

值得注意的是,大数据团队中的业务专家需要与业务部门进行岗位轮换,帮助企业所有业务部门都意识到大数据团队的存在,同时需要将数据团队中的业务专家送回到业务岗位,他们将成为数据驱动的企业经营管理方法与文化的布道者。

太多企业为特定部门或者业务线组件专门的分析团队,这些团队常常无法从企业的整体业务出发考虑问题,同时这也会滋长“数据保护主义”,部门间各自囤积数据,并为数据分享设置障碍。

另外一个令人质疑的做法是在研发团队内囤积分析专家,使他们很难接触到业务部门。

陶氏化学在这方面就做得非常好,其数据科学家团队与业务专家肩并肩 合作,开发出新的业务成本模型仅仅在货运和原材料两个环节就帮助公司节省了数十亿美元。

在统计专家和计算机科学家之外,沙利文的部门还成功地将物理学家和音乐专业人士引入数据分析团队,这听上去有些古怪。实际上,这两类人才为数据分析团队带来了全新的观点和方法。例如物理学家带来了从猜测、假设到实验的一整套科学验证方法,而音乐专业人才则具备“惊人的创造力和量化技能”。

当数据分析团队在处理多种数据的时候,非常类似交响乐作者编配多种乐器的过程,而这方面音乐人才是最在行的。例如在一个医药公司的数据分析项目中,需要混搭不良药物反应数据、社交媒体数据、研究注释、实验室数据和分子数据。在大数据分析出现之前,从来没有人会将这么多不同来源的数据整合到一起。事实证明,在音乐人才的帮助下,这些数据形成了完美的“合奏”,并最终帮这家药企优化了药物研发的优先级。

在最近的一个项目中,沙利文的团队帮助一家航空公司实施的大数据项目证明了大数据的商业价值。在这个大数据项目中,旅客的行程、路线、票价、目的地、载客量历史数据与体育赛事日程、传统节日、学校假期、旅客人口统计和社交媒体数据整合到一起分析。

以上这些数据航空公司有很多对应的BI仪表盘和PDF报告工具,但航空公司们从来没想到过将这些数据综合起来分析。结果证明,这样的大数据分析能帮助他们优化航班时刻表和票价,每年增加数千万美元的收入。

数据分析团队多元化的优势在大数据众包平台 Kaggle上得到最佳体现。在那里,不乏天文学家、对冲基金金融工程师、经济学家以及数学家甚至律师提出能击败企业内部数据分析团队的更好的分析方法/算法。

相关 [大数据 团队 偏方] 推荐:

打造顶级大数据团队的几个偏方

- - IT经理网
出人意料的是,音乐人才、物理学家和工商管理人士能为大数据团队带来全新的视角. 你的企业正在打造数据科学团队吗. 首先,你应当从业务部门抽调专家来提出正确的问题. 然后考虑招募一些物理学家、音乐人才,当然,还有统计人才和计算机科学家. 这些才是顶级大数据团队的关键“配方”,至少管理咨询与技术顾问公司Booz Allen的战略创新部门副总裁乔什沙利文是这么认为的.

大数据团队必须设置的五种职位

- - CSDN博客云计算推荐文章
大数据团队必须设置的五种职位. 作者:chszs,转载需注明. 博客主页: http://blog.csdn.net/chszs. 麦肯锡认为,大数据团队必须有五种职位:. 1)数据卫生员(Data Hygienists) - 这些人,确保数据总是干净的、准确的. 2)数据探索者(Data Explorers) - 这些人在大数据项目找到你真正需要的数据.

成功大数据团队的“三驾马车”

- - IT经理网
对于那些着手尝试大数据应用的企业来说,成败的关键是组建一个优秀的大数据团队,但是不要指望一个“ 首席数据官(CDO)”或者数据科学家搞定所有的事情,成功的大数据团队需要三驾马车:一位业务分析师、一位机器学习专家和一位数据工程师. 随着大数据企业应用的火热开展,数据科学家正在闹人才荒,可谓一将难求,但是Lithium公司的首席科学家Michael Wu博士在接受IW 采访时表示:数据科学家的人才荒是因为人们对数据科学家的期望值过高,希望他即懂业务也懂最先进的大数据技术,这样的人才自然是奇货可居,而且不是每个企业有钱就能招募到的.

专访QQ大数据团队,谈分布式计算系统开发

- - 互联网 - ITeye博客
NoSQL是笔者最早接触大数据领域的相关知识,因此在大家都在畅谈Hadoop、Spark时,笔者仍然保留着NoSQL博文的阅读习惯. 在偶尔阅读一篇Redis博文过程中,笔者发现了. jacksu的个人博客,并在其中发现了大量的分布式系统操作经验,从而通过他的引荐了解了QQ成立之初后台3个基础团队之一的QQ运营组,这里我们一起走进.

雅虎BigML团队开源大数据分布式深度学习框架TensorFlowOnSpark

- - IT瘾-tuicool
雅虎 Big ML 团队今日宣布开源 TensorFlowOnSpark,用于在大数据集群上进行分布式深度学习. 下面是该团队官方发布的开源说明. 近几年,深度学习发展的非常迅速. 在雅虎,我们发现,为了从海量数据中获得洞察力,需要部署分布式深度学习. 现有的深度学习框架常常要求为深度学习单独设定集群,迫使我们要为一个机器学习流程(见下图 1)创建多个程序.

团队

- Lorna - 坏脾气的小肥
我最近心情起落比较大,如果把时间线再拉长一点,则是去年多自负,今年多自责. 冷静下来的时候也会想,我能不能做得更好. 每一个团队都有它的长处,有它的短处,对于团队的缺陷首先要问自己几个问题:. 1、有没有激励大家全心全意地认同和投入这个项目. 2、有没有分工合理,使每个人认同和投入自己的任务. 3、他的缺陷是否可以通过工作指导、严格督促,在半年或一年时间里自我完善.

谈大数据(2)

- - 人月神话的BLOG
对于大数据,后面会作为一个系列来谈,大数据涉及的方面特别多,包括主数据,数据中心和ODS,SOA,云计算,业务BI等很多方面的内容. 前面看到一个提法,即大数据会让我们更加关注业务方面的内容,而云平台则更多是技术层面的内容. 对于大数据会先把各个理解的关键点谈完了,再系统来看大数据的完整解决方案和体系化.

大数据之惑

- - 互联网分析
算起来,接触大数据、和互联网之外的客户谈大数据也有快2年了. 也该是时候整理下一些感受,和大家分享下我看到的国内大数据应用的一些困惑了. 云和大数据,应该是近几年IT炒的最热的两个话题了. 在我看来,这两者之间的不同就是: 云是做新的瓶,装旧的酒; 大数据是找合适的瓶,酿新的酒. 云说到底是一种基础架构的革命.

白话大数据

- - 互联网分析
这个时代,你在外面混,无论是技术还是产品还是运营还是商务,如果嘴里说不出“大数据”“云存储”“云计算”,真不好意思在同行面前抬头. 是千万级别的用户信息还是动辄XXXTB的数据量. 其实,大数据在我的眼里,不是一门技术,而是一种技能,从数据中去发现价值挖掘价值的技能. ”当我掷地有声用这句话开场时,正好一个妹子推门而入,听到这句话,微微一怔,低头坐下.

交通大数据

- - 人月神话的BLOG
本文简单谈下智慧交通场景下可能出现的大数据需求和具体应用价值. 对于公交线路规划和设计是一个大数据潜在的应用场景,传统的公交线路规划往往需要在前期投入大量的人力进行OD调查和数据收集. 特别是在公交卡普及后可以看到,对于OD流量数据完全可以从公交一卡通中采集到相关的交通流量和流向数据,包括同一张卡每天的行走路线和换乘次数等详细信息.