KDNuggets：数据科学家使用工具调查
- - 199IT互联网数据中心工具／产品／解决方案是数据科学家洞察数据的利器. KDNuggets网站对此观点进行了年度调查，来分析数据科学家在用哪些类型的工具，并提供了调查的 匿名原始数据. 通过主成分析（PCA）法进行降维分析. 对所有的工具同时进行关系分析，常规来说，PCA通过对大样本数据统计性质（eg, 协方差）的分析，试图用主要特征来解释关系.
KDNuggets：数据科学家使用工具调查
标签：
199IT推荐文章
行业资讯
KDnuggets
工具调查
数据科学家
| 发表时间：2016-04-04 00:45 | 作者：DinK
出处：http://www.199it.com
工具／产品／解决方案是数据科学家洞察数据的利器。 KDNuggets网站对此观点进行了年度调查，来分析数据科学家在用哪些类型的工具，并提供了调查的 匿名原始数据。
通过主成分析（PCA）法进行降维分析
对所有的工具同时进行关系分析，常规来说，PCA通过对大样本数据统计性质（eg, 协方差）的分析，试图用主要特征来解释关系。
分析结果：
当前分析的目标：通过一些主成分来分析95种工具之间的关系。最终决定以PCA的特征值来决定主成分的数目，这里选用了两种规则：一种是以特征值大于1的特征值数量来选择主成分数量；一种是画陡坡图（scree plot），通过95个特征值你会发现一个拐点的特征值。
特征点点陡坡图显示在第13和第14特征点时出现拐点，因此，这里选择的13个主成分来解释它们之间的关系，见下图。
点击上图可放大
工具分类
下面列出根据主成分析得出的13类工具（投票数大于20）：
- 大数据生态（Hadoop、Spark）和开源项目：Hadoop, HBase, Hive, Mahout, MLlib, Other Hadoop/HDFS-based tools, Pig, Scala, Spark, SQL on Hadoop tools
- 微软数据科学家工具：Microsoft Azure ML, Microsoft Power BI, Microsoft SQL Server, Revolution Analytics
- 基于Python的机器学习：Dataiku, H2O (0xdata), Python, scikit-learn, Theano, Vowpal Wabbit
- SAS公司产品：JMP, SAS Base, SAS Enterprise Miner
- MATLAB、R语言等统计工具：Gnu Octave, MATLAB, Orange, R, RapidMiner, Rattle, Weka
- IBM公司产品：IBM Cognos, IBM SPSS Modeler, IBM SPSS Statistics, IBM Watson Analytics
- Linux工具和SQLang：Actian, C/C++, Perl, SQLang, Unix shell/awk/gawk
- 深度学习：Caffe, Pylearn2
- 商务智能软件：Pentaho and QlikView
- 数据分析平台：Datameer and Zementis
- Excel和Word统计工具：XLSTAT for Excel
- 其它：Other Deep Learning tools, Other free analytics/data mining tools, Other Hadoop/HDF-based tools, Other paid analytics/data mining/data science software, Other programming languages
- 数据可视化：C4.5/C5.0/See5, Miner3D, Oracle Data Miner
总结
数据科学家在选择大数据、数据挖掘和数据分析工具时，更倾向于有一定生态基础的工具，这样各个工具间可以相互支持。
为了提高在大数据项目中成功的机会，选择正确的工具是非常重要的。没有一个孤立的工具能够做所有的数据分析，职业的数据专家趋向于使用不止一种相关的工具（分析中发现，数据专家平均使用5种数据分析工具）。你可以根据使用相关工具的数据专家来决定自己的选择。
另外一个观点是，要选择大厂的产品，比如，IBM、微软和SAS，大品牌的产品更丰富，可以使得你的产品更容易扩展。
作者： 杜小芳
199IT大数据导航，汇集1000多款与数据相关的工具（ http://hao.199it.com/ ），欢迎分享收藏！
| 您可能也喜欢的文章： | ||||
 数据科学家首先应该做的事：对作者情感观察的分析 |
 一个优秀数据科学家的主要构成特点 |
 KDnuggets：2013年数据挖掘工具使用情况调查 |
 数据科学家角色 |
 2015年中国大数据发展调查报告（附下载） |
| 无觅 | ||||
相关 [kdnuggets 数据 科学家] 推荐：
数据科学家炙手可热
- - 互联网分析《哈佛商业评论》(Harvard Business Review)近期声称，21世纪最性感的工作是数据科学家. 这一美国商学院期刊表示，数据科学家集“数据黑客、分析师、沟通大师和受信任的顾问”于一身，并指出，这种技能的结合极为罕见. 这正是全球各地诸多企业的问题所在. 尽管公司经理深知大数据所能带来的效益，但他们难以找到拥有合适技能的人才.
信息平台和数据科学家的兴起
- 景峰 - 《程序员》杂志官网文 / Jeff Hammerbacher. Facebook有了“自知之明”. 在2005年9月，Facebook首次向非大学生公开，允许高中生注册账号. 忠实的用户愤怒了，但Facebook团队认为这是为网站做出的正常方向. 那么它该如何证明它的方案是正确的呢. 此外，在几乎所有可登录Facebook网站的学校中，Facebook已经渗入学生当中，但还是在有部分学校中，该网站一直不受青睐.
Facebook数据科学家需具备的六大技能
- - 互联网分析数据科学家到底应该具备哪些技能. 对于这个新兴职业的定位和展望，我们也许Facebook的招聘说明中找到答案. Facebook近日公开招募数据科学家，负责分析Facebook拥有的全球最大的人际关系数据库. 在 Facebook的数据科学家招聘说明中，数据科学家被归类到“软件工程职业”，但实际上Facebook的数据科学家的工作更多是在产品层面.
揭秘LInkedin数据科学家如何工作
- - 互联网分析在互联网企业中，LinkedIn是一家出了名的“慢公司”，但LinkedIn也是最成功的社交网络，用户品质、广告价值都是行业翘楚，秘密在于LinkedIn有一个高效的数据科学家团队. 作为社交网络， LinkedIn并不是最大的，也不是生长最快的. 成立于2003年的LinkedIn, 花了500天， 才达到了100万用户.
数据科学家的职业发展前景如何？
- - 美国留学申请与就业找工作咨询博客|Warald|一亩三分地论坛从2011年下半年开始，Warald注意到LinkedIn上Data Scientist相关工作在迅速增长，2012年更是增幅显著，好多公司都在扩充或者创建自己的data science or analytics team. 也有越来越多的人在自己的LinkedIn profile头衔里添加big data、data scientist、data analyst之类的字眼，希望被猎头或者公司直接搜索到.
数据科学家面试常见的77个问题
- - 互联网分析随着大数据概念的火热，数据科学家这一职位应时而出，那么成为数据科学家要满足什么条件. 或许我们可以从国外的数据科学家面试问题中得到一些参考，下面是中国统计网为大家翻译的数据科学家面试常见的77个问题. 下面是77个关于数据分析或者数据科学家招聘的时候会常会的几个问题，供各位同行参考. 1、你处理过的最大的数据量.
IT屌丝如何成为数据科学家？
- - IT经理网数据科学家被《财富》杂志誉为21世纪最性感的职业，但遗憾的是大多数企业里都没有真正的数据科学家人才. 根据麦肯锡 报告，仅仅在美国市场，2018年大数据人才和高级分析专家的人才缺口将高达19万. 此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才. 那么，对于不同职业经历和专业背景的IT人士来说，如何才能尽快转型，加入数据科学家的钻石王老五的行列呢.
数据科学家应该掌握的5个工具
- - 博客园_新闻英文原文： 5 More Tools All Data Scientists Should Know How to Use. 即使是知识渊博的数据科学家也能提升他们的技术水平. 当谈及到分析你编纂的数据时，有大量的工具可以帮助你更好的理解数据. 我们与我们的数据科学指导者探讨了很久，最后总结出了一个包括 5 个数据科学工具的列表，同时这也是你在当今的社会形势下应该掌握的 5 个数据科学工具.
福特首席数据科学家谈三点大数据经验
- - IT经理网数据已经成了福特公司的“燃油”，从产品设计到商业智能，从汽车部件到社交网络上的用户，福特公司每天需要处理海量且快速增长的数据. 今日福特公司首席数据官Michael Cavaetta做客Structure Show， 介绍了福特公司的大数据处理经验，归结为三点：. 数周前福特公司在北美国际汽车展上亮相的F-150皮卡车型采用了轻型铝材取代钢材提高燃油经济性.