中小企业的大数据技术路线选择

标签: 中小企业 大数据 技术路线 | 发表时间:2014-11-04 18:14 | 作者:china_world
出处:http://blog.csdn.net
中小企业的大数据技术路线选择

       目前,大数据主要应用在互联网、电商领域,电信、电力行业也在逐步使用。对广大的中小企业来说,大数据也听得太多了。然而,大数据的技术门槛还是很高的。从技术路线上来说,选择大公司使用的技术方案可能是不能承受之重。

       笔者所在的公司,选择的是行业通用的Hadoop方案。历经一年之久,前后三拨人员,一个Demo版还没出来。大数据真的让人望眼欲穿啊。

       对中小企业而言,要选择适合自己的大数据技术路线。跟着大公司,人云亦云,还真玩不起。那么,有没有适合中小企业的大数据方案呢?笔者用心收集了几个,供参考。
       1、Cassandra+Presto
       Cassandra是一套开源分布式 NoSQL数据库系统。它最初由 Facebook开发,用于储存收件箱等简单格式数据,集 Google BigTable的数据模型与 Amazon Dynamo的完全分布式的架构于一身 Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩放性,被 DiggTwitter等知名 Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。
     Cassandra主要特性:
  • 分布式
  • 基于column的结构化
  • 高伸展性
 
      Cassandra提供了以下功能:
  • 模式灵活
  • 可扩展性
  • 多数据中心
  • 范围查询
  • 列表数据结构
  • 分布式写操作
  • 一致性Hash
  • GoSSIP协议简化集群管理
  • 实时更新
  • 高效的二级索引
  • 高效的数据压缩
        
      Presto是一个用Java语言开发的、开源的“交互式”SQL查询引擎。它由 Facebook构建,即Hive最初的创建者。Presto采用的方法类似于Impala,即提供交互式体验的同时依然使用已有的存储在Hadoop上的数据集。它也需要安装在许多“节点”上,类似于Impala。Presto提供了以下功能:
  • ANSI-SQL语法支持 (可能是ANSI-92)
  • JDBC 驱动
  • 一个用于从已有数据源中读取数据的“连接器”集合。连接器包括:HDFS、Hive和Cassandra
  • 与Hive metastore交互以实现模式共享
      Presto/Cassandra的整合: Ad-hoc analysis over Cassandra data with Facebook Presto 
   
       
       Trafodion是由惠普赞助的一个开源项目,培养在惠普实验室和HP-IT开发一个企业级的SQL上的HBase解决方案,针对大数据的事务或业务工作负载。 Trafodion是在Apache许可证授权,版本2.0。Trafodion建立在可扩展性,弹性和Hadoop的灵活性上。 Trafodion Hadoop的扩展提供保证事务的完整性,使各种新的大数据应用在Hadoop上运行。
Key Features of Trafodion
  • Full-functioned ANSI SQL language support
  • JDBC/ODBC connectivity for Linux/Windows clients
  • ACID distributed transaction protection across multiple statements, tables and rows
  • Performance improvements for OLTP workloads with compile-time and run-time optimizations
  • Support for large data sets using a parallel-aware query optimizer
Key Benefits of Trafodion
  • Reuse existing SQL skills and improve developer productivity
  • Distributed ACID transactions guarantee data consistency across multiple rows and tables
  • Interoperability with existing tools and applications
  • Hadoop and Linux distribution neutral
  • Easy to add to your existing Hadoop infrastructure 
作者:china_world 发表于2014-11-4 10:14:45 原文链接
阅读:88 评论:0 查看评论

相关 [中小企业 大数据 技术路线] 推荐:

中小企业的大数据技术路线选择

- - CSDN博客研发管理推荐文章
中小企业的大数据技术路线选择.        目前,大数据主要应用在互联网、电商领域,电信、电力行业也在逐步使用. 对广大的中小企业来说,大数据也听得太多了. 然而,大数据的技术门槛还是很高的. 从技术路线上来说,选择大公司使用的技术方案可能是不能承受之重.        笔者所在的公司,选择的是行业通用的Hadoop方案.

大数据从“小”做起——中小企业Big Data解决之道

- - 弯曲评论
本文是最新的拙作,希望能大家能提点意见^_^. 任何一个时代或者模式的兴起,都离不开与之相关的Killer App,比如,C/S时代的SAP ERP,互联网 1.0 时代的门户,以及互联网 2.0时代的搜索和SNS等,那么在当今云计算这个时代有那些Killer App呢. 当然首当其冲的肯定是以VMware 和Amazon EC2为代表的虚拟化和相关IaaS服务,除此之外,新近崛起的大数据绝对也是云计算的Killer App之一,并且不仅类似百度、阿里以及腾讯这样的互联网巨头有相关的应用需求,而且根据我个人平时与客户接触,发现有很多普通中小企业,特别是中型的互联网和物联网企业,在这方面的场景也有很多.

创业公司如何确定技术路线

- - 《程序员》杂志官网
首先要说的是,我认为创业公司的技术路线选择并不是一个技术问题. 如果是一个纯粹的技术问题,那么很可能会一直争论不休,最后的结果就像某个笑话里面说的,某公司一直到倒闭技术路线还没统一. 因此,本文不会向你推荐任何一个具体的技术方案. 创业公司往往都面临着不同程度的资金和资源短缺,经不起反复修改技术路线带来的资源浪费,需要管理者或者技术带头人能够较早地确定一个适合的技术路线.

计世独家:电商转战技术路线

- - 派代网 - 资讯
 经历了2011年的“血战”之后,中国电商的竞争焦点正在逐渐下沉,从前台市场驱动走向后端技术驱动.   春节刚刚过去不久,京东商城就宣布了一项重大调整——设立CTO职位,原甲骨文全球副总裁王亚卿就任京东首任CTO. 京东商城宣称,CTO职位的设立是公司战略转型的关键步骤,王亚卿将从整体上改善公司的技术体系,以支撑公司业务的高速发展.

从程序员到CTO的Java技术路线图

- - ITeye博客
 总感觉需要提升自己,也摸索了一下路子. 但有如此清晰的指示图供参考还是非常不错的,不是需要我们完全掌握,只是扩展思维.               反射、泛型、注释符、自动装箱和拆箱、枚举类、可变.               参数、可变返回类型、增强循环、静态导入.         核心编程.              IO、多线程、实体类、.

【信息图】中小企业的云端之路

- SotongDJ - 36氪
将视线从热点频出的消费电子产品市场移开,投向企业级市场,我们可以明显地感受到这样一种趋势——云端的应用和服务开始大量涌现,云的部署开始走向成熟. 由于免去了自建平台的负担,中小企业成为了应用云端服务的主力军. 那么,中小企业的云端应用的局面如何,又有什么代表性的服务呢. 据估计,整个世界的云计算市场规模在80亿美元左右.

中小企业IT不可错过的十大虚拟机软件

- - IT经理网
作为企业的CIO或CTO,当你想为客户或者企业员工高效率提供新服务时,可曾想过走虚拟机软件的路子. 虚拟机软件是企业、尤其是中小企业IT部门轻量化高效部署应用的捷径,本文将介绍十款运行于 VirtualBox的虚拟机软件,这些虚拟机软件经过社区用户和开发者大量测试和改进,已经非常成熟,可以帮你优化提升包括ERP和人力资源管理在内的业务流程效率,扩张业务,并并提供前所未有的新服务.

中小企业网管管理完全篇

- - 行业应用 - ITeye博客
现在,若有哪家企业还没有搭建起自己的网络系统,那么人们一定会说:“这家企业太落后了. ”这种“落后”现象,虽然目前在我国的现代企业中不多见了,但是在占我国企业总数98%以上的中小企业中,这种现象仍然屡见不鲜. 即使是多数中小企业赶上了时代的步伐,建立起了企业的网络系统,哪怕是企业的内部网,并在发展企业信息化建设中起到了举足轻重的作用.

【How-To】5步创建高性价比的中小企业内容营销计划

- - SocialBeta
当你想要进行有效的内容营销时,选择营销策略至关重要.  如何在选择内容营销战略时节省成本却不影响其效果.  如何制定预算和计划,以及如何监测内容营销活动是否成功. 已经有足够多的企业通过内容营销取得成功,内容营销策略值得每个企业家思考——即使是最谨慎的商人也不例外. 然而,进行出色的内容营销需要相当多时间和资金上的投入,因此对于资源有限的中小企业而言,这确实是一步险棋.

10款中小企业必备的开源免费安全工具

- - IT瘾-tuicool
很多企业特别是一些中小型企业在日常生产中,时常会因为时间、预算、人员配比等问题,而大大减少或降低在安全方面的投入. 这时候,一些好的免费开源安全工具,无疑成为了这些企业降低成本的首选. 下面,我将为大家推荐十款不错的免费开源安全工具. Nmap(Network Mapper)是一款免费开源的安全扫描工具,主要用于端口扫描、网络探测等.