facebook presto安装与配置 CDH4.4

标签: facebook presto cdh4 | 发表时间:2013-11-21 04:06 | 作者:luyee2010
出处:http://blog.csdn.net

presto

   http://www.dw4e.com/?p=141
http://blog.csdn.net/u012417026/article/details/14516631

conf

   hadoop@yard02:~/bigdata/presto-server-0.52/$ tar zxvf presto-server-0.52.tar.gz

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cd presto-server-0.52/

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch node.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat node.properties 
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/home/hadoop/bigdata/presto-server-0.52/data

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch jvm.config

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat jvm.config 
-server
-Xmx16G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:PermSize=150M
-XX:MaxPermSize=150M
-XX:ReservedCodeCacheSize=150M

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch config.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat config.properties 
coordinator=true
datasources=jmx,hive
http-server.http.port=8080
presto-metastore.db.type=h2
presto-metastore.db.filename=/home/hadoop/bigdata/presto-server-0.52/data/db/MetaStore
task.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://yard02:8080

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch log.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat log.properties 
com.facebook.presto=DEBUG

hadoop@yard02:~/bigdata/presto-server-0.52/etc/catalog$ touch jmx.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat catalog/jmx.properties 
connector.name=jmx

hadoop@yard02:~/bigdata/presto-server-0.52/etc/catalog$ touch hive.properties

            ###hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat catalog/hive.properties 
connector.name=hive-cdh4
hive.metastore.uri=thrift://yard02:9083

presto 客户端

下载:  http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-server/0.52/presto-server-0.52.tar.gz

重命名:mv presto-cli-0.52-executable.jar presto

TEST 试试手感

启动:

   hadoop@yard02:~/bigdata/presto-server-0.52/bin$ ./launcher start

需要先启动hiveserver

   ./hive --service hiveserver -p 9083

客户端链接:

   hadoop@yard02:~/bigdata/presto-server-0.52/bin$ ./presto --server localhost:8080 --catalog hive --schema default
presto:default> list
             -> ;
Query 20131120_114948_00002_3frqf failed: line 1:1: no viable alternative at input 'list'
list

presto:default> show tables;
 Table  
--------
 mytest 
(1 row)

Query 20131120_114955_00003_3frqf, FINISHED, 1 node
Splits: 2 total, 2 done (100.00%)
0:00 [1 rows, 23B] [2 rows/s, 68B/s]

presto:default>

参考链接:

http://prestodb.io/docs/current/installation/deployment.html


作者:luyee2010 发表于2013-11-20 20:06:48 原文链接
阅读:106 评论:0 查看评论

相关 [facebook presto cdh4] 推荐:

facebook presto安装与配置 CDH4.4

- - CSDN博客云计算推荐文章
下载:  http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-server/0.52/presto-server-0.52.tar.gz. 重命名:mv presto-cli-0.52-executable.jar presto.

Presto 来自Facebook的开源分布式查询引擎

- - 标点符
PrestoDB 来自Facebook的开源分布式查询引擎. Presto是一个分布式SQL查询引擎, 它被设计为用来专门进行高速、实时的数据分析. 它支持标准的ANSI SQL,包括复杂查询、聚合(aggregation)、连接(join)和窗口函数(window functions). 下图中展现了简化的Presto系统架构.

安装和部署Presto

- - JavaChen's Blog
操作系统:CentOs6.5. Hadoop 集群:CDH5.3. JDK 版本:jdk1.8.0_31. 为了测试简单,我是将 Presto 的 coordinator 和 worker 都部署在 cdh1 节点上,并且该节点上部署了 hive-metastore 服务. 下面的安装和部署过程参考自 http://prestodb.io/docs/current/installation.html.

Presto 在有赞的实践之路

- - IT瘾-dev
本文主要介绍了 Presto 的简单原理,以及 Presto 在有赞的实践之路. Presto 是由 Facebook 开发的开源大数据分布式高性能 SQL 查询引擎. 起初,Facebook 使用 Hive 来进行交互式查询分析,但 Hive 是基于 MapReduce 为批处理而设计的,延时很高,满足不了用户对于交互式查询想要快速出结果的场景.

开源OLAP引擎综评:HAWQ、Presto、ClickHouse

- - InfoQ推荐
谈到大数据就会联想到Hadoop、Spark整个生态的技术栈. 大家都知道开源大数据组件种类众多,其中开源OLAP引擎包含Hive、SparkSQL、Presto、HAWQ、ClickHouse、Impala、Kylin等. 当前企业对大数据的研究与应用日趋理性,那么,如何根据业务特点,选择一个适合自身场景的查询引擎呢.

Presto实现原理和美团的使用实践

- - 美团技术团队
Facebook的数据仓库存储在少量大型Hadoop/HDFS集群. Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具. 在以前,Facebook的科学家和分析师一直依靠Hive来做数据分析. 但Hive使用MapReduce作为底层计算框架,是专为批处理设计的. 但随着数据越来越多,使用Hive进行一个简单的数据查询可能要花费几分到几小时,显然不能满足交互式查询的需求.

开源OLAP引擎哪个快? (Presto、HAWQ、ClickHouse、GreenPlum) - 知乎

- -
现在大数据组件非常多,众说不一,在每个企业不同的使用场景里究竟应该使用哪个引擎呢. 这是易观Spark实战营出品的开源Olap引擎测评报告,团队选取了Hive、Sparksql、Presto、Impala、Hawq、Clickhouse、Greenplum大数据查询引擎,在原生推荐配置情况下,在不同场景下做一次横向对比,供大家参考.

#数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie

- - ITeye博客
郑昀 创建于2014/10/30 最后更新于2014/10/31. 一)选型:Shib+Presto. 应用场景:即席查询(Ad-hoc Query). 使用者是产品/运营/销售运营的数据分析师;. 要求数据分析师掌握查询SQL查询脚本编写技巧,掌握不同业务的数据存储在不同的数据集市里;. 不管他们的计算任务是提交给 数据库 还是 Hadoop,计算时间都可能会很长,不可能在线等待;.

presto、druid、sparkSQL、kylin的对比分析,如性能、架构等,有什么异同? - 知乎

- -
这几个框架都是OLAP大数据分析比较常见的框架,各自特点如下:. presto:facebook开源的一个java写的分布式数据查询框架,原生集成了Hive、Hbase和关系型数据库,Presto背后所使用的执行模式与Hive有根本的不同,它没有使用MapReduce,大部分场景下比hive快一个数量级,其中的关键是所有的处理都在内存中完成.

中国的Facebook?

- Lorna - It Talks--上海魏武挥的博客
腾讯近日很低调地推出了一个名为“朋友”的网络服务(也是一个使用独立域名的网站),这是一个与时下社交网站,比如人人、开心等非常类似的产品. 与它们一样,目前这个“朋友”上也加载了一些应用,当然,一贯的,以腾讯自家出品为主. 而且,我个人以为,未来会有更多的腾讯在QQ这个客户端上的应用,逐步向这个网站迁移.