facebook presto安装与配置 CDH4.4

标签: facebook presto cdh4.4 | 发表时间:2013-11-20 20:06 | 作者:luyee2010
分享到:
出处:http://blog.csdn.net

presto

   http://www.dw4e.com/?p=141
http://blog.csdn.net/u012417026/article/details/14516631

conf

   hadoop@yard02:~/bigdata/presto-server-0.52/$ tar zxvf presto-server-0.52.tar.gz

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cd presto-server-0.52/

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch node.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat node.properties 
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/home/hadoop/bigdata/presto-server-0.52/data

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch jvm.config

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat jvm.config 
-server
-Xmx16G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:PermSize=150M
-XX:MaxPermSize=150M
-XX:ReservedCodeCacheSize=150M

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch config.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat config.properties 
coordinator=true
datasources=jmx,hive
http-server.http.port=8080
presto-metastore.db.type=h2
presto-metastore.db.filename=/home/hadoop/bigdata/presto-server-0.52/data/db/MetaStore
task.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://yard02:8080

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch log.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat log.properties 
com.facebook.presto=DEBUG

hadoop@yard02:~/bigdata/presto-server-0.52/etc/catalog$ touch jmx.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat catalog/jmx.properties 
connector.name=jmx

hadoop@yard02:~/bigdata/presto-server-0.52/etc/catalog$ touch hive.properties

            ###hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat catalog/hive.properties 
connector.name=hive-cdh4
hive.metastore.uri=thrift://yard02:9083

presto 客户端

下载:  http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-server/0.52/presto-server-0.52.tar.gz

重命名:mv presto-cli-0.52-executable.jar presto

TEST 试试手感

启动:

   hadoop@yard02:~/bigdata/presto-server-0.52/bin$ ./launcher start

需要先启动hiveserver

   ./hive --service hiveserver -p 9083

客户端链接:

   hadoop@yard02:~/bigdata/presto-server-0.52/bin$ ./presto --server localhost:8080 --catalog hive --schema default
presto:default> list
             -> ;
Query 20131120_114948_00002_3frqf failed: line 1:1: no viable alternative at input 'list'
list

presto:default> show tables;
 Table  
--------
 mytest 
(1 row)

Query 20131120_114955_00003_3frqf, FINISHED, 1 node
Splits: 2 total, 2 done (100.00%)
0:00 [1 rows, 23B] [2 rows/s, 68B/s]

presto:default>

参考链接:

http://prestodb.io/docs/current/installation/deployment.html


作者:luyee2010 发表于2013-11-20 20:06:48 原文链接
阅读:106 评论:0 查看评论

相关 [facebook presto cdh4.4] 推荐:

facebook presto安装与配置 CDH4.4

- - CSDN博客云计算推荐文章
下载:  http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-server/0.52/presto-server-0.52.tar.gz. 重命名:mv presto-cli-0.52-executable.jar presto.

Presto:Facebook的分布式SQL查询引擎

- - 博客园_新闻
英文原文: Martin Traverso (Facebook)  . Facebook 是一家数据驱动的公司. 数据处理和分析是 Facebook 为 10 亿多活跃用户开发和交付产品的核心所在. 我门拥有世界上最大的数据仓库之一,存储了大约 300PB 以上的数据. 这些数据被一系列不同种类的程序所使用, 包括传统的数据批处理程序、基于图论的数据分析[1]、机器学习、和实时性的数据分析.

Presto 来自Facebook的开源分布式查询引擎

- - 标点符
PrestoDB 来自Facebook的开源分布式查询引擎. Presto是一个分布式SQL查询引擎, 它被设计为用来专门进行高速、实时的数据分析. 它支持标准的ANSI SQL,包括复杂查询、聚合(aggregation)、连接(join)和窗口函数(window functions). 下图中展现了简化的Presto系统架构.

安装和部署Presto

- - JavaChen's Blog
操作系统:CentOs6.5. Hadoop 集群:CDH5.3. JDK 版本:jdk1.8.0_31. 为了测试简单,我是将 Presto 的 coordinator 和 worker 都部署在 cdh1 节点上,并且该节点上部署了 hive-metastore 服务. 下面的安装和部署过程参考自 http://prestodb.io/docs/current/installation.html.

Presto实现原理和美团的使用实践

- - 美团技术团队
Facebook的数据仓库存储在少量大型Hadoop/HDFS集群. Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具. 在以前,Facebook的科学家和分析师一直依靠Hive来做数据分析. 但Hive使用MapReduce作为底层计算框架,是专为批处理设计的. 但随着数据越来越多,使用Hive进行一个简单的数据查询可能要花费几分到几小时,显然不能满足交互式查询的需求.

#数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie

- - ITeye博客
郑昀 创建于2014/10/30 最后更新于2014/10/31. 一)选型:Shib+Presto. 应用场景:即席查询(Ad-hoc Query). 使用者是产品/运营/销售运营的数据分析师;. 要求数据分析师掌握查询SQL查询脚本编写技巧,掌握不同业务的数据存储在不同的数据集市里;. 不管他们的计算任务是提交给 数据库 还是 Hadoop,计算时间都可能会很长,不可能在线等待;.

Facebook’s architecture(转)

- Adam - 淘宝JAVA中间件团队博客
Facebook’s HipHop [1] then converts it to C++ and compiles it using g++, thus providing a high performance templating and Web logic execution layer. Some of these services are implemented in PHP, C++ or Java depending on service requirements (some other languages are probably used…).

中国的Facebook?

- Lorna - It Talks--上海魏武挥的博客
腾讯近日很低调地推出了一个名为“朋友”的网络服务(也是一个使用独立域名的网站),这是一个与时下社交网站,比如人人、开心等非常类似的产品. 与它们一样,目前这个“朋友”上也加载了一些应用,当然,一贯的,以腾讯自家出品为主. 而且,我个人以为,未来会有更多的腾讯在QQ这个客户端上的应用,逐步向这个网站迁移.

Facebook初探

- 亦农 - 王建硕
今天的湾区阳光灿烂,280州际公路两边的绿色山坡和蔚蓝的白云,让人觉得自己是Windows XP桌面上的一个图标. 下午,2点,终于来到Facebook这个神奇的公司. 他们的新家在南加利福尼亚街的最里面,一幢两层的楼里. 他们刚刚从车位紧张的Palo Alto城里搬到这里,据说一层楼又要搬了. 我好像是他们再次搬地方前的最后一批访客.

Facebook’s architecture(转)

- JingSQ - 淘宝核心系统团队博客
Facebook’s HipHop [1] then converts it to C++ and compiles it using g++, thus providing a high performance templating and Web logic execution layer. Some of these services are implemented in PHP, C++ or Java depending on service requirements (some other languages are probably used…).