facebook presto安装与配置 CDH4.4

标签: facebook presto cdh4 | 发表时间:2013-11-20 20:06 | 作者:luyee2010
出处:http://blog.csdn.net

presto

   http://www.dw4e.com/?p=141
http://blog.csdn.net/u012417026/article/details/14516631

conf

   hadoop@yard02:~/bigdata/presto-server-0.52/$ tar zxvf presto-server-0.52.tar.gz

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cd presto-server-0.52/

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch node.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat node.properties 
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/home/hadoop/bigdata/presto-server-0.52/data

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch jvm.config

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat jvm.config 
-server
-Xmx16G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:PermSize=150M
-XX:MaxPermSize=150M
-XX:ReservedCodeCacheSize=150M

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch config.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat config.properties 
coordinator=true
datasources=jmx,hive
http-server.http.port=8080
presto-metastore.db.type=h2
presto-metastore.db.filename=/home/hadoop/bigdata/presto-server-0.52/data/db/MetaStore
task.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://yard02:8080

hadoop@yard02:~/bigdata/presto-server-0.52/etc$ touch log.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat log.properties 
com.facebook.presto=DEBUG

hadoop@yard02:~/bigdata/presto-server-0.52/etc/catalog$ touch jmx.properties

   hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat catalog/jmx.properties 
connector.name=jmx

hadoop@yard02:~/bigdata/presto-server-0.52/etc/catalog$ touch hive.properties

            ###hadoop@yard02:~/bigdata/presto-server-0.52/etc$ cat catalog/hive.properties 
connector.name=hive-cdh4
hive.metastore.uri=thrift://yard02:9083

presto 客户端

下载:  http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-server/0.52/presto-server-0.52.tar.gz

重命名:mv presto-cli-0.52-executable.jar presto

TEST 试试手感

启动:

   hadoop@yard02:~/bigdata/presto-server-0.52/bin$ ./launcher start

需要先启动hiveserver

   ./hive --service hiveserver -p 9083

客户端链接:

   hadoop@yard02:~/bigdata/presto-server-0.52/bin$ ./presto --server localhost:8080 --catalog hive --schema default
presto:default> list
             -> ;
Query 20131120_114948_00002_3frqf failed: line 1:1: no viable alternative at input 'list'
list

presto:default> show tables;
 Table  
--------
 mytest 
(1 row)

Query 20131120_114955_00003_3frqf, FINISHED, 1 node
Splits: 2 total, 2 done (100.00%)
0:00 [1 rows, 23B] [2 rows/s, 68B/s]

presto:default>

参考链接:

http://prestodb.io/docs/current/installation/deployment.html


作者:luyee2010 发表于2013-11-20 20:06:48 原文链接
阅读:106 评论:0 查看评论

相关 [facebook presto cdh4] 推荐:

facebook presto安装与配置 CDH4.4

- - CSDN博客云计算推荐文章
下载:  http://search.maven.org/remotecontent?filepath=com/facebook/presto/presto-server/0.52/presto-server-0.52.tar.gz. 重命名:mv presto-cli-0.52-executable.jar presto.

Presto 来自Facebook的开源分布式查询引擎

- - 标点符
PrestoDB 来自Facebook的开源分布式查询引擎. Presto是一个分布式SQL查询引擎, 它被设计为用来专门进行高速、实时的数据分析. 它支持标准的ANSI SQL,包括复杂查询、聚合(aggregation)、连接(join)和窗口函数(window functions). 下图中展现了简化的Presto系统架构.

安装和部署Presto

- - JavaChen's Blog
操作系统:CentOs6.5. Hadoop 集群:CDH5.3. JDK 版本:jdk1.8.0_31. 为了测试简单,我是将 Presto 的 coordinator 和 worker 都部署在 cdh1 节点上,并且该节点上部署了 hive-metastore 服务. 下面的安装和部署过程参考自 http://prestodb.io/docs/current/installation.html.

Presto实现原理和美团的使用实践

- - 美团技术团队
Facebook的数据仓库存储在少量大型Hadoop/HDFS集群. Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具. 在以前,Facebook的科学家和分析师一直依靠Hive来做数据分析. 但Hive使用MapReduce作为底层计算框架,是专为批处理设计的. 但随着数据越来越多,使用Hive进行一个简单的数据查询可能要花费几分到几小时,显然不能满足交互式查询的需求.

#数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie

- - ITeye博客
郑昀 创建于2014/10/30 最后更新于2014/10/31. 一)选型:Shib+Presto. 应用场景:即席查询(Ad-hoc Query). 使用者是产品/运营/销售运营的数据分析师;. 要求数据分析师掌握查询SQL查询脚本编写技巧,掌握不同业务的数据存储在不同的数据集市里;. 不管他们的计算任务是提交给 数据库 还是 Hadoop,计算时间都可能会很长,不可能在线等待;.

中国的Facebook?

- Lorna - It Talks--上海魏武挥的博客
腾讯近日很低调地推出了一个名为“朋友”的网络服务(也是一个使用独立域名的网站),这是一个与时下社交网站,比如人人、开心等非常类似的产品. 与它们一样,目前这个“朋友”上也加载了一些应用,当然,一贯的,以腾讯自家出品为主. 而且,我个人以为,未来会有更多的腾讯在QQ这个客户端上的应用,逐步向这个网站迁移.

Facebook初探

- 亦农 - 王建硕
今天的湾区阳光灿烂,280州际公路两边的绿色山坡和蔚蓝的白云,让人觉得自己是Windows XP桌面上的一个图标. 下午,2点,终于来到Facebook这个神奇的公司. 他们的新家在南加利福尼亚街的最里面,一幢两层的楼里. 他们刚刚从车位紧张的Palo Alto城里搬到这里,据说一层楼又要搬了. 我好像是他们再次搬地方前的最后一批访客.

Facebook败给Foursquare

- We_Get - GeekPark 捕风捉影
除了我们熟知的QQ,互联网世界里以自身强大资源来复制小公司的产品和服务的事,绝不少见. 去年8月份,Facebook推出了Facebook Places,这是一个类似Foursquare的基于地理位置的手机在线签到功能. Foursquare当时是社交网站新贵,几个月以后它成了代表着全球互联网方向中的SoLoMo中的Lo—Location.

Facebook的标语

- - 阮一峰的网络日志
Facebook即将 上市,一时之间成为全球新闻热点. 为了不错过商机,有人将Facebook内部的标语做成 海报,每张20美元,放到网上卖. 据说,从扎克伯格创业初期,这些标语就贴在Facebook的办公室,作为行动准则,激励员工. 虽然这些标语很简单,但是我发现,它们真的具有警醒的效果,能指导你做出正确的事.

读facebook效应

- - 搜索引擎技术博客
     我的一位室友说:“嘿,我来帮你”. 我回答他:“兄弟,你不会编程”,然后他周末回家买了一个perl编程入门的书,告诉我‘我现在准备好了’. 我就说;“兄弟,网站不是用perl语言编写的”.      我们并不想让用户在网站停留尽可能长的时间,我们所做的是让人们可以在网站用户好的体验,使他们在上面所花的时间有价值.