Prestodb概述及性能测试

概述内容

（1）简介

（2）Hive and Prestodb, comparison of functionality

（3）Hive and Prestodb, comparison of performance

（1）简介

Presto是由facebook开发的一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。

Presto框架图如下：

     下面的架构图中展现了简化的Presto系统架构。客户端（client）将SQL查询发送到Presto的协调员（coordinator）。协调员会进行语法检查、分析和规划查询计划。计划员（scheduler）将执行的管道组合在一起，将任务分配给那些里数据最近的节点，然后监控执行过程。客户端从输出段中将数据取出，这些数据是从更底层的处理段中依次取出的。

     Presto的运行模型和Hive或MapReduce有着本质的区别。Hive将查询翻译成多阶段的MapReduce任务，一个接着一个地运行。每一个任务从磁盘上读取输入数据并且将中间结果输出到磁盘上。然而Presto引擎没有使用MapReduce。它使用了一个定制的查询和执行引擎和响应的操作符来支持SQL的语法。除了改进的调度算法之外，所有的数据处理都是在内存中进行的。不同的处理端通过网络组成处理的流水线。这样会避免不必要的磁盘读写和额外的延迟。这种流水线式的执行模型会在同一时间运行多个数据处理段， 一旦数据可用的时候就会将数据从一个处理段传入到下一个处理段。这样的方式会大大的减少各种查询的端到端响应时间。

（2）Hive and Prestodb, comparison of functionality

        √: Yes; ×: No; Blue: The main differences between hive and presto

功能上，Presto与Hive有几个不同的地方，也可以说是Presto功能不完善，毕竟Presto推出时间不长，详见如下：

1. Presto完成没有数据写入功能，不能使用create语句建表（可通过CREATE TABLE tablename AS query），建立视图、导数据。

2. Presto不支持UDF（用户自定义函数）。

       3. Presto支持窗口函数，但比Hive相对较少。

（3）Hive and Prestodb, comparison of performance

测试环境如下：

     由于部分机器涉及应用，暂用4台机器作为prestodb的集群，prestodb所有运算都在内存，所以配置大内存有助于提高prestodb的运算速度（现配置4G）。

以下为具体的测试结果：

注：prestodb查询时间只精确到秒，后带小数忽略

参考资料

Prestodb官网： http://prestodb.io/

ZOL频道： http://jishu.zol.com.cn/78874.html