搜索结果
"category:/database"
| 标题及摘要 | 日期/时间 | |
|---|---|---|
|
21
|
#数据技术选型#即席查询Shib+Presto，集群任务调度HUE+Oozie - 旁观者 - 博客园
一）选型：Shib+Presto 应用场景：即席查询（Ad-hoc Query） 1.1.即席查询的目标 使用者是产品/运营/销售运营的数据分析师； 要求数据分析师掌握查询SQL查询脚本编写技巧，掌握不同业务的数据存储在不同的数据集市里； 不管他们的计算任务是提交给 数据库 还是 Hadoop，计算时间都可能会很长，不可能在线等待； 所以， 使用者提交了一个计算任务（PIG/SQL/Hive SQL），控制台告知任务已排队，给出大致的计算时间等友情提示， 这些作业的权重较低， 使用者和管理员可以查看排... |
2014-12-22 17:22:00 |
|
22
|
使用HBase EndPoint（coprocessor）进行计算 « 搜索技术博客－淘宝
如果要统对hbase中的数据，进行某种统计，比如统计某个字段最大值，统计满足某种条件的记录数，统计各种记录特点，并按照记录特点分类（类似于sql的group by）~ 常规的做法就是把hbase中整个表的数据scan出来，或者稍微环保一点，加一个filter，进行一些初步的过滤（对于rowcounter来说，就加了FirstKeyOnlyFilter），但是这么做来说还是会有很大的副作用，比如占用大量的网络带宽（当标级别到达千万级别，亿级别之后）尤为明显，RPC的... |
2014-12-9 1:25:00 |
|
23
|
hbase用coprocessor实现二级索引 | 邓的博客
HBase在0.92之后引入了coprocessors，提供了一系列的钩子，让我们能够轻易实现访问控制和二级索引的特性。下面简单介绍下两种coprocessors，第一种是Observers，它实际类似于触发器，第二种是Endpoint，它类似与存储过程。由于这里只用到了Observers，所以只介... |
2014-12-9 1:17:00 |
|
24
|
[HBase] Hbase Coprocessors - 芒果先生Mango的专栏 - 博客频道 - CSDN.NET
本文是笔者学习过程中的简单笔记，日后会逐渐增加内容，主要参考资料是《Hbase The Definitive Guide》。 我们可以通过Filter来减少从Server到Client在网络上传输的数据总量，以提升效率。通过HBase的Coprocessor特性,我们甚至可以将计算(computation)移动到数据所在的节点。 Introduction to Coprocessors coprocessor使你能够直接在每个region server上执行任意的代码。更精确地说，它提供一些通过事件触发的... |
2014-12-9 1:10:00 |
|
25
|
HBase Coprocessor 剖析与编程实践 - 林场 - 博客园
1.起因(Why HBase Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(0.92)Hbase中，统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能够有效用于数据表的分布式计算。然而在很多情况下，做一些简单的相加或者聚合计算的时候，如果直接将计算过程放置在server端，能够减少... |
2014-12-9 1:04:00 |
|
26
|
如何使用Hadoop的Partitioner - 三劫散仙 - ITeye技术网站
Partitioner的作用： 对map端输出的数据key作一个散列，使数据能够均匀分布在各个reduce上进行后续操作，避免产生热点区。 Hadoop默认使用的分区函数是Hash Partitioner，源码如下： Java代码 /** *LicensedtotheApacheSoftwareFoundation(ASF)underone *ormorecontributorlicenseagreements.SeetheNOTICEfile *distribu... |
2014-12-6 0:53:00 |
|
27
|
MapReduce:详解Shuffle过程 - 每天一小步 - ITeye技术网站
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里我尽最大的可能试着把Shuffle说清楚，让每一位想了解它原理的朋友都能有所收获。如果你对这篇文章有任... |
2014-12-6 0:18:00 |
|
28
|
hadoop中MapReduce多种join实现实例分析 - 蚂蚁 - 51CTO技术博客
一、概述 对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，因此对于这种join操作同样也具备了一定的特殊性。本文主要对M... |
2014-12-5 22:48:00 |
|
29
|
为你的 Hadoop 集群选择合适的硬件 - 技术翻译 - 开源中国社区
这是在一个平衡Hadoop集群中，为数据节点/任务追踪器提供的推荐规格： 在一个磁盘阵列中要有12到24个1~4TB硬盘 2个频率为2~2.5GHz的四核、六核或八核CPU 64~512GB的内存 有保障的千兆或万兆以太网（存储密度越大，需要的网络吞吐量越高） 名字节点角色负责协调集群上的数据存储，作业追踪器协调数据处理（备用的名字节点不应与集群中的名字节点共存，并且运行在与之相同的硬件环境上。）。Cloudera推荐客户购买在RAID1或10配置上有足够功率和企业级磁... |
2014-12-5 19:34:00 |
|
30
|
HBase性能调优 | Ken Wu's Blog
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。 配置优化 zookeeper.session.timeout 默认值：3分钟（180000ms） 说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新... |
2014-11-29 17:08:00 |
|
31
|
hbase 优化 - 阿里古古 - ITeye技术网站
主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会... |
2014-11-29 17:03:00 |
|
32
|
【3】Hadoop中常出现的错误以及解决方法 - 数据库 - Tech - ITeye论坛
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。 /etc/security/limits.conf vi /etc/security/limits.conf 加上： * soft nofile 102400 * hard nofile 4... |
2014-11-28 1:31:00 |
|
33
|
ODBC、OLE DB、ADO 数据访问 - 维基百科，自由的百科全书
ODBC ODBC (Open Database Connectivity) 是由 SQL Access Group，X/Open (目前为 The Open Group 的一部份) 以及 ISO/EIC 所提出的Call Level Interface (CLI)(调用层次接口) 接口规格[1]，由微软开发出第一份 ODBC 的实作，每一个数据库都可以实作出链接自家数据源的 ODBC 驱动程序 (Driver)，而应用程序开发人员能够利用 ODBC 所开放的 API 调用，经由 ODBC Driver ... |
2014-11-21 19:52:00 |
|
34
|
构建高可用的缓存集群的开源解决方案
很多应用都通过使用缓存来避免所有的请求都查询数据库，以加快系统的响应速度，Memcached是常用的缓存服务器（现在比较流行的还有Redis），它一个高性能的分布式内存对象缓存系统，旨在通过缓存数据库查询结果，减少数据库的访问次数。但是在运行多个Memcached服务器时，往往还需要考虑其它的问题，比如缓存一致性、缓存失效等，缓存一致性是指要保证多个Memcached服务器中数据的一致，缓存失效的后果相对来说比较严重，当在大并发访问的场景下，如果Memcached缓存失效，所有请求会在同一瞬间并发访问数据... |
2014-10-29 0:20:00 |
|
35
|
MySQL性能优化的最佳经验，随时补充 - 简书
1、为查询优化你的查询 大多数的MySQL服务器都开启了查询缓存。这是提高性最有效的方法之一，而且这是被MySQL的数据库引擎处理的。当有很多相同的查询被执行了多次的时候，这些查询结果会被放到一个缓存中，这样，后续的相同的查询就不用操作表而直接访问缓存结果了。 这里最主要的问题是，对于程序员来说，这个事情是很容易被忽略的。因为，我们某些查询语句会让MySQL不使用缓存。请看下面的示例： // 查询缓存不开启 $r = mysql_query("SELECT username FROM user ... |
2014-10-16 20:37:00 |
|
36
|
简单介绍Oracle驱动表 - 51CTO.COM
CBO根据统计信息选择Oracle驱动表，假如没有统计信息，则在from 子句中从左到右的顺序选择Oracle驱动表。这与RBO选择的顺序正好相反。这是英文原文(CBO determines join order from costs derived from gathered statistics. If there are no stats then CBO chooses the driving order of tables from LEFT to RIGHT in the FROM claus... |
2014-9-12 4:32:00 |
|
37
|
Oracle 配置查询优化器 - liwenshui322的专栏 - 博客频道 - CSDN.NET
查询优化器参数 1. optimizer_mode 查询优化器是为了找一个最高效的执行计划，这个参数用来定义什么是“高效”，比如是更快还是占用资源更少。在oracle10g中只支持两个参数值： all_rows：提供全部数据 first_rows(n)：n为大于0的自然数，表示尽快传输前面n条数据（比如分页查询的时候，我第一次只查询前面10条数据） oracle10g默认为all_rows，可以再数据库级别，会话级别，或者执行SQL的时候修改该... |
2014-9-12 4:30:00 |
|
38
|
kettle中通过 时间戳（timestamp）方式 来实现数据库的增量同步操作（一） - Armin - 博客园
这个实验主要思想是在创建数据库表的时候， 通过增加一个额外的字段，也就是时间戳字段， 例如在同步表 tt1 和表 tt2 的时候， 通过检查那个表是最新更新的，那个表就作为新表，而另外的表最为旧表被新表中的数据进行更新。 实验数据如下： mysql database 5.1 test.tt1( id int primary key , name varchar(50) ); mysql.tt2( id int primary key, name varchar(50) ); 快照表，可以将其存放在tes... |
2014-8-25 19:34:00 |
|
39
|
开源ETL工具kettle系列之增量更新设计技巧 - 技术门户 | ITPUB |
ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup 步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的是Kettle的实现方式，但也许对其他工具也有一些帮助。本文不可能涵盖所有的情况，欢迎大家讨论。 应用场景 增量更新按照数据种类的不同大概可以分成： 1.只增加，不更新， 2.只更新，不增加 3.即增加也更新 4.有删除，有增加，有更新 其中1 ，2， 3种大概都是... |
2014-8-25 19:33:00 |
|
40
|
切片和切块 钻取 旋转 - honkcal - 博客园
1 切片和切块(Slice and Dice) 在多维数据结构中，按二维进行切片，按三维进行切块，可得到所需要的数据。如在“贷 款银行、贷款质量、时间”三维立方体中进行切块和切片，可得到各贷款银行、各种贷款的 统计情况。每次都是沿其中一维进行分割称为分片，每次沿多维进行的分片称为分块。 2、钻取(Drill) 钻取包含向下钻取(Drill-down)和向上钻取(Drill-up)/上卷(Roll-up)操作， 钻取的深 度与维所划分的层次相对应。 3 旋转(Rotate)/转... |
2014-7-19 1:17:00 |