搜索结果
"tag:"大数据""
| 标题及摘要 | 日期/时间 | |
|---|---|---|
|
1
|
使用Spark-MLlib进行内容推荐
在许多的现实生活中的很多场景中，我们常常只能接触到隐性的反馈（例如游览，点击，购买，喜欢，分享等等）在 MLlib 中所用到的处理这种数据的方法来源于文献：Collaborative Filtering for Implicit Feedback Datasets。 本质上，这个方法将数据作为二元偏好值和偏好强度的一个结合，而不是对评分矩阵直接进行建模。因此，评价就不是与用户对商品的显性评分而是和所观察到的用户偏好强度关联了起来。然后，这个模型将尝试找到隐语义因子来预估一个用户对一个商品的偏好。 pac... |
2016-4-11 5:52:00 |
|
2
|
十大最热门的大数据技术
预测分析：随着现在硬件和软件解决方案的成熟，许多公司利用大数据技术来收集海量数据、训练模型、优化模型，并发布预测模型来提高业务水平或者避免风险； NoSQL数据库：非关系型数据库包括Key-value型（Redis）数据库、文档型（MonogoDB）数据库、图型（Neo4j）数据库； 搜索和知识发现：支持信息的自动抽取，可以从多数据源洞察结构化数据和非结构化数据； 流式分析：软件可以对多个高吞吐量的数据... |
2016-3-20 1:30:00 |
|
3
|
5分钟开启Esper之旅 - Binhua Liu - 博客园
在我之前发表的文章中，我提到我最近热衷于Complex Event Processing (CEP) （复杂事件处理）。简单来说，CEP把数据流作为输入，根据一系列预定义的规则，把数据（或部分数据）重定向给监听者们；又或者是当发现数据中的隐含的模式（Pattern）时，触发事件。在大量数据被产生出来并需要进行实时地分析的场景下，CEP特别有用。 有一个很不错的软件项目，可以让你做到这一点，叫做ESPER。你可以在这里找到该项目的网站。Esper向程序员提供一个称为EPL的语言，有些类似于SQL语言，它可... |
2015-12-11 19:32:00 |
|
4
|
记录Presto数据查询引擎的配置过程 - 夜丶帝 - 博客园
配置准备： 1、centos6.4系统的虚拟机4个（master、secondary、node1、node2） 2、准备安装包 hadoop-cdh4.4.0、hive-cdh4.4.0、presto、discovery-server、hbase、JDK7.0+64bit、pythin2.4+、postgresql 3、配置规划 主机：192.168.69.180 master （hadoop、hbase、discovery-server、hive、presto、postgresql） 副主... |
2015-3-2 5:06:00 |
|
5
|
HDFS Permissions & Acls - 季石磊 - 博客园
1.概述 Hadoop分布式文件系统（HDFS）对文件和文件夹的权限控制模型与POSIX文件系统的权限控制模型一样，每一个文件和文件夹都分配了所有者用户和所有者用户组。每个客户端访问HDFS的过程中，身份凭证由用户名和组列表两部分组成，Hadoop进行身份验证的时候，首先验证用户名，如果用户名验证不通过则... |
2015-2-9 19:04:00 |
|
6
|
Drill：企业级Hadoop和NoSQL的SQL查询引擎
Apache的Drill是一个开源的，用于Hadoop和NoSQL的低延迟SQL查询引擎。 现代大数据的应用，如社交，移动互联网，互联网和物联网有着大量的用户，比传统的事务应用程序更大的数据量。这些应用程序相关的数据集的发展非常迅速，往往是自我描述，可以包括复杂的类型，比如JSON,和Parquet。 Apache的Drill从底层建立了可伸缩性地提供低延迟查询对这种快速发展的多结构化数据集。 零日分析及快速应用开发 Apache的Drill可以直接查询自我描述和半结构化数据文件（如JSON,，P... |
2015-1-8 23:50:00 |
|
7
|
Hue ——一个用于Apache Hadoop大数据分析的Web界面应用
Hue是一个用于Apache Hadoop分析数据的Web界面。它支持文件和作业浏览器，Hive,Pig，Impala，Spark，Oozie的编辑器，Solr的搜索仪表板，HBase，Sqoop2，等等。 Hue官方网站：http://gethue.com 它的特点： 文件浏览器用于访问HDFS 编辑器开发和运行Hive查询 搜索应用程序查询，探索，可视化数据和仪表板使用Solr Impala应用程序执行交互式SQL查询 Spark编辑器和Dashboard ... |
2015-1-7 17:49:00 |
|
8
|
使用HBase EndPoint（coprocessor）进行计算 « 搜索技术博客－淘宝
如果要统对hbase中的数据，进行某种统计，比如统计某个字段最大值，统计满足某种条件的记录数，统计各种记录特点，并按照记录特点分类（类似于sql的group by）~ 常规的做法就是把hbase中整个表的数据scan出来，或者稍微环保一点，加一个filter，进行一些初步的过滤（对于rowcounter来说，就加了FirstKeyOnlyFilter），但是这么做来说还是会有很大的副作用，比如占用大量的网络带宽（当标级别到达千万级别，亿级别之后）尤为明显，RPC的... |
2014-12-9 1:25:00 |
|
9
|
hbase用coprocessor实现二级索引 | 邓的博客
HBase在0.92之后引入了coprocessors，提供了一系列的钩子，让我们能够轻易实现访问控制和二级索引的特性。下面简单介绍下两种coprocessors，第一种是Observers，它实际类似于触发器，第二种是Endpoint，它类似与存储过程。由于这里只用到了Observers，所以只介... |
2014-12-9 1:17:00 |
|
10
|
[HBase] Hbase Coprocessors - 芒果先生Mango的专栏 - 博客频道 - CSDN.NET
本文是笔者学习过程中的简单笔记，日后会逐渐增加内容，主要参考资料是《Hbase The Definitive Guide》。 我们可以通过Filter来减少从Server到Client在网络上传输的数据总量，以提升效率。通过HBase的Coprocessor特性,我们甚至可以将计算(computation)移动到数据所在的节点。 Introduction to Coprocessors coprocessor使你能够直接在每个region server上执行任意的代码。更精确地说，它提供一些通过事件触发的... |
2014-12-9 1:10:00 |
|
11
|
HBase Coprocessor 剖析与编程实践 - 林场 - 博客园
1.起因(Why HBase Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(0.92)Hbase中，统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能够有效用于数据表的分布式计算。然而在很多情况下，做一些简单的相加或者聚合计算的时候，如果直接将计算过程放置在server端，能够减少... |
2014-12-9 1:04:00 |
|
12
|
如何使用Hadoop的Partitioner - 三劫散仙 - ITeye技术网站
Partitioner的作用： 对map端输出的数据key作一个散列，使数据能够均匀分布在各个reduce上进行后续操作，避免产生热点区。 Hadoop默认使用的分区函数是Hash Partitioner，源码如下： Java代码 /** *LicensedtotheApacheSoftwareFoundation(ASF)underone *ormorecontributorlicenseagreements.SeetheNOTICEfile *distribu... |
2014-12-6 0:53:00 |
|
13
|
MapReduce:详解Shuffle过程 - 每天一小步 - ITeye技术网站
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里我尽最大的可能试着把Shuffle说清楚，让每一位想了解它原理的朋友都能有所收获。如果你对这篇文章有任... |
2014-12-6 0:18:00 |
|
14
|
hadoop中MapReduce多种join实现实例分析 - 蚂蚁 - 51CTO技术博客
一、概述 对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，因此对于这种join操作同样也具备了一定的特殊性。本文主要对M... |
2014-12-5 22:48:00 |
|
15
|
为你的 Hadoop 集群选择合适的硬件 - 技术翻译 - 开源中国社区
这是在一个平衡Hadoop集群中，为数据节点/任务追踪器提供的推荐规格： 在一个磁盘阵列中要有12到24个1~4TB硬盘 2个频率为2~2.5GHz的四核、六核或八核CPU 64~512GB的内存 有保障的千兆或万兆以太网（存储密度越大，需要的网络吞吐量越高） 名字节点角色负责协调集群上的数据存储，作业追踪器协调数据处理（备用的名字节点不应与集群中的名字节点共存，并且运行在与之相同的硬件环境上。）。Cloudera推荐客户购买在RAID1或10配置上有足够功率和企业级磁... |
2014-12-5 19:34:00 |
|
16
|
HBase性能调优 | Ken Wu's Blog
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。 配置优化 zookeeper.session.timeout 默认值：3分钟（180000ms） 说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新... |
2014-11-29 17:08:00 |
|
17
|
hbase 优化 - 阿里古古 - ITeye技术网站
主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会... |
2014-11-29 17:03:00 |
|
18
|
【3】Hadoop中常出现的错误以及解决方法 - 数据库 - Tech - ITeye论坛
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。 /etc/security/limits.conf vi /etc/security/limits.conf 加上： * soft nofile 102400 * hard nofile 4... |
2014-11-28 1:31:00 |