更新于:06-21 18:04

有关[系统]分类推荐

比较Apache Hadoop 生态中不同的文件格式和存储引擎的性能

于06-05 00:00 - - bigdata
这篇文章提出了在Apache Hadoop 生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:Apache Avro, Apache Parquet, Apache HBase 和 Apache Kudu 空间效率, 提取性能, 分析扫描以及随机数据查找等领域. 这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力.

大规模分布式架构下调测能力构建之道

于06-02 02:37 - longlongriver -
大规模分布式系统架构下调测能力构建之道. 最近有朋友辗转找到我,索要我今年参加QCon全球软件开发大会所用的PPT资料. 在这里我将PPT和讲稿做了整理,分享给大家. 这个分享,我首先会给大家总结一下,在分布式环境下做开发,我们都会遇到哪些调测方面的效率问题;并针对这些问题探讨在技术和管理上的应对之道;最后,通过我们所做的一个调测框架的展示来具体说明构建实践中的调测方法论.

秒针&GfK:阿里 OTT TV 价值研究报告(167页

于05-26 16:56 - DinK - 199IT推荐文章 互联网电视 研究报告 网络娱乐 Gfk
由于内容太长需PDF版可加入我们小密圈获取,199IT感谢您的支持. 2017 年 5 月 24 日,秒针系统联合 GfK,发布《阿里巴巴 OTT TV 媒体价值研究报告》. 报告分析了 OTT TV 行业现状,对商业化模式、 OTT TV 行业的营销价值进行了深入的洞察,更从实际的广告营销案例入手,对阿里 OTT TV 媒体价值进行了研究分析.

HBase最佳实践-用好你的操作

于05-25 00:00 - - bigdata
终于又切回HBase模式了,之前一段时间因为工作的原因了解接触了一段时间大数据生态的很多其他组件(诸如Parquet、Carbondata、Hive、SparkSQL、TPC-DS/TPC-H等),虽然只是走马观花,但也受益良多. 对视野、思维模式都有极其重要的作用,至少,扩展了大数据领域的对话圈.

2017年第一季度安卓安全性生态环境研究

于05-24 06:48 - 360安全卫士 - 安全报告 终端安全
此报告数据来源为70万份“360透视镜”(360手机卫士团队发布的一款专业检测手机安全漏洞的APP)用户主动上传的漏洞检测报告,检测内容包括最近两年的Android和Chrome安全公告中检出率最高的42个漏洞,涵盖了Android系统的各个层面. 检测结果显示,截止至2017年4月,70万用户中99.99%的Android手机存在安全漏洞,仅有4台手机完全修复了检测中所包含的42个漏洞.

工作职位推荐的算法与架构

于05-18 00:00 - - bigdata
作者:Preetha Appan. Indeed.com 每个月有两亿不同的访客,有每天处理数亿次请求的推荐引擎. 在这篇文章里,我们将描述我们的推荐引擎是如何演化的,如何从最初的基于Apache Mahout建立的最简化可用行产品,到一个在线离线混合的成熟产品管道. 我们将探索这些变化对产品性能指标的影响,以及我们是如何通过使用算法、架构和模型格式的增量修改来解决这些挑战的.

OpenVAS开源风险评估部署方案

于04-30 04:41 - 魅影儿 - 企业安全 工具
OpenVAS,即开放式漏洞评估系统,是一个用于评估目标漏洞的杰出框架. 功能十分强大,最重要的是,它是“开源”的——就是免费的意思啦~. 它与著名的Nessus“本是同根生”,在Nessus商业化之后仍然坚持开源,号称“当前最好用的开源漏洞扫描工具”. 最新版的Kali Linux(kali 3.0)不再自带OpenVAS了,所以我们要自己部署OpenVAS漏洞检测系统.

日处理 20 亿数据,实时用户行为服务架构实践

于04-27 00:00 - - dev
携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统)、动态广告、用户画像、浏览历史等等. 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率. 旅行是一项综合性的需求,用户往往需要不止一个产品. 作为一站式的旅游服务平台,跨业务线的推荐,特别是实时推荐,能实际满足用户的需求,因此在上游提供打通各业务线之间的用户行为数据有很大的必要性.

分布式间请求跟踪

于04-22 00:27 - coderbee - 框架/架构 分布式 请求跟踪
现在的很多应用都是由很多系统系统在支持,这些系统还会部署很多个实例,用户的一个请求可能在多个系统的部署实例之间流转. 为了跟踪一个请求的完整处理过程,我们可以给请求分配一个唯一的 ID traceID,当请求调用到另一个系统时,我们传递这个 traceID. 在输出日志时,把这个 traceID 也输出到日志里,这样,根据日志文件,提取出现这个 traceID 的日志就可以分析这个请求的完整调用过程,甚至进行性能分析.

Leaf——美团点评分布式ID生成

于04-21 18:34 - 美团点评技术团队 -
在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识. 如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中,数据日渐增长,对数据分库分表后需要有一个唯一ID来标识一条数据或消息,数据库的自增ID显然不能满足需求;特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识. 此时一个能够生成全局唯一ID的系统是非常必要的.

[原]Spark MLlib列(二):基于协同过滤的电影推荐

于02-13 16:36 - shifenglov -
随着大数据时代的到来,数据当中挖取金子的工作越来越有吸引力. 利用Spark在内存迭代运算、机器学习领域强悍性能的优势,使用spark处理数据挖掘问题就显得很有实际价值. 这篇文章给大家分享一个spark MLlib 的推荐实战例子. 我将会分享怎样用spark MLlib做一个电影评分的推荐系统.

微服务中的认证策略

于04-04 23:02 - wangkeheng -
软件安全本身就是个很复杂的问题,由于微服务系统中的每个服务都要处理安全问题,所以在微服务场景下会更复杂. David Borsos在最近的伦敦微服务大会上作了相关内容的演讲,并评估了四种面向微服务系统的身份验证方案. 在传统的单体架构中,单个服务保存所有的用户数据,可以校验用户,并在认证成功后创建HTTP会话.

Flume+Spark+Hive+Spark SQL离线分析

于07-27 03:36 - ymh198816 -
前段时间把Scala和Spark一起学习了,所以借此机会在这里做个总结,顺便和大家一起分享一下目前最火的分布式计算技术Spark. 当然Spark不光是可以做离线计算,还提供了许多功能强大的组件,比如说,Spark Streaming 组件做实时计算,和Kafka等消息系统也有很好的兼容性;Spark Sql,可以让用户通过标准SQL语句操作从不同的数据源中过来的结构化数据;还提供了种类丰富的MLlib库方便用户做机器学习等等.

基于 Kylin 的推荐效果评价

于03-04 00:00 - - tuicool
OLAP(联机分析处理)是数据仓库的主要应用之一,通过设计维度、度量,我们可以构建星型模型或雪花模型,生成数据多维立方体Cube,基于Cube可以做钻取、切片、旋转等多维分析操作. 早在十年前,SQL Server、Oracle 等数据库软件就有OLAP产品,为用户提供关系数据库、多维数据集、可视化报表的整套商业智能方案.

性能监控之 Swap Space

于09-23 00:00 - -
对线上服务器进行性能监控时, 需要关注各种性能指标, 从各个方面来对系统性能进行监控. 例如, 系统负载, cpu 占用, 内存占用, 网络带宽等. 其中 Swap Space 的使用状况也是值得关注的一项, 本文对在 Linux 环境中监控 Swap Space 的相关内容进行了总结.. 一, 首先简单的介绍一下什么是 Swap Space.

LibRec 2.0.0 正式版发布: 基于机器学习的大数据推荐

于02-13 11:23 - - 软件更新新闻
LibRec: 基于机器学习的大数据推荐系统. LibRec 是领先的推荐系统Java开源算法工具库,覆盖了70余个各类型推荐算法,有效解决评分预测和物品推荐两大关键的推荐问题. 推荐系统是机器学习和大数据技术的经典实际应用,旨在提供高效准确的个性化物品推荐,是现代Web应用的重要组件. 项目结构清晰,代码风格良好,测试充分,注释与手册完善.

企业BI应用的切入点及五大策略

于02-08 00:00 - - geek
从技术的角度来看,BI的技术正在走向成熟,处于一个发展的阶段,但它促使了BI的应用在成本方面开始逐步的降低,越来越多的企业在BI应用方面取得了成功. 从实施的角度来出发,实施商业智能系统是一项复杂的系统工程,整个项目涉及企业管理,运作管理,信息系统,数据仓库,数据挖掘,统计分析等众多门类的知识. 因此用户除了管理咨询要选择合适的商业智能软件工具外还必须按照正确的实施方法才能保证项目得以成功.

分布式中唯一 ID 的生成方法

于02-05 15:29 - 伯小乐 - IT技术 分布式
本文主要介绍在一个分布式系统中, 怎么样生成全局唯一的 ID. 在分布式系统存在多个 Shard 的场景中, 同时在各个 Shard 插入数据时, 怎么给这些数据生成全局的 unique ID?. 在单机系统中 (例如一个 MySQL 实例), unique ID 的生成是非常简单的, 直接利用 MySQL 自带的自增 ID 功能就可以实现..

基于支付场景的微服务架构的分布式事务解决方案

于02-04 12:37 - 小黄牛 -
分布式系统架构中,分布式事务问题是一个绕不过去的挑战. 而微服务架构的流行,让分布式事问题日益突出. 下面我们以电商购物支付流程中,在各大参与者系统中可能会遇到分布式事务问题的场景进行详细的分析. 如上图所示,假设三大参与平台(电商平台、支付平台、银行)的系统都做了分布式系统架构拆分,按上数中的流程步骤进行分析:.

聊聊高并发之HTTP缓存(转

于01-25 02:39 - vipagain -
原文网址:http://jinnianshilongnian.iteye.com/blog/2319573. 最近遇到很多人来咨询我关于浏览器缓存的一些问题,而这些问题都是类似的,因此总结本文来解答以后遇到类似问题的朋友. 因本文主要以浏览器缓存场景介绍,所以非浏览器场景下的一些用法本文不会介绍,而且本文以chrome为测试浏览器.

饿了么推荐:从0到1

于01-19 00:00 - - geek
本文由携程技术中心投递,ID:ctriptech. 作者:饿了么数据运营部资深算法工程师陈一村,在携程个性化推荐与人工智能Meetup上的分享. 陈一村2016年加入饿了么,现从事大数据挖掘和算法相关工作,包括推荐系统、用户画像等. 随着移动互联网的发展,用户使用习惯日趋碎片化,如何让用户在有限的访问时间里找到想要的产品,成为了搜索/推荐系统演进的重要职责.

保证分布式数据一致性的6种方案

于01-15 11:08 - windpoplar -
摘要: 在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性. 具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败. 在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性. 具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败.

消息在微服务间通讯的数据一致性

于01-15 13:47 - windpoplar -
微服务是当下的热门话题,今天来聊下微服务中的一个敏感话题:如何保证微服务的数据一致性. 谈到分布式事务,就避免不了CAP理论. CAP理论是指对于一个分布式计算系统来说,不可能同时满足以下三点: . 一致性(Consistence) (等同于所有节点访问同一份最新的数据副本). 可用性(Availability)(对数据更新具备高可用性).

美团点评业务风控构建经验

于01-13 10:40 - 美团点评技术团队 -
本文根据“第八届中国系统架构师大会”演讲内容整理而成. 美团最初以团购的形式出现,到现在有了很大的业务形态转变. 尤其是经过与大众点评的业务融合,从单一业务发展成了覆盖到店餐饮、到店综合、猫眼、外卖、酒店、旅游等多个垂直领域的综合性电商,并且在各个领域都处于行业领先的地位. 在这背后,美团点评不仅面临激烈的行业竞争,还有黑色产业(以下简称“黑产”)带来的各种风险,因为我们的业务有这样一些特点:.

谷歌以物联网操作Android Things进军物联网

于01-04 00:00 - - tuicool
谷歌给物联网设备的开发带来了Android及其生态系统. 开发人员将像之前他们为移动设备编写应用程序那样,为这些设备编写应用程序. 谷歌已经将一些Brillo的主要技术结合到了他们的移动操作系统中,也就是名为 Android Things的以物联网设备为目标的新解决方案. 尤其是,用户驱动API允许开发人员在原厂设置提供的现有功能之外,扩展对物联网设备可以做的事.

秒杀

于01-03 02:04 - dotjar -
秒杀系统架构分析与实战. (反馈非常好的文章,推荐). (1)查询商品;(2)创建订单;(3)扣减库存;(4)更新订单;(5)付款;(6)卖家发货. (1)低廉价格;(2)大幅推广;(3)瞬时售空;(4)一般是定时上架;(5)时间短、瞬时并发量高;. 假设某网站秒杀活动只推出一件商品,预计会吸引1万人参加活动,也就说最大并发请求数是10000,秒杀系统需要面对的技术挑战有:.

百度文件BFS v0.5.0 发布

于12-30 00:00 - - geek
Together with Galaxyand Tera, BFS supports many real-time products in Baidu, including Baidu webpage database, Baidu incremental indexing system, Baidu user behavior analysis system, etc..

美团团购订单优化记

于12-27 15:58 - 美团点评技术团队 -
美团团购订单系统主要作用是支撑美团的团购业务,为上亿美团用户购买、消费提供服务保障. 2015年初时,日订单量约400万~500万,同年七夕订单量达到800万. 作为线上S级服务,稳定性的提升是我们不断的追求. 尤其像七夕这类节日,高流量,高并发请求不断挑战着我们的系统. 发现系统瓶颈,并有效地解决,使其能够稳定高效运行,为业务增长提供可靠保障是我们的目标.

产品实例:某项目APP后台设计

于12-26 08:47 - 悠闲小生 - 产品设计 案例分析 经验分享
今年有幸参与了某度假屋项目从0到1的设计过程,展示给用户的是精致的APP,然而APP背后却是逻辑比较复杂的后台系统. APP的使用体验,很大程度上是由后台系统决定的,后台系统逻辑的合理性决定了APP的核心流程. 简要介绍一下此项目的业务流程如图1所示:. 业主购买度假屋并由物业管理公司托管,业主购买度假屋有三种类型:全套、分权、分时,全套即业主购买整套度假屋,分权即业主购买度假屋部分产权,分时即业主购买某季的居住权.

分布式调用链监控

于12-24 00:00 - - geek
应用架构由集中式向分布式演进后,整个调用关系变得复杂. 分布式架构由复杂且较大规模集群构成,各个应用之间相当独立,可能由不同团队、不同语言实现. 系统一个完整的调用过程可能横跨多个服务及数据中心. 复杂的调用导致系统出问题后难以定位问题. 无法准确知道整体系统性能及运行情况. 一个请求完整的调用链可能如下图,经过多个系统服务,调用关系复杂.