更新于:10-11 15:31

有关[优化]分类推荐

ElasticSearch 亿级数据检索深度优化

于12-02 00:00 - - dev
数据平台已迭代三个版本,从头开始遇到很多常见的难题,终于有片段时间整理一些已完善的文档,在此分享以供所需朋友的实现参考,少走些弯路,在此篇幅中偏重于ES的优化,关于HBase,Hadoop的设计优化估计有很多文章可以参考,不再赘述. 在一业务系统中,部分表每天的数据量过亿,已按天分表,但业务上受限于按天查询,并且DB中只能保留3个月的数据(硬件高配),分库代价较高.

总结4个方面优化Vue项目

于10-27 00:00 - - jianshu
1、使用v-if代替v-show. 两者的区别是:v-if不渲染DOM,v-show会预渲染DOM. 除以下情况使用v-show,其他情况尽量使用v-if. 2、v-for必须加上key,并避免同时使用v-if. 一般我们在两种常见的情况下会倾向于这样做:. 为了过滤一个列表中的项目. 比如 v-for="user in users" v-if="user.isActive".

如何优化大规模推荐?下一代算法技术JTM来了

于10-15 18:36 - 阿里技术 -
阿里妹导读:搜索,推荐和广告是互联网内容提供商进行价值创造的核心业务,在阿里巴巴的电子商务交易平台上,搜索,推荐和广告业务同样具有举足轻重的意义和价值. 现在,阿里推荐技术又双叒优化了,新的推荐技术,新的体验,一起来看. 搜索、推荐和广告看似业务形态不同,其实技术组成却是非常相通的. 从推荐的视角看,搜索可以认为是一种带query相关性约束的推荐,而广告则是叠加了广告主营销意愿(价格)约束的推荐,所以推荐技术的创新对推动搜索、推荐和广告业务技术的整体发展具有基础性的作用.

htmlunit爬虫优化方案

于10-10 08:25 - lyongq04 -
发现很多人搞爬虫会把python作为首选技术,理由是简单;但是本人最熟悉的还是java,所以对java内存浏览器技术htmlunit做了一次研究,发现原生的htmlunit的性能及对多线程的支持不是那么友好,特别是使用代理ip后,oom是很正常的,监控程序并查看源码总结问题原因:. 1、js执行器执行js是使用多线程执行,在关闭js执行线程的时候,使用com.gargoylesoftware.htmlunit.javascript.background.DefaultJavaScriptExecutor这个类的时候,有段代码.

HIVE 优化浅谈

于09-06 00:00 - - dev
作者:邓力,entobit技术总监,八年大数据从业经历,由一代HADOOP入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解. 随着商务/运营同学执行的HQL越来越多,整体HIVE执行效率变低,本文从HIVE切入,分析HQL面临的问题和待优化部分,结合其他大数据框架来解决实际问题.

百度APP-Android H5首屏优化实践

于08-17 14:10 - 百度App技术 - android java html
百度App自2016年上半年尝试Feed流业务形态,至2017年下半年,历经10个版本的迭代,基本完成了产品形态的初步探索. 在整个Feed流形态的闭环中,新闻详情页(文中称为落地页)作为重要的组成部分,如果打开页面后,loading时间过长,会严重影响用户体验. 因此我们针对落地页这种H5的首屏展现速度进行了长期优化,本文会详细阐述整个优化思路和技术细节.

基于 Nginx 的 HTTPS 性能优化实践

于07-09 08:00 - -
分享一个HTTPS优化案例(文章稍长. 随着相关浏览器对HTTP协议的“不安全”、红色页面警告等严格措施的出台,以及向 iOS 应用的 ATS 要求和微信、支付宝小程序强制 HTTPS 需求,以及在合规方面如等级保护对传输安全性的要求都在推动 HTTPS 的发展. 虽然 HTTPS 优化了网站访问体验(防劫持)以及让传输更加安全,但是很多网站主赶鸭子上架式的使用了 HTTPS 后往往都会遇到诸如:页面加载速度变慢、服务器负载过高以及证书过期不及时更新等问题.

Apache Kylin 性能优化

于06-26 11:47 - hailong0707 -
聚合组 Aggregation Groups. Cube Designer 的 Advanced Setting 中可以配置 Aggregation Groups. 理论上 N 维度 Cube 会构建 2^N 个 Cuboid,随着维度的增多,Cuboid 数量会指数增长,存储空间占用增大,构建时间增长.

Android开发优化的几点建议

于06-18 21:46 - xiangzhihong - android
安卓开发大军浩浩荡荡,经过近十年的发展,Android技术优化日异月新,如今Android 9.0 已经发布,Android系统性能也已经非常流畅,可以在体验上完全媲美iOS. 但是,到了各大厂商手里,改源码、自定义系统,使得Android原生系统变得鱼龙混杂,然后到了不同层次的开发工程师手里,因为技术水平的参差不齐,即使很多手机在跑分软件性能非常高,打开应用依然存在卡顿现象.

Spark Streaming 的优化之路—从 Receiver 到 Direct 模式

于06-14 16:26 - jack -
作者:个推数据研发工程师 学长. 随着大数据的快速发展,业务场景越来越复杂,离线式的批处理框架MapReduce已经不能满足业务,大量的场景需要实时的数据处理结果来进行分析、决策. Spark Streaming是一种分布式的大数据实时计算框架,他提供了动态的,高吞吐量的,可容错的流式数据处理,不仅可以实现用户行为分析,还能在金融、舆情分析、网络监控等方面发挥作用.

前端性能优化不完全手册

于04-11 00:06 - Jerry谭金杰 - javascript node.js typescript css html5
性能优化是一门大学问,本文仅对个人一些积累知识的阐述,欢迎下面补充. 抛出一个问题,从输入 url地址栏到所有内容显示到界面上做了哪些事. DNS 服务器请求解析该 URL 中的域名所对应的. 2.建立 TCP连接(三次握手);. 3.浏览器发出读取文件( URL 中域名后面部分对应的文件)的 HTTP 请求,该请求报文作为.

Impala 在 Hulu 中的优化和改进

于03-31 00:00 - - dev
点击hadoop123 关注我哟. 知名的大数据中台技术分享基地,涉及大数据架构(hadoop/spark/flink等),数据平台(数据交换、数据服务、数据治理等)和数据产品(BI、AB测试平台)等,也会分享最新技术进展,大数据相关职位和求职信息,大数据技术交流聚会、讲座以及会议等. Impala是一个SQL on Hadoop的MPP查询引擎,由Cloudera主导开发并捐献给Apache软件基金会,在2017年底正式孵化成为Apache顶级项目.

做好用户留存,实现产品优化、迭代

于02-26 18:53 - DataHunter - 用户研究 2年 初级 用户留存
对于一个新产品而言,短时期内的大幅度获客可能不是一件难事. 但是,就长期而言,想要将这一大批的用户牢牢地锁在自己的领地里,却是一件难事. 用户留存率无疑是判定一个产品发展价值大小的重要标尺,那么如何更好地实现用户留存,再以用户使用数据反哺于产品的优化、迭代更新呢. 1月15日,多闪、马桶MT和聊天宝同时亮相,引发了“ 围剿微信”的热议,但个推大数据发布的一份数据报告显示:一个半月过去了,这三款应用的成绩都有些不理想.

YY视频直播体验优化实践

于02-16 09:49 - -
YY音视频算法中心负责人林绪虹在LiveVideoStackCon 2018音视频技术大会的演讲中介绍了YY如何实现全平台差异化直播能力,以及视频画质、流畅度、音视频同步、弱网条件下开播,连麦质量等直播体验核心技术指标的优化策略. LiveVideoStack对演讲内容进行了整理. 整理 / LiveVideoStack.

HBase写吞吐场景资源消耗量化分析及优化

于01-16 17:18 - 有赞技术 - 安全 人工智能
HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统. 网上关于 HBase 的文章很多,官方文档介绍的也比较详细,本篇文章不介绍HBase基本的细节. 本文从 HBase 写链路开始分析,然后针对少量随机读和海量随机写入场景入手,全方面量化分析各种资源的开销, 从而做到以下两点:.

基于CPU的深度学习推理部署优化实践

于12-24 18:31 - 爱奇艺技术产品团队 -
随着人工智能技术在爱奇艺视频业务线的广泛应用,深度学习算法在云端的部署对计算资源,尤其是 GPU 资源的需求也在飞速增长. 如何提高深度学习应用部署效率,降低云平台运行成本,帮助算法及业务团队快速落地应用和服务,让 AI 发挥真正的生产力,是深度学习云平台团队努力的目标. 从基础架构的角度,GPU资源的紧缺和GPU 利用率的不足是我们面临的主要挑战.

Facebook 发布无梯度优化开源工具 Nevergrad

于12-23 10:07 - - 综合新闻
大多数机器学习任务——从自然语言处理、图像分类到翻译以及大量其他任务,都依赖于无梯度优化来调整模型中的参数和/或超参数. 为了使得参数/超参数的调整更快、更简单,Facebook 创建了一个名叫 Nevergrad( https://github.com/facebookresearch/nevergrad) 的 Python 3 库,并将它开源发布.

MySQL开发之分页优化

于12-20 22:27 - loris_jand -
一般刚开始学MySQL的时候,针对小数据量可以这样写. 但在数据量达到百万级的时候,上面这种写法会很慢,常见的优化方法是这样:. 速度提升到0.x秒了,看样子还行了可是,还不是完美的. 如果能够利用BETWEEN 子句,以下才是完美的,速度可以提升5倍. 对于大型系统,要慎用那种连sql语句都看不到的框架.

一次生产 CPU 100% 排查优化实践

于12-17 00:50 - - 问题排查 Java 进阶 Java Thread concurrent
到了年底果然都不太平,最近又收到了运维报警:表示有些服务器负载非常高,让我们定位问题. 还真是想什么来什么,前些天还故意把某些服务器的负载提高( 没错,老板让我写个 BUG. ),不过还好是不同的环境互相没有影响. 拿到问题后首先去服务器上看了看,发现运行的只有我们的 Java 应用. 于是先用 ps 命令拿到了应用的 PID.

你不知道的Node.js性能优化,读了之后水平直线上升

于12-07 17:50 - 腾讯云加社区 - 前端 程序员 javascript node.js
本文由云+社区发表 “当我第一次知道要这篇文章的时候,其实我是拒绝的,因为我觉得,你不能叫我写马上就写,我要有干货才行,写一些老生常谈的然后加上好多特技,那个 Node.js 性能啊好像 Duang~ 的一下就上去了,那读者一定会骂我,Node.js 根本没有这样搞性能优化的,都是假的. ” ------ 斯塔克·成龙·王.

系统性能优化系列

于09-16 00:00 - - tuicool
之前组内一位大佬分享了一些关于系统性能优化方面的干货,这里我将它整理成文并且加入自己平时常用的一些工具和技巧. 由于关于系统性能优化涉及的内容非常多,我会分几篇文章来分享. 这次分享下 定位系统层面问题的常用方法. Throughout 吞吐量 (系统每秒钟可以处理的请求数). Latency 延迟 (系统处理一个请求的延迟).

Java性能优化的50个细节(珍藏版)

于09-13 00:00 - - tuicool
在JAVA程序中,性能问题的大部分原因并不在于JAVA语言,而是程序本身. 养成良好的编码习惯非常重要,能够显著地提升程序性能. 使用单例可以减轻加载的负担,缩短加载的时间,提高加载的效率,但并不是所有地方都适用于单例,简单来说,单例主要适用于以下三个方面:. 第一,控制资源的使用,通过线程同步来控制资源的并发访问;.

ES优化总结

于09-13 14:33 - java-007 -
最近一直在研究ES集群,也看了很多篇前辈们总结的博客,同事借鉴了官方给出的一些建议,做了一下几点总结,希望对后来者有用:. 为了防止ES进程的内存被置换到磁盘上(会导致在检索的时候发生内存交换导致检索速度迟缓)引起性能急速下降. 候可以把config/elasticsearch.yml中的bootstrap.mlockall设置为true就可以了.

ES性能优化总结

于09-02 20:31 - maxrocray -
    Elasticsearch是目前大数据领域最热门的技术栈之一,经过近8年的发展,已从0.0.X版升级至6.X版本,虽然增加了很多的特性和功能,但是在主体架构上,还是没有太多的变化. 下面就把我对于ES使用实践的一些经验总结一下,供大家参考;也请大家拍砖. 如果有条件,尽可能使用SSD硬盘, 不错的CPU.

【实践】Spark 协同过滤ALS之Item2Item相似度计算优化 - CSDN博客

于08-03 15:29 - -
CF召回优化,自之前第一版自己实现的基于item的协同过滤算法. http://blog.csdn.net/dengxing1234/article/details/76122465,考虑到用户隐型评分的. 稀疏性问题,所以尝试用Spark ml包(非mllib)中的ALS算法的中间产物item的隐性向量,进行进一步item到item的余弦相似度计算.

30个MySQL千万级大数据SQL查询优化技巧详解

于07-31 00:00 - - tuicool
本文总结了30个mysql千万级大数据SQL查询优化技巧,特别适合大. 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t where num=0.

Redis 高负载下的中断优化

于03-17 03:30 - 美团点评技术团队 -
2017年年初以来,随着Redis产品的用户量越来越大,接入服务越来越多,再加上美团点评Memcache和Redis两套缓存融合,Redis服务端的总体请求量从年初最开始日访问量百亿次级别上涨到高峰时段的万亿次级别,给运维和架构团队都带来了极大的挑战. 原本稳定的环境也因为请求量的上涨带来了很多不稳定的因素,其中一直困扰我们的就是网卡丢包问题.

Nginx 战斗准备 —— 优化指南 - 技术翻译 - 开源中国社区

于06-12 13:21 - -
大多数的Nginx安装指南告诉你如下基础知识——通过apt-get安装,修改这里或那里的几行配置,好了,你已经有了一个Web服务器了. 而且,在大多数情况下,一个常规安装的nginx对你的网站来说已经能很好地工作了. 然而,如果你真的想挤压出nginx的性能,你必须更深入一些. 在本指南中,我将解释Nginx的那些设置可以微调,以优化处理大量客户端时的性能.

Hive性能优化小结

于05-07 22:25 - -
在工作中使用hive比较多,也写了很多HiveQL,对于那些执行比较慢的语句,看着那些执行慢的任务显示的进度真的是欲哭无泪. 是真的数据量比较大,计算比较复杂,还是还没将相关参数设置最优呢. 这里对Hive常用的一些性能优化进行了总结. Hive在读数据的时候,可以只读取查询中所需要用到的列,而忽略其他的列.

阿里妈妈基于 TensorFlow 做了哪些深度优化?TensorFlowRS 架构解析

于04-27 14:51 - 机器之心 -
深度学习比传统的逻辑回归有着更强的模型刻画能力,同时也带来了计算力百倍提升的需求. 相比图像、语音、视频等领域,搜索、广告、推荐等场景有着独特的场景特点: 样本规模和特征空间通常非常巨大,千亿样本、百亿特征并不罕见,同时存在大量的稀疏特征作为 Embedding 输入. 这就要求我们针对此场景下的计算特点对深度学习框架进行设计和优化.