更新于:02-09 01:03

有关[优化]分类推荐

YY视频直播体验优化实践

于02-16 09:49 - -
YY音视频算法中心负责人林绪虹在LiveVideoStackCon 2018音视频技术大会的演讲中介绍了YY如何实现全平台差异化直播能力,以及视频画质、流畅度、音视频同步、弱网条件下开播,连麦质量等直播体验核心技术指标的优化策略. LiveVideoStack对演讲内容进行了整理. 整理 / LiveVideoStack.

HBase写吞吐场景资源消耗量化分析及优化

于01-16 17:18 - 有赞技术 - 安全 人工智能
HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统. 网上关于 HBase 的文章很多,官方文档介绍的也比较详细,本篇文章不介绍HBase基本的细节. 本文从 HBase 写链路开始分析,然后针对少量随机读和海量随机写入场景入手,全方面量化分析各种资源的开销, 从而做到以下两点:.

基于CPU的深度学习推理部署优化实践

于12-24 18:31 - 爱奇艺技术产品团队 -
随着人工智能技术在爱奇艺视频业务线的广泛应用,深度学习算法在云端的部署对计算资源,尤其是 GPU 资源的需求也在飞速增长. 如何提高深度学习应用部署效率,降低云平台运行成本,帮助算法及业务团队快速落地应用和服务,让 AI 发挥真正的生产力,是深度学习云平台团队努力的目标. 从基础架构的角度,GPU资源的紧缺和GPU 利用率的不足是我们面临的主要挑战.

Facebook 发布无梯度优化开源工具 Nevergrad

于12-23 10:07 - - 综合新闻
大多数机器学习任务——从自然语言处理、图像分类到翻译以及大量其他任务,都依赖于无梯度优化来调整模型中的参数和/或超参数. 为了使得参数/超参数的调整更快、更简单,Facebook 创建了一个名叫 Nevergrad( https://github.com/facebookresearch/nevergrad) 的 Python 3 库,并将它开源发布.

MySQL开发之分页优化

于12-20 22:27 - loris_jand -
一般刚开始学MySQL的时候,针对小数据量可以这样写. 但在数据量达到百万级的时候,上面这种写法会很慢,常见的优化方法是这样:. 速度提升到0.x秒了,看样子还行了可是,还不是完美的. 如果能够利用BETWEEN 子句,以下才是完美的,速度可以提升5倍. 对于大型系统,要慎用那种连sql语句都看不到的框架.

一次生产 CPU 100% 排查优化实践

于12-17 00:50 - - 问题排查 Java 进阶 Java Thread concurrent
到了年底果然都不太平,最近又收到了运维报警:表示有些服务器负载非常高,让我们定位问题. 还真是想什么来什么,前些天还故意把某些服务器的负载提高( 没错,老板让我写个 BUG. ),不过还好是不同的环境互相没有影响. 拿到问题后首先去服务器上看了看,发现运行的只有我们的 Java 应用. 于是先用 ps 命令拿到了应用的 PID.

你不知道的Node.js性能优化,读了之后水平直线上升

于12-07 17:50 - 腾讯云加社区 - 前端 程序员 javascript node.js
本文由云+社区发表 “当我第一次知道要这篇文章的时候,其实我是拒绝的,因为我觉得,你不能叫我写马上就写,我要有干货才行,写一些老生常谈的然后加上好多特技,那个 Node.js 性能啊好像 Duang~ 的一下就上去了,那读者一定会骂我,Node.js 根本没有这样搞性能优化的,都是假的. ” ------ 斯塔克·成龙·王.

系统性能优化系列

于09-16 00:00 - - tuicool
之前组内一位大佬分享了一些关于系统性能优化方面的干货,这里我将它整理成文并且加入自己平时常用的一些工具和技巧. 由于关于系统性能优化涉及的内容非常多,我会分几篇文章来分享. 这次分享下 定位系统层面问题的常用方法. Throughout 吞吐量 (系统每秒钟可以处理的请求数). Latency 延迟 (系统处理一个请求的延迟).

Java性能优化的50个细节(珍藏版)

于09-13 00:00 - - tuicool
在JAVA程序中,性能问题的大部分原因并不在于JAVA语言,而是程序本身. 养成良好的编码习惯非常重要,能够显著地提升程序性能. 使用单例可以减轻加载的负担,缩短加载的时间,提高加载的效率,但并不是所有地方都适用于单例,简单来说,单例主要适用于以下三个方面:. 第一,控制资源的使用,通过线程同步来控制资源的并发访问;.

ES优化总结

于09-13 14:33 - java-007 -
最近一直在研究ES集群,也看了很多篇前辈们总结的博客,同事借鉴了官方给出的一些建议,做了一下几点总结,希望对后来者有用:. 为了防止ES进程的内存被置换到磁盘上(会导致在检索的时候发生内存交换导致检索速度迟缓)引起性能急速下降. 候可以把config/elasticsearch.yml中的bootstrap.mlockall设置为true就可以了.

ES性能优化总结

于09-02 20:31 - maxrocray -
    Elasticsearch是目前大数据领域最热门的技术栈之一,经过近8年的发展,已从0.0.X版升级至6.X版本,虽然增加了很多的特性和功能,但是在主体架构上,还是没有太多的变化. 下面就把我对于ES使用实践的一些经验总结一下,供大家参考;也请大家拍砖. 如果有条件,尽可能使用SSD硬盘, 不错的CPU.

【实践】Spark 协同过滤ALS之Item2Item相似度计算优化 - CSDN博客

于08-03 15:29 - -
CF召回优化,自之前第一版自己实现的基于item的协同过滤算法. http://blog.csdn.net/dengxing1234/article/details/76122465,考虑到用户隐型评分的. 稀疏性问题,所以尝试用Spark ml包(非mllib)中的ALS算法的中间产物item的隐性向量,进行进一步item到item的余弦相似度计算.

30个MySQL千万级大数据SQL查询优化技巧详解

于07-31 00:00 - - tuicool
本文总结了30个mysql千万级大数据SQL查询优化技巧,特别适合大. 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引. 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t where num=0.

Redis 高负载下的中断优化

于03-17 03:30 - 美团点评技术团队 -
2017年年初以来,随着Redis产品的用户量越来越大,接入服务越来越多,再加上美团点评Memcache和Redis两套缓存融合,Redis服务端的总体请求量从年初最开始日访问量百亿次级别上涨到高峰时段的万亿次级别,给运维和架构团队都带来了极大的挑战. 原本稳定的环境也因为请求量的上涨带来了很多不稳定的因素,其中一直困扰我们的就是网卡丢包问题.

Nginx 战斗准备 —— 优化指南 - 技术翻译 - 开源中国社区

于06-12 13:21 - -
大多数的Nginx安装指南告诉你如下基础知识——通过apt-get安装,修改这里或那里的几行配置,好了,你已经有了一个Web服务器了. 而且,在大多数情况下,一个常规安装的nginx对你的网站来说已经能很好地工作了. 然而,如果你真的想挤压出nginx的性能,你必须更深入一些. 在本指南中,我将解释Nginx的那些设置可以微调,以优化处理大量客户端时的性能.

Hive性能优化小结

于05-07 22:25 - -
在工作中使用hive比较多,也写了很多HiveQL,对于那些执行比较慢的语句,看着那些执行慢的任务显示的进度真的是欲哭无泪. 是真的数据量比较大,计算比较复杂,还是还没将相关参数设置最优呢. 这里对Hive常用的一些性能优化进行了总结. Hive在读数据的时候,可以只读取查询中所需要用到的列,而忽略其他的列.

阿里妈妈基于 TensorFlow 做了哪些深度优化?TensorFlowRS 架构解析

于04-27 14:51 - 机器之心 -
深度学习比传统的逻辑回归有着更强的模型刻画能力,同时也带来了计算力百倍提升的需求. 相比图像、语音、视频等领域,搜索、广告、推荐等场景有着独特的场景特点: 样本规模和特征空间通常非常巨大,千亿样本、百亿特征并不罕见,同时存在大量的稀疏特征作为 Embedding 输入. 这就要求我们针对此场景下的计算特点对深度学习框架进行设计和优化.

Apache Phoenix的Join操作和优化 - CSDN博客

于04-12 11:33 - -
估计Phoenix中支持Joins,对很多使用HBase的朋友来说,还是比较好的. 数据保存到Orders.csv,内容格式为:. 数据保存到Customers.csv,内容格式为:. 数据保存到Items.csv,内容格式为:. Orders.sql文件内容为:. Customers.sql文件内容为:.

Spark性能优化之道——解决Spark数据倾斜(Data Skew)的N种姿势

于02-28 09:02 - - Spark big data 大数据 分布式 big data
原创文章,转载请务必将下面这段话置于文章开头处. 技术世界, 原文链接  http://www.jasongj.com/spark/skew/. 本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案,包括避免数据源倾斜,调整并行度,使用自定义Partitioner,使用Map侧Join代替Reduce侧Join,给倾斜Key加上随机前缀等.

如何降低90%Java垃圾回收时间?以阿里HBase的GC优化实践为例

于03-12 20:02 - HBase技术社区 -
      过去的一年里,我们准备在Ali-HBase上突破这个被普遍认知的痛点,为此进行了深度分析及全面创新的工作,获得了一些比较好的效果. 以蚂蚁风控场景为例,HBase的线上young GC时间从120ms减少到15ms,结合阿里巴巴JDK团队提供的利器——AliGC,进一步在实验室压测环境做到了5ms.

Mysql 配置优化

于02-23 17:59 - hpgary -
一、Innodb 配置优化. sort_buffer_size (排序缓冲区), join_buffer_size(join缓冲大小),read_buffer_size(读取缓冲区大小),read_rnd_buffer_size(索引缓冲区大小). mysql innodb系统参数配置:. innodb_buffer_pool_size=1024M #innodb 缓存池大小,设置innodb使用缓存的大小  设置内存的80%左右 一般设置和数据量大小一直  (总内存-每个线程所需要的内存*连接数-系统保留的内存) .

前端性能优化小纪 -

于02-21 00:00 - - geek
天下武功,无坚不破,唯快不破. 对前端而言,快意味着要求资源体量更小、数量更精简、内容更早呈现、交互更加人性化. 当项目做到一定程度,就应该考虑性能的问题,前端的性能优化有诸多有迹可循的理论和方法,比如 Yahoo. 性能军规、Google PageSpeed Insights Rules. 我们团队一个比较老的项目首屏加载大概需要20多秒,这严重影响了用户体验,于是进行了一次首屏加载的性能优化.

eBay Elasticsearch性能优化实践 - CSDN博客

于02-11 09:03 - -
eBay网Elasticsearch性能优化实践. 摘要:Elasticsearch是基于Apache Lucene的开源搜索和分析引擎,允许用户以近乎实时的方式存储,搜索和分析数据. 虽然Elasticsearch专为快速查询而设计,但其性能在很大程度上取决于用于应用程序的场景,索引的数据量以及应用程序和用户查询数据的速率.

优化 MySQL: 3 个简单的小调整

于02-09 15:36 - 十七树 - IT技术 MySQL 数据库
我并不期望成为一个专家级的 DBA,但是,在我优化 MySQL 时,我推崇 80/20 原则,明确说就是通过简单的调整一些配置,你可以压榨出高达 80% 的性能提升. 尤其是在服务器资源越来越便宜的当下. 没有两个数据库或者应用程序是完全相同的. 这里假设我们要调整的数据库是为一个“典型”的 Web 网站服务的,优先考虑的是快速查询、良好的用户体验以及处理大量的流量.

境外业务性能优化实践

于01-20 00:10 - 美团点评技术团队 -
本文根据第16期美团点评技术线上沙龙OnLine演讲内容整理而成. 应用性能是产品用户体验的基石,性能优化的终极目标是优化用户体验. 当我们谈及性能,最直观能想到的一个词是“快”,Strangeloop在对众多的网站做性能分析之后得出了一个著名的3s定律“页面加载速度超过3s,57%的访客会离开”,可见页面加载速度对于互联网产品的重要性.

移动 APP 网络优化概述

于01-09 19:25 - bang - 技术文章
一般开发一个 APP,会直接调用系统提供的网络请求接口去服务端请求数据,再针对返回的数据进行一些处理,或者使用AFNetworking/OKHttp这样的网络库,管理好请求线程和队列,再自动做一些数据解析,就结束了. 但对于一些大型 APP,还会想针对网络的一些问题进行进一步优化,包括:. 速度:网络请求的速度怎样能进一步提升.

现代浏览器性能优化-CSS篇

于12-29 19:00 - GeoffZhu - 性能优化 javascript css html
我来填坑了,CSS篇终于写出来了,如果你没看过前面的JS篇,可以 在这里观看. 众所周知,CSS的加载会阻塞浏览器渲染或是引起浏览器重绘,目前业界普遍推荐把CSS放到 中,防止在CSS还没加载完,DOM就已经绘制出来了,造成CSS加载完成后的重绘. 那在现代浏览器中我们有没有办法提高首屏渲染速度那.

从实际案例聊聊Java应用的GC优化

于12-29 22:20 - 美团点评技术团队 -
当Java程序性能达不到既定目标,且其他优化手段都已经穷尽时,通常需要调整垃圾回收器来进一步提高性能,称为GC优化. 但GC算法复杂,影响GC性能的参数众多,且参数调整又依赖于应用各自的特点,这些因素很大程度上增加了GC优化的难度. 即便如此,GC调优也不是无章可循,仍然有一些通用的思考方法. 本篇会介绍这些通用的GC优化策略和相关实践案例,主要包括如下内容:.

项目中常用的19条MySQL优化

于12-06 08:00 - -
声明一下:下面的优化方案都是基于 “ Mysql-索引- BTree类型 ” 的. 做MySQL优化,我们要善用 EXPLAIN 查看SQL执行计划. 下面来个简单的示例,标注(1,2,3,4,5)我们要重点关注的数据. 一个好的sql语句至少要达到range级别. 如果没有选择索引,值是NULL.

MySQL 对于千万级的大表要怎么优化?

于12-01 16:37 - dy.f -
MySQL 对于千万级的大表要怎么优化. 链接:https://www.zhihu.com/question/19719997/answer/81930332. 商业转载请联系作者获得授权,非商业转载请注明出处. 很多人第一反应是各种切分;我给的顺序是:. 第二加缓存,memcached,redis;.