更新于:09-23 05:20

有关[优化]分类推荐

hive

于10-17 03:05 - wspiderw -
1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段. 2:尽量原子化操作,尽量避免一个SQL包含复杂逻辑. 可以使用中间表来完成复杂的逻辑. 3:单个SQL所起的JOB个数尽量控制在5个以下. 4:慎重使用mapjoin,一般行数小于2000行,大小小于1M(扩容后可以适当放大)的表才能使用,小表要注意放在join的左边(目前TCL里面很多都小表放在join的右边).

Android-性能-内存

于09-22 11:16 - freekiteyu -
Android-性能优化-内存优化. 详见: JVM 内存分配机制. 详见: JVM 垃圾回收机制. Dalvik 虚拟机(DVM)是 Android 系统在 java虚拟机(JVM)基础上优化得到的,DVM 是基于寄存器的,而 JVM 是基于栈的,由于寄存器高效快速的特性,DVM 的性能相比 JVM 更好.

Spark map-side-join 关联 - 简书

于08-28 09:44 - -
将多份数据进行关联是数据处理过程中非常普遍的用法,不过在分布式计算系统中,这个问题往往会变的非常麻烦,因为框架提供的 join 操作一般会将所有数据根据 key 发送到所有的 reduce 分区中去,也就是 shuffle 的过程. 造成大量的网络以及磁盘IO消耗,运行效率极其低下,这个过程一般被称为 reduce-side-join.

Java 代码性能

于07-15 00:00 - - geek
代码 优化,一个很重要的课题. 可能有些人觉得没用,一些细小的地方有什么好修改的,改与不改对于代码的运行效率有什么影响呢. 这个问题我是这么考虑的,就像大海里面的鲸鱼一样,它吃一条小虾米有用吗. 没用,但是,吃的小虾米一多之后,鲸鱼就被喂饱了. 代码优化也是一样,如果项目着眼于尽快无BUG上线,那么此时可以抓大放小,代码的细节可以不精打细磨;但是如果有足够的时间开发、维护代码,这时候就必须考虑每个可以优化的细节了,一个一个细小的优化点累积起来,对于代码的运行效率绝对是有提升的.

mysql服务器CPU使用过高的方案

于06-19 10:45 - sky_xin -
当然除了一些加索引的还有少量的通过改代码进行sql语句优化的(例如参数赋值时的数据类型必须要和数据库定义的字段类型相一致,如果是关联查询中,关联字段的数据类型和编码、长度也都要一致,否则很有可能用不上索引),主要是正确的添加索引. 另外也学习了一点:mysql函数 now()、current_date()都是实时变化的,mysql 不会将查询的结果放到查询缓存里,从而降低了查询缓存的命中率.

通过Function Score QueryElasticsearch搜索结果

于04-06 00:33 - -
在使用 Elasticsearch 进行全文搜索时,搜索结果默认会以文档的相关度进行排序,如果想要改变默认的排序规则,也可以通过 sort指定一个或多个排序字段. 但是使用 sort排序过于绝对,它会直接忽略掉文档本身的相关度(根本不会去计算). 在很多时候这样做的效果并不好,这时候就需要对多个字段进行综合评估,得出一个最终的排序.

十亿级视频播放技术揭密

于05-09 00:00 - - dev
QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、上海、旧金山召开. 自 2007年 3月份首次举办以来,已经有超万名高级技术人员参加过QCon大会. QCon内容源于实践并面向社区,演讲嘉宾依据热点话题,面向 5年以上工作经验的技术团队负责人、架构师、工程总监、高级开发人员分享技术创新和最佳实践.

分区表场景下的 SQL

于04-12 00:00 - - dev
有个表做了分区,每天一个分区. 该表上有个查询,经常只查询表中某一天数据,但每次都几乎要扫描整个分区的所有数据,有什么办法进行优化吗. 有一个大表,每天产生的数据量约100万,所以就采用表分区方案,每天一个分区. 该表上经常发生下面的慢查询:. 想要优化一个SQL,一般来说就是先看执行计划,观察 是否尽可能用到索引,同时要关注 预计扫描的行数,以及 是否产生了临时表(Using temporary) 或者  是否需要进行排序(Using filesort),想办法消除这些情况.

数据仓库中的SQL性能(MySQL篇

于04-30 09:46 - - data system mysql
做数据仓库的头两年,使用高配置单机 + MySQL的方式来实现所有的计算(包括数据的ETL,以及报表计算. 用过MySQL自带的MYISAM和列存储引擎Infobright. 这篇文章总结了自己和团队在那段时间碰到的一些常见性能问题和解决方案. P.S.如果没有特别指出,下面说的mysql都是指用MYISAM做存储引擎.

数据仓库中的SQL性能(Hive篇

于09-01 10:01 - - data system hive sql on hadoop
一个Hive查询生成多个map reduce job,一个map reduce job又有map,reduce,spill,shuffle,sort等多个阶段,所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会有细分),针对MR全局的优化,和针对整个查询(多MR job)的优化,下文会分别阐述.

实用教程|Spark性能之道——解决Spark数据倾斜

于03-23 00:00 - - geek
实用教程|Spark性能优化之道——解决Spark数据倾斜.     2017-03-16 11:31  浏览次数:108. 为何要处理数据倾斜(Data Skew). 对Spark/Hadoop这样的大数据系统来讲,数据量大并不可怕,可怕的是数据倾斜. 数据倾斜指的是,并行处理的数据集中,某一部分(如Spark或Kafka的一个Partition)的数据显著多于其它部分,从而使得该部分的处理速度成为整个数据集处理的瓶颈.

Web性能

于03-14 11:18 - Kyxy - 性能 javascript
Web网站的性能细线在几个方面:. 通过分析浏览器的渲染原理、资源对渲染的影响,得出优化网站性能的办法. Chrome的 Timeline面板录制网页加载的过程,分析记录浏览器渲染过程中每个过程的耗时. 关闭Chrome扩展或者启用隐身模式. 根据使用场景,模拟真实的网络加载情况:. 2.2 Timeline工具的各个组成.

Android

于03-09 23:37 - liuchi1993 - 基础技术 Android开发 JVM 性能优化
更多网络优化,可参考:  Android网络. http头信息带Cache-Control域 确定缓存过期时间 防止重复请求. 直接用IP直连,不用域名,策略性跟新本地IP列表. – DNS解析过程耗时在百毫秒左右,并且还有可能存在DNS劫持. 图片、JS、CSS等静态资源,采用CDN(当然如果是使用7牛之类的服务就已经给你搭建布置好了).

美团点评SQL工具SQLAdvisor开源

于03-09 18:07 - 美团点评技术团队 -
在数据库运维过程中,优化 SQL 是 DBA 团队的日常任务. 例行 SQL 优化,不仅可以提升程序性能,还能够降低线上故障的概率. 目前常用的 SQL 优化方式包括但不限于:业务层优化、SQL逻辑优化、索引优化等. 其中索引优化通常通过调整索引或新增索引从而达到 SQL 优化的目的. 索引优化往往可以在短时间内产生非常巨大的效果.

Spark性能之道——解决Spark数据倾斜(Data Skew)的N种姿势

于03-06 00:00 - - bigdata
本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案,包括避免数据源倾斜,调整并行度,使用自定义Partitioner,使用Map侧Join代替Reduce侧Join,给倾斜Key加上随机前缀等. 为何要处理数据倾斜(Data Skew). 对Spark/Hadoop这样的大数据系统来讲,数据量大并不可怕,可怕的是数据倾斜.

Solr PostFilter查询性能

于02-07 06:20 - mozhenghua -
       实际业务场景中,有时会需要两阶段过滤,最终的搜索结果是在前一个搜索结果上进一步搜索而得到的(search-within-search)的特性.        假设,最终搜索结果集是由(A AND B)两个条件对应的命中结果集求交而得到的. 如果A条件对应的文档集合非常小(大概不超过300个),而B条件对应的文档集合非常大.

linux 内核参数调整网络

于01-09 23:59 - shendao - 极客互联
Linux系统内核设置优化tcp网络:. # vi /etc/sysctl.conf,添加以下内容. 默认值:net.ipv4.tcp_syncookies = 0. 表示开启SYN Cookies. 当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击. 默认值:net.ipv4.tcp_tw_reuse = 0.

美团团购订单系统

于12-27 15:58 - 美团点评技术团队 -
美团团购订单系统主要作用是支撑美团的团购业务,为上亿美团用户购买、消费提供服务保障. 2015年初时,日订单量约400万~500万,同年七夕订单量达到800万. 作为线上S级服务,稳定性的提升是我们不断的追求. 尤其像七夕这类节日,高流量,高并发请求不断挑战着我们的系统. 发现系统瓶颈,并有效地解决,使其能够稳定高效运行,为业务增长提供可靠保障是我们的目标.

MySQL 大表方案

于12-23 14:38 - 伯小乐 - IT技术 MySQL 数据库
当MySQL单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化:. 除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在 千万级以下,字符串为主的表在 五百万以下是没有太大问题的. 而事实上很多时候MySQL单表的性能依然有不少优化空间,甚至能正常支撑千万级以上的数据量:.

Android性能-线程性能

于12-14 03:39 - yubachang2012 -
熟练使用Android上的线程可以帮助你提高应用程序的性能. 本篇文章讨论了使用线程的几个方面:使用UI或主线程; 应用程序生命周期和线程优先级之间的关系; 以及平台提供的帮助管理线程复杂性的方法. 在每一部分,本篇都描述了潜在的陷阱以及如何避免它们的策略. 当用户启动你的应用程序时,Android会创建一个新的  Linux process 以及一个执行线程.

Android性能之内存泄漏

于12-11 08:43 - ljd2038 -
  内存泄漏(memory leak)是指由于疏忽或错误造成程序未能释放已经不再使用的内存. 那么在Android中,当一个对象持有Activity的引用,如果该对象不能被系统回收,那么当这个Activity不再使用时,这个Activity也不会被系统回收,那这么以来便出现了内存泄漏的情况. 在应用中内出现一次两次的内存泄漏获取不会出现什么影响,但是在应用长时间使用以后,若是存在大量的Activity无法被GC回收的话,最终会导致OOM的出现.

Java 性能的五大技巧

于12-08 23:33 - liuchi1993 - 技术架构 性能优化
要对你的 java 代码进行优化,需要理解 java 不同要素之间的相互作用,以及它是如何与其运行时的操作系统进行交互的. 使用下面这五个技巧和资源,开始学习如何分析和优化你的代码吧. 在我们开始之前, 你也许会担心许可的问题. Java 为 Oracle 公司所有,遵循 Oracle 的 BCL 许可,该许可证不是一个免费/开源许可证.

Redis

于12-08 09:49 - youyu4 -
键名:尽量精简,但是也不能单纯为了节约空间而使用不易理解的键名. 键值:对于键值的数量固定的话可以使用0和1这样的数字来表示,(例如:male/female、right/wrong). 当业务场景不需要数据持久化时,关闭所有的持久化方式可以获得最佳的性能,不过一般都要持久化比较安全,而且是快照和aof同时使用比较安全.

浅析渲染引擎与前端

于12-05 05:14 - hanyuxinting - 前端开发
浅析浏览器内核的工作原理(以. 浅析由浏览器内核想到的前端优化,或者说前端优化规则是从哪儿来的. 大家知道,大部分的 WEB 页面依托浏览器呈现,而浏览器能够将页面展示出来,基本依赖于浏览器的内核,即渲染引擎. 今天以 Chrome 浏览器的内核 WebKit(更确切是 WebKit 分支 Blink,以下统称为 WebKit )为例,对渲染引擎如何展示页面做个简单、全面的了解.

[JavaEE - JPA] 性能: 如何定位性能问题

于12-03 17:36 - dm_vincent -
要想解决性能问题,首先得要有办法定位问题,明白问题究竟是什么. 本来JPA的存在目的就是为了让开发人员能够更少地直接操作SQL,但是由于业务自身有其复杂性,如果开发人员不老练,没有踩过许许多多形形色色的坑,是很难写出高质量的JPA代码的,这也是为什么很多人说Hibernate(JPA)入门容易,精通难.

解锁Search Ads新姿势 |[多盟诚恳分享

于11-18 06:11 - DinK - 行业资讯 Search Ads Search Ads优化
苹果搜索竞价广告(search ads)自正式上线以来,它的推广效果及投放策略被开发者、第三方平台、圈里专家和圈外吃瓜群众齐刷刷的盯着. 燃鹅,各路分析解读都略显虚头巴脑的,我们还是坚持用事实说话的传统吧. 事实就是,这原本只是一篇案例稿,但由于小编脑子进雾霾了,泄露了一些内部投放技巧. 一如既往地,下面是来自多盟的诚恳分享.

复杂 Web 前端项目的构建工具实践

于11-16 00:00 - - tuicool
前言:本人于 2014 年底开始供职于百度贴吧(以下简称“贴吧”). 贴吧作为中国最大规模的 UGC 产品之一,在PC和移动端上承载了数亿用户的访问. 在过去十几年的运营中,贴吧积累了十分复杂的业务模式. 在 Web 前端,一度有超过40名工程师同时开发、提交和上线,为此,贴吧建设了非常复杂和完备的开发体系.

Hbase万亿级存储性能总结

于11-15 14:19 - 依然任逍遥 -
转: http://blog.csdn.net/odailidong/article/details/41794403.       hbase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对hbase的认识经历了懵懂到熟的过程. 为了应对业务数据的压力,hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对hbase集群服务和应用全面监控的报警系统.

携程移动端 UI 界面性能实践

于11-15 00:00 - - geek
作者简介:南志文,携程研发经理,曾负责App整体技术框架的架构研发与实践,现负责酒店业务的迭代更新及App架构、性能优化. 曾先后就职于阿里巴巴、巨人网络. 《程序员》杂志 10 月刊,作者发表了. 《携程移动端架构演进与优化之路》文章第一部分:架构演进. 紧接着,作者基于前文对携程移动端性能优化实践进行了总结.

表单设计

于11-13 13:32 - 可乐橙 -
设计师常犯的错误,以及正确做法. 无论是注册流程、多屏分步表单,或者是单调的数据列表界面,表单都是数字产品设计中的重要组成部分. 记住这些只是通用规范,每条准则总有例外. 多列布局会扰乱用户垂直方向的视线移动. 顶部标签的表单比左侧标签有更高的完成率. 顶部标签的表单也易于移植到移动端. 但是,对于有多种选择项的大量数据列表而言,请考虑使用左侧标签,因为它们在一起更易于浏览,能够减少高度,比顶部标签更贴心.