更新于:03-24 23:38

最新推荐

[译]为什么ElasticSearch应用开发者需要了解cluster state

于03-23 17:07 - 牧曦之晨 - elasticsearch
在前面的文章( ES vs Solr)中我们提到, ES构建了Loggly的很多核心功能. 在把这项通用搜索技术用于我们的日志管理系统, 并为超过5000多客户提供准实时服务的过程中, 我们在技术上成长颇多. 按照我们对开源社区的尊重, 在此希望能把我们所学到的知识回馈到社区. 本文将探讨对ES扩展过程中的性能有深远影响的关键概念: cluster state..

实用教程|Spark性能优化之道——解决Spark数据倾斜

于03-23 00:00 - - geek
实用教程|Spark性能优化之道——解决Spark数据倾斜.     2017-03-16 11:31  浏览次数:108. 为何要处理数据倾斜(Data Skew). 对Spark/Hadoop这样的大数据系统来讲,数据量大并不可怕,可怕的是数据倾斜. 数据倾斜指的是,并行处理的数据集中,某一部分(如Spark或Kafka的一个Partition)的数据显著多于其它部分,从而使得该部分的处理速度成为整个数据集处理的瓶颈.

了解汽车行业,读懂这篇贴子就足够了

于03-23 00:00 - - xueqiu
汽车行业涉及面非常广,数据与讯息不仅庞杂而且技术性较强,在阅读了大量的材料后,结合我国产业发展二十多年的历程,我试图尽量总结提炼行业背后一些较为本质的东西以对行业做一个整体的研究探讨,在此与各位交流. 讨论保有量的意义在于分析行业的天花板. 从历史看来,经济持续发展,人民收入持续提高的国家汽车保有量一直在稳步提高,等到.

Google 2015 年发布的 Progressive Web App 现在怎么样了?

于03-23 07:56 - jixiaohua -
Progressive Web App 是 Google 在 2015 提出来的下一代一种 Web 应用理念( Next Generation of Applications for the Web ) , 大白话来说就是一个利用现代浏览器的能力来达到类似 App 的用户体验的技术. 从Google官方网站介绍内容提炼一下,PWA 的一些基本能力分别是:.

Java调优CheatSheet

于03-23 11:29 - -
包含调优java程序的各种命令以及jvm配置示例. 使用top去获取进程cpu使用率;使用/proc文件查看进程所占内存. 查看jvm内存存活的对象:. 把heap里所有对象都dump下来,无论对象是死是活. 先做一次full GC,再dump,只包含仍然存活的对象信息:. 查看类的一些信息,如字节码的版本号、常量池等.

NutzWk 4.0.5 发布,Java 企业级开源开发框架

于03-22 06:14 - - 软件更新新闻
NutzWk 基于Nutz的开源企业级开发框架 . 本项目源于2010年,那时老东家还在使用Jsp和Struts1,需要手动创建并释放连接池、需要配置XML请求路径和类映射关系、要支持刚刚兴起的JSON非常痛苦等等的原因,开始选择适用“快速开发、功能丰富、扩展性强、性能优越”等技术要求的框架产品,讨厌Spring的繁杂配置、Hibernate及Mybatis的繁琐,讨厌一切让开发变得低效和繁杂的技术,这和Nutz的设计理念不谋而合.

你不知道的 Android WebView 使用漏洞

于03-22 06:56 - carson_ho -
现在很多App里都内置了Web网页(Hyprid App),比如说很多电商平台,淘宝、京东、聚划算等等,如下图. Android的WebView 实现的,但是 WebView 使用过程中存在许多漏洞,容易造成用户数据泄露等等危险,而很多人往往会忽视这个问题. Android WebView的使用漏洞 及其修复方式.

[译] 架构师经常参考的 Netflix 架构,它的全貌是怎样的?

于03-21 00:00 - - dev
导读:在架构讨论中,我们碰到的问题常常会落到一些经典的架构模式中,而 Netflix 提供了几乎各种模式的参考范例. 因此了解 Netflix 架构全貌可以帮助我们进一步体系性的了解互联网架构. 本文由高可用架构翻译,转载请注明出处. 随着我们深入研究可扩展架构,我们越来越多的接触到 Netflix.

Android 逆向从未如此简单

于03-20 02:37 - githubwing -
不过我一定竭尽所能,写一篇最亲民的入门文章. 本文仅供学习交流之用,切勿用于非法用途,读者若运用所学知识,进行非法任何商业目的或者非法牟利,一切责任由操作者自行承担,与本人无关. 希望读者仅仅从了解原理,保护自身APP尽量减少危害出发来阅读本文. 本文发布自 wing的地方酒馆,转载请注明出处. 本文以一个最简单的例子,来教给大家Android逆向入门的一些知识.

socket长连接和短连接

于03-20 06:59 - lixuguang -
        所谓长连接,指在一个TCP连接上可以连续发送多个数据包,在TCP连接保持期间,如果没有数据包发送,需要双方发检测包以维持此连接,一般需要自己做在线维持.         短连接是指通信双方有数据交互时,就建立一个TCP连接,数据发送完成后,则断开此TCP连接,一般银行都使用短连接.         比如http的,只是连接、请求、关闭,过程时间较短,服务器若是一段时间内没有收到请求即可关闭连接.

关于docker容器的监控

于03-20 08:18 - felix_yujing -
1 docker inspect [容器ID | 镜像ID]. 查看容器创建时间、容器的IP、映射的端口、挂载的目录等信息. 此命令同样也能用来查看镜像的详细信息. 2 docker stats 容器ID. 用来查看容器的资源使用情况,如:CPU、内存、网络、I/O. 另外,在docker的配置文件中添加如下的参数之后,可以采用curl来调用stats API接口.

[原]增量接口的设计及实现

于03-20 08:45 - ghsau -
在应用开发过程中,我们总会碰到这样的场景:某系统需要同步我们系统的数据去做一些业务逻辑,当数据量较小的时候,可以全量的提供,但当数据量很大时,全量提供就显得很笨重,不仅耗时而且做了很多无用功,这时我们需要一种提供增量数据的机制,只告诉对方变化的数据. 提供增量数据大致可分为两种方式:MQ和接口提供,MQ的优点是及时,缺点是丢失、重复、回溯复杂等等问题(依赖于具体MQ实现),这里不过多赘述;接口提供不限于RPC或HTTP等方式,接口提供的优缺点正好和MQ反过来,及时性取决于调用周期.

真正优秀的人,都有这6种思维方式

于03-18 00:00 - - topmark
他署名编剧的院线电影,去年就有两部. 而今年上半年他一直在台湾练习铁人三项,下半年又完成了一部网剧的创作. 昨天发朋友圈,说他那部剧过审了. 我问他接下来有什么打算,他说会写一部江西农村题材的戏,即将在江西呆一段时间. 的确,和优秀的人接触,感觉都是一样的. 如果说人类堕落的方式各有各的不同,那么优秀者的共性却也极为相似.

移动端 H5 图片压缩上传

于03-19 00:00 - - dev
大体的思路是,部分API的兼容性请参照 caniuse:. 利用 FileReader,读取 blob对象,或者是 file对象,将图片转化为 data uri的形式. 使用 canvas,在页面上新建一个画布,利用 canvas提供的API,将图片画入这个画布当中. 利用 canvas.toDataURL(),进行图片的压缩,得到图片的 data uri的值.

李安:这六部电影,改变了我的一生

于03-19 05:55 - Cinephilia - People|人物 《晚春》(1949) 2001 : A Space Odyssey(1968) 2001:太空漫游(1968) Federico Fellini
李安|来自网络 李安电影里东方美学与西方表达的贯融,使他成为鲜少的,能同时被世界主流电影观众接受并喜爱的导演之一. 以下这六部电影,是李安选择的对其影响最深的作品,我们可在其中感受他在情感、美、艺术与精神上的平衡;同时他也强调:“ 这些不是我的最爱,但他们改变了我的人生”,分享给读者一窥究竟. 2001太空漫游( 2001 : A Space Odyssey,1968).

缓存级别与缓存更新问题

于03-19 10:06 - - 数据库
缓存失效问题被认为是计算机科学中最难的两件事之一,这篇文章来自翻译,内容主要包括缓存级别与缓存更新常见的几种模式. 缓存常用来加快页面的加载速度,减少服务器或数据库服务的负载. 缓存应用的常见模式如上图所示:. 检索缓存,尝试查找之前相同请求的执行结果,如果找到了则返回,省去了重新执行的步骤;. 如果缓存未命中,则重新执行计算逻辑并将结果保存至缓存;.

[Java] Java 多线程案例分析

于03-19 10:48 - xsank -
现要从 hbase中导出 2016 年整年的,大约 10w只股票行情数据,数据总量约 100t. 汇总到 hdfs中供需求方使用. 已知数据量规模大概是 100t,那么单台机器处理肯定不是不行的,先不说大多数磁盘都没这么大,即便磁盘有这么大,单台机器处理对于内存和 cpu 要求也很高,所以我们将问题一般化,使用数量有限的低配机器.

土木真的没有IT行业有前途吗?

于03-18 00:00 - - zhihu
知乎上都是码农当然觉得自己这一行最苦,实际上搞土木比搞it累多了好吗. 施工员,一年到头没有双休!朝七晚九!看不见任何异性!码农至少公司前台hr项目经理还是有女生的吧. 风餐露宿不像你们坐在办公室有空调啊!这么苦就为了一个月四五千的工资啊!码农哪一点不完爆. 设计院,大院工作加班到两三点太正常了,猝死.

基于 Consul 的 Docker Swarm 服务发现

于03-18 00:00 - - dev
基于 Consul 的 Docker Swarm 服务发现. 2017 年 1 月 10 日发布. Docker 是一种新型的虚拟化技术,它的目标在于实现轻量级操作系统的虚拟化. 相比传统的虚拟化方案,Docker. 虚拟化技术有一些很明显的优势:启动容器的速度明显快于传统虚拟化技术,同时创建一台虚拟机占用的资源也要远远小于传统的虚拟技术.

如何判断两段文本说的是「同一件事情」?

于03-18 00:00 - - zhihu
这两天正好在看相关方向的论文,在原回答后面又补充回答一下attention based method, 怎样的siamese architecture, 不同的distance metrics,甚至怎样利用unsupervised pretraining在数据量有限的情况下尽量地generalize model达到最佳效果.

服务发现:Zookeeper vs etcd vs Consul

于12-06 02:00 - m635674608 -
服务发现:Zookeeper vs etcd vs Consul. 【编者的话】本文对比了Zookeeper、etcd和Consul三种服务发现工具,探讨了最佳的服务发现解决方案,仅供参考. 如果使用预定义的端口,服务越多,发生冲突的可能性越大,毕竟,不可能有两个服务监听同一个端口. 管理一个拥挤的比方说被几百个服务所使用的所有端口的列表,本身就是一个挑战,添加到该列表后,这些服务需要的数据库和数量会日益增多.

分布式配置服务etcd VS 分布式协调服务zookeeper

于03-10 01:37 - weitao1026 -
etcd是一个高可用的键值存储系统,主要用于共享配置和服务发现. etcd是由CoreOS开发并维护的,灵感来自于 ZooKeeper 和 Doozer,它使用Go语言编写,并通过Raft一致性算法处理日志复制以保证强一致性. Raft是一个来自Stanford的新的一致性算法,适用于分布式系统的日志复制,Raft通过选举的方式来实现一致性,在Raft中,任何一个节点都可能成为Leader.

Android热更新方案Robust开源,新增自动化补丁工具

于03-17 00:00 - - tuicool
我们在之前的博客文章中介绍了高兼容性、高稳定性的实时热更新解决方案Robust之后,业内反响强烈,不断有读者咨询我们什么时候开源. 今天我们非常高兴地宣布,Robust已经开源啦. 开源地址: https://github.com/Meituan-Dianping/Robust. Robust热更新系统借鉴Instant Run原理,实现了一个兼容性更强而且实时生效的热更新方案.

微豆 - Vue 2.0 实现豆瓣 Web App 教程

于03-17 03:53 - RalfZ - vue-cli vuex vue-router vue.js javascript
一个使用 Vue.js 与 Material Design 重构 豆瓣 的项目. 项目网站 http://vdo.ralfz.com/. # 克隆项目到本地 git clone https://github.com/RalfZhang/Vdo.git # 安装依赖 npm install # 在 localhost:8080 启动项目 npm run dev.

Uncode-DAL 2.0.0 发布,Java 通用数据访问层

于03-17 10:28 - - 软件更新新闻
Uncode-DAL 是 Java 通用数据访问组件,基于mybatis、spring jdbc、hibernate、mongo等ORM框架开发,同时支持基于多数据源的读写分离、主备切换、故障转移,自动恢复、负载均衡、缓存等. Uncode-DAL 2.0.0 大版本发布,截止现在基本完成计划开发功能.

缓存那些事

于03-17 14:45 - 美团点评技术团队 -
本文已发表于《程序员》杂志2017年第3期,下面的版本又经过进一步的修订. 一般而言,现在互联网应用(网站或App)的整体流程,可以概括如图1所示,用户请求从界面(浏览器或App界面)到网络转发、应用服务再到存储(数据库或文件系统),然后返回到界面呈现内容. 随着互联网的普及,内容信息越来越复杂,用户数和访问量越来越大,我们的应用需要支撑更多的并发量,同时我们的应用服务器和数据库服务器所做的计算也越来越多.

实现得分的PrefixQuery

于03-16 11:38 - suichangkele -
(先声明一下,我使用的lucene的版本是lucene4.7.2). 本文的目的不在于讨论重写规则,而是想实现一个可以得分的PrefixQuery(业务场景是我们要做搜索框中提示词的排序,所以必须实现得分). 实现原理很简单,在指定重写规则的时候将重写规则指定为得分的规则(当然这里涉及到重写规则的实现,这里本文不讨论),在org.apache.lucene.search.MultiTermQuery类中含有SCORING_BOOLEAN_QUERY_REWRITE这个重写规则从他的名字中就可以理解是封装为一个BooleanQuery,并且计算分数.

Linux运维领域的开源工具体系汇总

于03-16 12:42 - 99527 - 运维经验 开源软件 运维工具
dd, fio(IOPS测试),iozone(磁盘测试). rpm,yum(设计rpm包定制及yum仓库构建). 原文出处:http://oldboy.blog.51cto.com/2561410/775056/.

[转][转]Facebook 开源的快速文本分类器 FastText

于03-16 15:11 - heiyeshuwu -
比深度学习快几个数量级,详解Facebook最新开源工具——fastText. 导读:Facebook声称fastText比其他学习方法要快得多,能够训练模型“在使用标准多核CPU的情况下10分钟内处理超过10亿个词汇”,特别是与深度模型对比,fastText能将训练时间由数天缩短到几秒钟. Facebook FAIR实验室在最新博客中宣布将开源资料库fastText,声称相比深度模型,fastText能将训练时间由数天缩短到几秒钟.

一次完整的HTTP请求与响应涉及了哪些知识?

于03-16 15:24 - shendao - 极客互联
本文以HTTP请求和响应的过程来讲解涉及到的相关知识点. 一、 HTTP请求和响应步骤. 图片来自: 理解Http请求与响应. 以上完整表示了HTTP请求和响应的7个步骤,下面从TCP/IP协议模型的角度来理解HTTP请求和响应如何传递的. TCP/IP协议模型(Transmission Control Protocol/Internet Protocol),包含了一系列构成互联网基础的网络协议,是Internet的核心协议,通过20多年的发展已日渐成熟,并被广泛应用于局域网和广域网中,目前已成为事实上的国际标准.