更新于:09-22 08:13

最新推荐

黎曼猜想即将解开?一篇文章讲清楚这个“纯数学领域最重要的问题之一”

于09-22 07:34 - -
昨天,一条大新闻炸翻了学术界:著名数学家、菲尔兹奖和阿贝尔奖双料得主阿提亚爵士(Sir Michael Francis Atiyah)宣布要在本月24号(也就是3天后)在海德堡宣讲自己对于黎曼猜想的证明. 本文来自微信公众号:果壳(ID:Guokr42),作者: Yilong(群论研究公众号,清华大学丘成桐数学中心助理教授,UCLA数学PhD),原文标题:《黎曼猜想即将解开.

redis调优的实战经验 - 大叔据 - 博客园

于09-22 09:45 - -
本文根据redis的info命令查看redis的内存使用情况以及state状态,来观察redis的运行情况以及需要作出的相应优化. used_memory:13409011624 #used_memory=实际缓存占用的内存+Redis自身运行所占用的内存(如元数据、lua).                        #这个值是由Redis使用内存分配器分配的内存,不包括内存碎片浪费的内存.

Node版单机100w连接(C1000K)是如何达成的 - 简书

于09-21 17:42 - -
关于C10K的问题就不多说了,应该是一个说烂的话题. 网上也有很多C1000k,甚至C10M(也就是1kw并发)的文章,后面会给出我所阅读和学习的很多参考,这里也不多说了,这里我只给出在我深入研究了这些资料和总结之后的思路. 总的来说,要完成这个目标,首先要考虑的就是系统能分配的资源是否满足100w并发的需求,然后逐步分解,比如内存够不够,文件描述符够不够,然后再往下看应该怎么满足,调整参数等.

Kafka跨数据中心迁移方案MirrorMaker使用及性能调优实践 | 网易乐得技术团队

于09-21 14:55 - -
Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案. 其实现原理,其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster,即普通的消息生产和消费. 用户只要通过简单的consumer配置和producer配置,然后启动Mirror,就可以实现准实时的数据同步.

Redis配置模板及持久化解决方案 | 网易乐得技术团队

于09-21 14:47 - -
本文根据贵金属使用Redis的经验,整理了Redis服务端配置模板、哨兵配置模板、监控项部署、持久化解决方案、Jedis客户端连接池配置说明,旨在减少大家在使用Redis过程中因为配置不当引发的问题. 后续的文章链接中也给出了之前遇到的一些问题,以及对默认配置项进行选择的原因,供大家参考. (Redis Server端版本2.8.19,客户端使用Jedis2.6.0),截止到本文发表前Redis4.0已经release,但并不影响本文的配置选择,4.0的新特性我们也会持续跟进,欢迎大家一起讨论.

Databus架构分析与初步实践(for mysql) | 网易乐得技术团队

于09-21 14:40 - -
Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统. 由LinkedIn于2013年开源. Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑. 数据传输能保证顺序性和至少一次交付的高可用性.

使用树莓派和VLAN交换机组建单臂路由器,通过SS代理上网

于09-05 20:03 - - Linux Linux VPN Network
创建一个代理网关,所有通过有线或者无线连接通过该网关上网的设备可以:. 根据域名判断是走国内的DNS还是国外的DNS,走国外DNS时,通过SS代理请求,防止DNS污染. 根据目标IP地址自动选择线路,国外流量都走SS代理. 一个SS服务器,Linode或者Digital Ocean上5刀/月的服务器就够用了,SS服务器的架设方法请自行百度.

三大图表库:ECharts 、 BizCharts 和 G2,该如何选择?

于09-20 15:15 - 薄荷前端 - echarts react.js canvas
最近阿里正式开源的BizCharts图表库基于React技术栈,各个图表项皆采用了组件的形式,贴近React的使用特点. 同时BizCharts基于G2进行封装,Bizcharts也继承了G2相关特性. 公司目前统一使用的是ECharts图表库,下文将对3种图表库进行分析比对. 文档地址: BizCharts.

限流降级神器-哨兵(sentinel)原理分析

于09-20 20:43 - -
Sentinel 是阿里中间件团队开源的,面向分布式服务架构的轻量级高可用流量控制组件,主要以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度来帮助用户保护服务的稳定性. 大家可能会问:Sentinel 和之前常用的熔断降级库 Netflix Hystrix 有什么异同呢. Sentinel官网有一个对比的文章,这里摘抄一个总结的表格,具体的对比可以点此 链接 查看.

Android APP必备高级功能,消息推送之MQTT - CSDN博客

于09-20 09:45 - -
本文已授权微信公众号《鸿洋》原创首发,转载请务必注明出处. Android端实现消息推送的几种方式. 轮询:客户端定时向服务器请求数据. 服务器需要向客户端发通知时,发送一条短信,客户端收到特定短信之后,先获取信息,然后拦截短信. 缺点:贵而且短信可能被安全软件拦截. 持久连接(Push)方式:客户端和服务器之间建立长久连接.

笔记--redis

于09-19 23:26 - sky_xin -
接着准备面试内容,今天学习了下redis,继续我的笔记加深印象. 1.为什么要使用redis.  答:主要是 性能和 并发两个方面,另外redis也可以做分布式锁和消息队列等其他功能. 但是如果只是为了分布式锁这些其他功能,完全还有其他中间件(如zookpeer等)代替,并不是非要使用redis.

更完善的 Docker + Traefik 使用方案

于09-20 00:00 - - dev
在踩坑无数之后,多次修改后,这篇草稿箱中的文字终于得以成型,撒花. 六月更新架构的时候,去掉了 openresty作为服务器前端,取而代之的是裸跑 Traefik,因为只暴露网关的 80/ 443,后面所有子容器都是以 expose方案对内暴露端口到一块虚拟网卡上,安全问题也不大,网关挂载着通配符证书,可以方便的添加删除后面的应用,虽说用起来挺舒服的,但是有两点始终让我不是很爽.

AIOps 核心技术和算法要点

于09-19 00:00 - - dev
AIOps已经逐渐兴起,AI算法已较为成熟,使之与运维结合到了一起,下面列出AIOps相关技术和算法要点,有空了再展开写,懂大数据和机器学习的基本都知道各个组件及算法的作用. elasticsearch(支持时序). clickhouse(支持时序). -------------推荐阅读------------.

[原]Redis共享Session原理及示例

于09-17 22:04 - moxiaomomo -
Redis共享session的作用. 微服务自身可以保持无状态,应用实例数量的多少不会影响用户登录状态;. 可实现单点登录的踢出功能,如可以让上次异地登录的用户下线;. session在多个服务或服务器间共享,实现多站点单点登录(参考SSO服务). Redis缓存session原理简述. 其工作原理,可简单用图描述(假设服务A运行有有个多个实例):.

有赞搜索系统的技术内幕

于09-18 15:37 - 有赞技术 - 程序员 工具 后端
上文说到有赞搜索系统的架构演进,为了支撑不断演进的技术架构,除了 Elasticsearch 的维护优化之外,我们也开发了上层的中间件来应对不断提高的稳定性和性能要求. Elasticsearch 的检索执行效率可以表示为:. 其中 num_of_files 表示索引文件段的个数,N 表示需要遍历的数据量,从这里我们可以总结出提升查询性能可以考虑的两点:.

腾讯正在酝酿第三次组织架构变革

于09-18 17:34 - -
本文转自微信公众号: 全天候科技(ID:iawtmt),作者:舒虹,原标题:《谁在杀死腾讯》. 腾讯正酝酿史上第三次组织架构变革——目前隶属于社交网络事业群(SNG)的腾讯云或独立成一个新的BG,也可能与技术工程事业群(TEG)部分职能、腾讯“互联网+”等有关业务合并,针对To B业务设立一个全新的组织架构.

并发模型比较

于09-18 00:00 - - dev
Golang 的特色之一就是 goroutine ,使得程序员进行并发编程更加方便,适合用来进行服务器编程. 作为后端开发工程师,有必要了解并发编程面临的场景和常见的解决方案. 一般情况下,是怎样做高并发的编程呢. C10k就是 Client 10000,单机服务器同时服务1万个客户端. 当然,现在的业务面临的是 C100k、C1000k 了.

Java 内存溢出排查

于09-17 09:55 - TiuVe2 - 基础技术 内存管理 排错
Java OOM 毫无疑问是开发人员常见并且及其痛恨的问题,但是任何服务的开发都没法避免 OOM. 因此,OOM 的排查及定位是每个 Java 工程师都必备的技能. 在使用 scala 开发的一个 web 服务,在用户使用中,经常出现:  java.lang.OutOfMemoryError: Java heap space .

NodeJS学习笔记

于09-17 15:19 - freesky_zh -
今天开始学习NodeJS,在这里做个笔记,记录一下我的学习历程,也方便以后参考. Node.js® 是一个基于  Chrome V8 引擎 的 JavaScript 运行时. 简单的说 Node.js 就是运行在服务端的 JavaScript. Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台.

[转]迈向高阶:优秀Android程序员必知必会的网络基础

于09-17 17:35 - libaineu2004 -
网络通信一直是Android项目里比较重要的一个模块,Android开源项目上出现过很多优秀的网络框架,从一开始只是一些对HttpClient和HttpUrlConnection简易封装使用的工具类,到后来Google开源的比较完善丰富的Volley,再到如今比较流行的 Okhttp、 Retrofit.

使用Python进行相关性分析

于09-17 18:34 - 标点符 - 数据科学 程序开发 Python
在数据分析时,经常会针对两个变量进行相关性分析. 在Python中主要用到的方法是pandas中的corr()方法. corr():如果由数据框调用corr函数,那么将会计算每个列两两之间的相似度,返回DataFrame. corr(other):如果由序列调用corr方法,那么只是该序列与传入的序列之间的相关度,返回一个数值型,大小为相关度.

阿里如何实现秒级百万TPS?搜索离线大数据平台架构解读

于09-17 20:32 - -
阿里妹导读:搜索离线数据处理是一个典型的海量数据批次/实时计算结合的场景,阿里搜索中台团队立足内部技术结合开源大数据存储和计算系统,针对自身业务和技术特点构建了搜索离线平台,提供复杂业务场景下单日批次处理千亿级数据,秒级实时百万TPS吞吐的计算能力. 一个典型的商品搜索架构如下图所示,本文将要重点介绍的就是下图中的离线数据处理系统(Offline System).

IoT云服务连接性的方式

于09-17 20:28 - -
物联网(IoT)的开发者可以选择很多方法来创建与物联网云服务的连接,每一个都有不同的优劣权衡. 将物联网连接到云服务时,最快最简单的方法就是使用一个全功能的物联网软件代理,就像那些物联网平台供应商提供的那样. 产品代理被集成到无线物联网模块硬件中,代表了黑箱方法. 物联网云连接的另一种简单方法是使用由亚马逊AWS、微软Azure等IoT平台提供的SDK,这就是白箱方法.

公司为什么需要建立一套统一的开发框架?

于09-17 07:05 - -
作者 | 梁鑫编辑 | 孟夕一、起因:野蛮生长 近十年,中国互联网发展的速度越来越快,互联网科技颠覆了越来越多的传统行业,我们的衣食住行随着互联网科技的进步,发生了翻天覆地的变化. 在这个大潮中,越来越多新兴的公司如雨后春笋般的冒了出来,他们的业务增长非常快,公司规模也越来越大. 这得益于中国经济的高速增长和互联网的快速发展.

系统性能优化系列

于09-16 00:00 - - tuicool
之前组内一位大佬分享了一些关于系统性能优化方面的干货,这里我将它整理成文并且加入自己平时常用的一些工具和技巧. 由于关于系统性能优化涉及的内容非常多,我会分几篇文章来分享. 这次分享下 定位系统层面问题的常用方法. Throughout 吞吐量 (系统每秒钟可以处理的请求数). Latency 延迟 (系统处理一个请求的延迟).

英特尔重申IoT三大战略,边缘侧布局初见成效

于09-16 08:41 - - 业界
互联网、PC时代占尽风头的英特尔,在移动互联网时代小让ARM一局后,进入物联网(IoT)时代的规划布局开始紧­­­凑. 随着边缘侧能力逐渐增强,英特尔似乎已经找到了重回主场的感觉,边缘计算也已成为英特尔近期三大战略的核心. 智能设备边缘计算需求日益增大,计算从云端下沉到边缘侧已成当下趋势. 云端布局是各大巨头公司这些年来的重头戏,但是随着一些智能设备本地数据量增大、运算效率要求提高等问题的凸显,现在还无法完全依靠云端布局来完成所有智能设备的计算和应用已经得到证实,这其中尤以视觉类智能设备应用需求最为明显.

ATM领域王者,如今成了人脸识别技术集成商,原来转型可以这么办!

于09-16 16:16 - -
从银行ATM机起步,到攻坚钞票识别技术,打破国外垄断,广电运通已连续十年占据国内ATM市场头名. 却不止步于此,2017年末,广电运通正式开启"AI(人工智能)+"战略升级,智能金融、智能交通、智能安全、智能便民等应用场景接连落地. 无论是自主研发ATM芯片技术,还是开拓人工智能领域,广电运通一直走在行业前列.

MQTT(使用mosquitto做broker)做Android推送部分总结 - Scholer的个人页面 - 开源中国

于09-16 07:39 - -
我觉得这句话用在程序员的工作中就是:在网络中找一万篇资料,在实践中做一万种尝试.
**2014-09-17:** **在本文中,由于作者事先不了解,设计不合理,使每个设备采用prefix+CLIENT_ID的方式作为topic,导致需要给每个设备的topic单独推送,才产生了一些问题,特别是推送的时间上的问题,是PHP循环往每个topic写入消息的时间.

[分享发现] 汉语中的词频及笔画数分布规律探析

于09-15 12:59 - metaquant -
一篇汉字词频与笔画数规律的数据分析小文,和大家交流,也请大佬们多指教,V2EX 不能很好的显示数学公式,所以贴上自己的博文地址和 GitHub 仓库地址:. 博文地址: https://md.metaquant.org/2018/words.html. notebook 地址: https://github.com/sorrowise/chinese_data_analysis/blob/master/chinese_data_analysis_CH.ipynb.

Bagging与Boosting

于09-15 11:18 - 孤狼18 -
        Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法. 即将弱分类器组装成强分类器的方法. 首先介绍Bootstraping,即自助法:它是一种有放回的抽样方法(可能抽到重复的样本). Bagging即套袋法,其算法过程如下:.