更新于:09-21 09:10

有关[技术]分类推荐

Kafka跨数据中心迁移方案MirrorMaker使用及性能调优实践 | 网易乐得技术团队

于09-21 14:55 - -
Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案. 其实现原理,其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster,即普通的消息生产和消费. 用户只要通过简单的consumer配置和producer配置,然后启动Mirror,就可以实现准实时的数据同步.

Redis配置模板及持久化解决方案 | 网易乐得技术团队

于09-21 14:47 - -
本文根据贵金属使用Redis的经验,整理了Redis服务端配置模板、哨兵配置模板、监控项部署、持久化解决方案、Jedis客户端连接池配置说明,旨在减少大家在使用Redis过程中因为配置不当引发的问题. 后续的文章链接中也给出了之前遇到的一些问题,以及对默认配置项进行选择的原因,供大家参考. (Redis Server端版本2.8.19,客户端使用Jedis2.6.0),截止到本文发表前Redis4.0已经release,但并不影响本文的配置选择,4.0的新特性我们也会持续跟进,欢迎大家一起讨论.

Databus架构分析与初步实践(for mysql) | 网易乐得技术团队

于09-21 14:40 - -
Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统. 由LinkedIn于2013年开源. Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑. 数据传输能保证顺序性和至少一次交付的高可用性.

AIOps 核心技术和算法要点

于09-19 00:00 - - dev
AIOps已经逐渐兴起,AI算法已较为成熟,使之与运维结合到了一起,下面列出AIOps相关技术和算法要点,有空了再展开写,懂大数据和机器学习的基本都知道各个组件及算法的作用. elasticsearch(支持时序). clickhouse(支持时序). -------------推荐阅读------------.

有赞搜索系统的技术内幕

于09-18 15:37 - 有赞技术 - 程序员 工具 后端
上文说到有赞搜索系统的架构演进,为了支撑不断演进的技术架构,除了 Elasticsearch 的维护优化之外,我们也开发了上层的中间件来应对不断提高的稳定性和性能要求. Elasticsearch 的检索执行效率可以表示为:. 其中 num_of_files 表示索引文件段的个数,N 表示需要遍历的数据量,从这里我们可以总结出提升查询性能可以考虑的两点:.

ATM领域王者,如今成了人脸识别技术集成商,原来转型可以这么办!

于09-16 16:16 - -
从银行ATM机起步,到攻坚钞票识别技术,打破国外垄断,广电运通已连续十年占据国内ATM市场头名. 却不止步于此,2017年末,广电运通正式开启"AI(人工智能)+"战略升级,智能金融、智能交通、智能安全、智能便民等应用场景接连落地. 无论是自主研发ATM芯片技术,还是开拓人工智能领域,广电运通一直走在行业前列.

机器学习跌下神坛?一些技术趋势正在消失

于08-26 08:36 - -
未来,在路边等待 Uber 或 Lyft 来载你或将成为过去式,届时,我们要做的可能就是走到直升机降落场,叫上一辆无人机. 这种未来的“空中飞的”不仅将减少交通堵塞,而且省去了人类驾驶员. 说到打飞的,事实上无人机技术还远未成熟到可以为我们提供民主化交通服务的地步. 其中第一个挑战便来自于人类对自动化技术的掌握.

中国电子学会公布十大最具成长性AI技术

于08-25 20:03 - - 人工智能
雷锋网消息,当前,全球正在经历科技和产业高度耦合、深度迭加的新一轮变革,大数据的形成、理论算法的革新、计算能力的提升及网络设施的演进驱动人工智能进入新一轮创新发展高峰期,新技术持续获得突破性进展,呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等以应用为导向的新特征. 加强新一代人工智能技术的前瞻预判,准确把握全球技术创新动态及发展趋势,将为行业健康发展、资金有序进入、政策规划出台、新兴市场开拓等提供具备决策参考价值和实践指导意义的智力支撑.

浅谈GDPR技术措施中的五个关键场景

于08-21 19:47 - Elina3000 - 数据安全 GDPR
前些日子,国外调查组织的一项调研发现,在所有受访公司中,只有20%的企业完全符合GDPR标准,53%正处于实施阶段,27%尚未开始实施. 虽然GDPR合规之路任重而道远,但相比于去年的调查结果,过去的十个月已取得了长足的进步. 近期沸沸扬扬的Google、Facebook等著名互联网大厂被诉案,这些企业一旦因此新规被判输,将面临超过50亿美金的罚款,在许多在欧盟成员国有业务的国内企业也因为不能满足GDPR合规性而暂停业务,而这还只是刚刚开始.

中国芯片技术和日韩之间,究竟有多大差距?

于08-18 11:43 - 康斯坦丁 - 商业财经
笔者之所以做了这么多铺垫,主要是因特朗普的贸易战正夺走大量的国民信心,特别是针对中兴芯片的制裁,更会让人妄自菲薄,也难怪,中国人向来容易受环境和舆论影响,喜欢一概而论,缺乏深度的数理逻辑概念和细节评估,对待事物的看法容易走极端. 芯片制造,中国到底错过了什么. 相信很多人都听过摩尔定律,这个睿智的老人预言,每隔12个月,相同面积的芯片可容纳的晶体管数量就能增加一倍,制造成本则减少50%.

知乎客户端埋点流程、模型和平台技术

于08-01 00:00 - 雨舟 -
埋点作为商业智能(BI)和人工智能(AI)体系中重要的一环,是公司提升产品工程质量、实施 AB Testing、个性化推荐服务重要的数据来源. 在传统的纯 Web 和 Native 开发的产品中,埋点从技术的角度来说未必多深奥,但从业务的角度来说要做到埋点设计规范、流程高效和保证质量却是很难. 本文重点介绍一下知乎客户端的埋点模型、流程和平台技术.

大规模集群下使用P2P技术软件(Murder)分发大文件

于07-22 13:41 - lxw1234@qq.com - 大数据平台
一般情况下,在运维多台服务器的时候,使用Ansible来完成文件的分发和命令的执行. 但如果运维的机器数量多,而且内网带宽有限的情况下,比如,需要向500台机器分发一个1G大小的升级包,这时候如果使用Ansible直接分发,那么肯定会引起带宽占满,导致SSH链接超时,Ansible执行卡死,分发任务执行失败.

技术解读 | 基于fastText和RNN的语义消歧实战

于07-16 17:04 - 云脑科技 -
在我们云脑科技最近的一个项目中,需要对文本中提取的实体进行消歧(WSD, Word Sense Disambiguation),即确定某个实体在当前上下文中是我们期望的一个意义. 美国电影《坏女孩》由Myriad Pictures Inc.于2013年出品. 讲述雅蕾克丝,一个女同性恋,父母离异,母亲重新找了一个继父,却又早早自杀身亡;父亲也重新找了个继母,继母对她百般刁难.

新兴的5G技术将基于SIM卡的IoT设备置于更大的威胁之中

于06-15 13:00 - 米雪儿 - 无线安全 IoT sim
眨眼下载一部高清电影,是大家对 5G网络最普遍的认知,但这只是5G时代的冰山一角. 作为下一代移动互联网连接技术,5G将能够提供每秒数千兆位(Gbps)的下行速度,平均下载速率预计约为1Gbps/秒. 相较于前几代网络通信技术,5G技术的独特优势无疑将在智能手机和其他广泛使用的互联网移动设备上表现得更为明显.

监控技术继续升级,中国将建立追踪汽车的电子识别系统

于06-15 14:15 - -
据 《华尔街日报》周三报道,中国正在建立一个利用电子识别系统追踪汽车的全国性项目. 这个项目将于 7 月 1 日开始实施,届时新车在登记时需要在挡风玻璃上安装一个用于追踪车辆的无线射频识别(RFID)芯片. 今年内,车主在登记新车时还可以自愿选择是否安装这个芯片,但 2019 年 1 月起,新车将强制要求安装芯片.

Nginx 战斗准备 —— 优化指南 - 技术翻译 - 开源中国社区

于06-12 13:21 - -
大多数的Nginx安装指南告诉你如下基础知识——通过apt-get安装,修改这里或那里的几行配置,好了,你已经有了一个Web服务器了. 而且,在大多数情况下,一个常规安装的nginx对你的网站来说已经能很好地工作了. 然而,如果你真的想挤压出nginx的性能,你必须更深入一些. 在本指南中,我将解释Nginx的那些设置可以微调,以优化处理大量客户端时的性能.

DPI (Deep Packet Inspection) 深度包检测技术 - 简书

于05-17 10:50 - -
近年来,网络新业务层出不穷,有对等网络(Peer-to-Peer,简称 P2P)、VoIP、流媒体、Web TV、音视频聊天、互动在线游戏和虚拟现实等. 这些新业务的普及为运营商吸纳了大量的客户资源,同时也对网络的底层流量模型和上层应用模式产生了很大的冲击,带来带宽管理、内容计费、信息安全、舆论管控等一系列新的问题.

后端架构师技术图谱 architect-awesome/README.md at master · xingshaocheng/architect-awesome · GitHub

于05-13 13:26 - -
最后更新于20180502. CopyOnWrite容器. 运维 & 统计 & 技术支持. 零拷贝(Zero-copy). 分布式 Leader 节点选举. TCC(Try/Confirm/Cancel) 柔性事务. DDD(Domain-driven Design - 领域驱动设计). 《java队列——queue详细分析》.

最火实时大数据OLAP技术原理和实践

于05-09 15:28 - -
Druid在大数据领域已经不是新人了,因此可能很多读者都已经听说过Druid,甚至用过Druid,但是未必每个人都真正清晰地了解Druid到底是什么,以及在什么情况下可以用Druid. 同时,为了避免大家听了半天,却一直陷在各种细节中但仍然不知道到底在听什么东西,我们还是有必要在开始的时候先总体谈一谈Druid到底是什么.

2018微博内部技术分享春晚专场

于04-24 18:29 - - 分享
这是公司内部分享的各部门春晚保障的技术分享. 我将其中的和公司隐私相关的数据删除了,只保留了技术的介绍,总结了一些知识点. 双十一、微信红包和微博的区别(无法预期). 孟兆飞 混合云架构下微博春晚保障. 15分钟1000台全公司随时随地. 双仓库(公司内网、阿里云). 传统扩容,由于资源限制会失败.

从零开始搭建创业公司后台技术栈

于04-22 15:55 - admin - PHP
说到后台技术栈,脑海中是不是浮现的是这样一幅图. 有点眼晕,以上只是我们会用到的一些语言的合集,而且只是语言层面的一部分,就整个后台技术栈来说,这只是一个开始,从语言开始,还有很多很多的内容. 今天要说的后台是大后台的概念,放在服务器上的东西都属于后台的东西,比如使用的框架,语言,数据库,服务,操作系统等等,整个后台技术栈我的理解包括4个层面的内容:.

阿里妈妈资深技术专家刘凯鹏解读基于深度学习的智能搜索营销

于04-10 14:43 - 机器之心 -
本文结合阿里电商业务场景的特点,介绍了阿里在匹配端和排序端的基于深度学习的一些工作. 搜索营销(sponsored search)是目前广告主在互联网上进行数字化营销的主要手段之一,也是机器学习技术在工业界最成功的应用场景之一. 在搜索营销的场景下,广告主可以通过出价的方式参与流量分配,平台的主要任务是优化流量分配和计价,实现效率的最大化和生态的健康发展.

互联网高可用架构技术实践

于04-08 11:28 - -
高可用HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,. 通过设计减少系统不能提供服务的时间. 假设系统一直能够提供服务,我们说系统的可用性是100%. 如果系统每运行100个时间单位,会有1个时间单位无法提供服务,我们说系统的可用性是99%. 很多公司的高可用目标是4个9,也就是99.99%,这就意味着,系统的年停机时间为8.76个小时.

AI芯片全球战局:中国公司各自为政,何以抗衡全球技术寡头|界面新闻 · JMedia

于04-02 21:48 - -
作者:吴军宁  中科院自动化所集成中心. 如果说 2016 年 3 月份 AlphaGo 与李世石的那场人机大战只在科技界和围棋界产生较大影响的话,那么 2017 年 5 月其与排名第一的世界围棋冠军柯洁的对战则将人工智能技术推向了公众视野. 阿尔法狗(AlphaGo)是第一个击败人类职业围棋选手、第一个战胜围棋世界冠军的人工智能程序,由谷歌(Google)旗下 DeepMind 公司戴密斯 · 哈萨比斯领衔的团队开发,其主要工作原理是 “深度学习”.

美团外卖骑手背后的AI技术

于03-29 21:48 - 美团点评技术团队 -
随着数字化时代的到来,外卖市场近年来发展非常迅猛. 对外卖物流系统而言,配送效率和用户体验至关重要. 而实际配送过程是由配送员(骑手)最终完成的,因此,想要真正提升配送效率,不但要在智能调度系统(订单指派、路径规划、ETA)上下功夫,还要不断提升配送员的“附加”能力,让他们越送越“熟”,越送越“顺”,越送越“快”.

一篇文章讲清NB-IoT技术(推荐收藏)

于03-23 10:18 - -
来源:物联江湖(iot521). 欢迎转载,请保留本声明,谢谢 . 蓝牙Mesh∣从M2M到物联网∣. 一直以来,人们通过相应的终端(电脑、手机、平板等)使用网络服务,“个人”一直是网络的用户主体. 个人对网络质量的要求“高”且“统一”:玩网络游戏必需要低时延,下载文件或看网络视频则期望高带宽,通话需要声音清晰,而接收的短信绝不能有遗漏.

CTO、技术总监和技术经理有啥区别?

于02-26 20:41 - gelongmei -
CTO、技术总监和技术经理有啥区别. 最近朋友圈上被CTO的故事刷的满屏都是,着实又火了一次. 大概是某个C轮融资的医疗网站CTO被离职. 而CTO是一个知乎大V和微信大号. 此事一出,在微信群有支持也有反对之声. 支持此CTO被离职的认为其在工作时没有Review程序,自己不写代码,而是热衷出没于技术大会,写互联网圈的花边新闻.

前言 · 区块链技术指南

于02-11 09:13 - -
区块链技术是金融科技(Fintech)领域的一项重要技术创新. 作为分布式记账(Distributed Ledger Technology,DLT)平台的核心技术,区块链被认为在金融、征信、物联网、经济贸易结算、资产管理等众多领域都拥有广泛的应用前景. 区块链技术自身尚处于快速发展的初级阶段,现有区块链系统在设计和实现中利用了分布式系统、密码学、博弈论、网络协议等诸多学科的知识,为学习原理和实践应用都带来了不小的挑战.

Android Hook技术防范漫谈

于02-03 00:12 - 美团点评技术团队 -
当下,数据就像水、电、空气一样无处不在,说它是“21世纪的生产资料”一点都不夸张,由此带来的是,各行业对于数据的争夺热火朝天. 随着互联网和数据的思维深入人心,一些灰色产业悄然兴起,数据贩子、爬虫、外挂软件等等也接踵而来,互联网行业中各公司竞争对手之间不仅业务竞争十分激烈,黑科技的比拼也越发重要. 随着移动互联网的兴起,爬虫和外挂也从单一的网页转向了App,其中利用Android平台下Dalvik模式中的Xposed Installer和Cydia Substrate框架对App的函数进行Hook这一招,堪称老牌经典.

构建Uber端到端技术栈的十条经验

于02-01 09:45 - jayeye -
[size=large]我在Uber这几年,做了很多系统稳定性及可扩展性的工作, 也包括很多快速迭代试错的产品,另外还做了一些移动开发的工作,因此我对Uber的端到端的技术栈还比较熟悉. 在这里以我的经历为例跟大家分享一下如何以Uber的方式快速稳定的做一个端到端的大型应用. 我刚加入Uber时,Uber正处于飞速成长期.