更新于:10-11 15:31

有关[系统]分类推荐

利用Jaeger打造云原生架构下分布式追踪系统

于03-13 19:25 - -
Jaeger由Uber开源并被云原生基金会(CNCF)纳入孵化项目,背后有大厂和强大的组织支持,项目目前开发活跃;. 原生支持 OpenTracing 标准(可以认为是OpenTracing协议的参考实现),支持多种主流语言,可以复用大量的 OpenTracing 组件;. 高扩展,易伸缩,没有单点故障,可以随着业务方便扩容;.

手把手教你搭建一个基于Java的分布式爬虫系统

于02-29 11:24 - Andy_Lee -
【编者的话】在不用爬虫框架的情况,经过多方学习,尝试实现了一个分布式爬虫系统,并且可以将数据保存到不同地方,类似MySQL、HBase等. 基于面向接口的编码思想来开发,因此这个系统具有一定的扩展性,有兴趣的朋友直接看一下代码,就能理解其设计思想,虽然代码目前来说很多地方还是比较紧耦合,但只要花些时间和精力,很多都是可抽取出来并且可配置化的.

分布式系统基石:Paxos

于02-22 00:10 - 老马 -
这个世界上只有一种一致性算法,那就是Paxos,其它的算法都是残次品. ——Mike Burrows(Google Chubby 的作者). Paxos是学习分布式系统无法绕开的一环,从理论上看Paxos是非常优雅的,但是实现起来就没有那么简单了. 《 The Part-Time Parliament》又看不懂,只能看《 Paxos Made Simple》和 视频教程这种东西才能维持的了生活这样子.

微服务架构:如何用十步解耦你的系统?

于02-14 14:04 - 风平浪静如码 -
耦合性,是对模块间关联程度的度量. 耦合的强弱取决于模块间接口的复杂性、调用模块的方式以及通过界面传送数据的多少. 模块间的耦合度是指模块之间的依赖关系,包括控制关系、调用关系、数据传递关系. 模块间联系越多,其耦合性越强,同时表明其独立性越差. 软件设计中通常用耦合度和内聚度作为衡量模块独立程度的标准.

290家公司都在用的任务调度系统,还在Github上开源了

于01-17 00:00 - - tuicool
今天,和大家介绍一个轻量级分布式任务调度平台,开发迅速、学习简单、轻量级、易扩展,290家公司都在用,它就是XXL-JOB,包括比较知名的大众点评,京东,优信二手车,北京尚德,360金融 (360),联想集团 (联想),易信 (网易)等等..... 目前,xxl-job已经在Github上已经标星12.1K,Fork有5.2K(Github地址:https://github.com/xuxueli/xxl-job).

学习分布式系统需要怎样的知识?

于01-12 12:55 - 齐达内 -
我的 PhD 研究方向是分布式系统,我老板也是分布式系统出身,我们实验室在这方面的积累还算不错,所以借此问题谈谈自己的看法. 首先需要说明的是,分布式系统是一个复杂且宽泛的研究领域,学习一两门在线课程,看一两本书可能都是不能完全覆盖其所有内容的. 介于这篇文章是引导初学者入门,所以我个人觉得为初学者介绍一下当前分布式系统领域的全貌,也许比直接推荐论文和课程更有帮助.

Prometheus 与 Grafana:监控报警系统中的银弹

于01-12 00:00 - - dev
监控报警是服务稳定的基础,是性能优化的重要依据,是可以未雨绸缪的重大利器. 现代系统赋予了监控报警重要地位,近年来随着微服务设计理念不断成熟与广泛使用,做为系统方案的设计者,监控的选择和使用将是搭建系统不可或缺的一个环节. Prometheus和Grafana像一组黄金搭档一样出现在了历史的洪流中,就像当年PHP和MYSQL一样.

两万字深度介绍分布式系统原理

于12-14 09:03 - -
在具体的工程项目中,一个节点往往是一个操作系统上的进程. 在本文的模型中,认为节点是一个完整的、不可分的整体,如果某个程序进程实际上由若干相对独立部分构成,则在模型中可以将一个进程划分为多个节点. 机器宕机:机器宕机是最常见的异常之一. 在大型集群中每日宕机发生的概率为千分之一左右,在实践中,一台宕机的机器恢复的时间通常认为是24 小时,一般需要人工介入重启机器.

使用implicit搭建实时推荐系统

于10-11 19:05 - 标点符 - 数据 程序 Python 推荐算法
Implicit是一个开源的系统过滤项目,其包含多种流行的推荐算法,主要应用场景是针对隐性反馈行为进行推荐. ALS(alternating least squares),最小交替二乘法. BRP(Bayesian Personalized Ranking),贝叶斯个性化排序. 使用Cosine, TFIDF 或 BM25的近邻模型.

等保系统如何用密码

于10-11 16:50 - -
当前,我国金融和重要领域的密码应用逐渐深入,不少责任单位都在考虑如何更好地应用密码技术来提高网络信息系统的安全保障水平. 但由于密码技术不太普及,很多单位对信息系统中究竟该如何使用密码技术产品不太清楚,对于我国的有关密码管理政策也不太熟悉. 最近这几篇,密小白就专门跟大家一起来学习相关的技术应用要求和管理相关规定,希望对大家有用.

分布式向量搜索系统 Vearch

于10-10 16:04 - - 数据库管理工具
Vearch 是一个分布式向量搜索系统,可以用来计算向量相似度,或用于机器学习领域,如:图像识别、视频识别或自然语言处理等各个领域. 本系统基于 Faiss 实现, 提供了快速的向量检索功能. 提供类似 Elasticsearch 的 Restful API 可以方便地对数据及表结构进行管理查询等工作.

复盘:如何从0-1设计SaaS行业CRM系统

于10-02 11:07 - 阿猫阿狗 - 产品设计 2年 CRM系统 初级
笔者复盘了做一个SaaS行业CRM系统的关键节点以及重要事项. 从项目启动到现在差不多大半年的时间,这半年中我经历了CRM系统从0-1的搭建过程. 不过与以往接触的CRM系统不同,这次我主要负责的系统是面向SaaS行业. 从产品形态上看,SaaS行业属于B2B行业大类,但也有着其独有的特征. 这篇文章我希望通过讲故事的方式分享我在V1.0版本时遇到的业务问题以及解决方案,大家如果有不一样的见解,也欢迎大家在评论区进行问题探讨.

再谈主数据管理系统(9.23)

于09-23 08:45 - 人月神话 - SOA架构实施
对于MDM主数据管理在我前两年的博客文章中谈的比较多,由于MDM一直不是我们重点研发的一个产品,因此最近关注的并不太多,但是对于SOA或ESB的应标会经常遇到客户有MDM主数据管理的需求,因此对于主数据管理系统的建设再做下简单的说明. 基础层应该具备的两个关键功能-ETL和流程引擎. 对于主数据管理系统的基础层应该具备两个关键能力,一个是ETL,一个是流程引擎.

[译] 支付核心系统设计:Airbnb 的分布式事务方案简介

于09-21 00:00 - - dev
导读:微服务架构下的支付系统,由于其需要在性能和一致性之间做很多权衡,带来设计和实现的复杂性. Airbnb的支付系统需要对接全球很多个国家的支付系统,因此带来很大的复杂性. 本文详细论述了Airbnb如何使用分布式事务的相关技术来保证支付系统的数据一致性和性能,十分值得一读. 过去几年中,Airbnb一直在将其基础架构迁移到SOA.

保证分布式系统数据一致性的6种方案 - 左正 - 博客园

于09-20 07:12 - -
编者按:本文由「高可用架构后花园」群讨论整理而成. 在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性. 具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败. A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务.

拆解大数据总线平台DBus的系统架构

于09-12 10:29 - 宜信技术学院 - 大数据
拓展阅读: 大数据总线平台DBus设计思路与工作原理. 如何基于日志,同步实现数据的一致性和实时抽取?. 快速部署DBus体验实时数据流计算. Dbus所支持两类数据源的实现原理与架构拆解. 大体来说,Dbus支持两类数据源:. 一、RMDBMS类数据源的实现. 1.1 日志抽取模块(Extractor).

IJCAI 2019 丨利用半参表示算法缓解推荐系统中的冷启动问题

于08-31 19:08 - - 人工智能学术
由于常见电商、视频等推荐系统 (淘宝首猜、优酷推荐等) 用户量巨大, 而且用户个性化兴趣差异明显, Item-CF 较于 User-CF 有着天然的巨大优势,它因此被广泛运用于推荐系统中. 常见的 Item-CF 推荐系统中, 服务器收到用户访问请求, 经解析、查询得到用户 profile(包括用户长期画像、历史足迹等) 后,通过 Item2Item、tag 等方式进行候选召回,参与后续排序和后处理.

[个推 CTO 谈数据智能] 之多维度分析系统的选型方法

于08-28 17:18 - jack -
“最近看到一句话:“架构设计的关键思维是判断和取舍,程序设计的关键思维是逻辑和实现”,深以为然. 文 | 个推CTO Anson. 前文回顾:《数据智能时代来临:本质及技术体系要求》作为本系列的第一篇文章,概括性地阐述了对于数据智能的理解以及推出了对应的核心技术体系要求:. 数据智能就是以数据作为生产资料,通过结合大规模数据处理、数据挖掘、机器学习、人机交互、可视化等多种技术,从大量的数据中提炼、发掘、获取知识,为人们在基于数据制定决策时提供有效的智能支持,减少或者消除不确定性.

系统架构之引言(墨菲定律、康威定律) - 小白进阶 - CSDN博客

于08-25 13:31 - -
任何事都没有表面看起来那么简单. 所有的事都会比你预计的时间长;. 如果你担心某种情况发生,那么它就更有可能发生. “墨菲定律”的根本内容是“凡是可能出错的事有很大几率会出错”,指的是任何一个事件,只要具有大于零的机率,就不能够假设它不会发生. 第一定律:组织沟通方式会通过系统设计表达出来. 组织的沟通和系统设计之间的紧密联系,解决好人与人的沟通问题,才能有一个好的系统设计.

重读Youtube深度学习推荐系统论文,字字珠玑,惊为神文

于07-28 00:00 - - tuicool
这里是 王喆的机器学习笔记 ,每隔一到两周我会站在算法工程师的角度讲解一些计算广告、推荐系统相关的文章. 二是阿里、facebook、google等一线互联网公司出品的;. 这周我们一起讨论一下Youtube的深度推荐系统论文 《Deep Neural Networks for YouTube Recommendations》 ,这是2016年的论文,按照今天的标准来看,已经没有什幺新颖的地方,我也是两年前读过这篇文章之后就放下了,但前几天重读这篇文章,竟让发现了诸多亮点,几乎处处是套路,处处是经验,不由惊为神文.

掌握 Android 系统架构,看这一篇就够了!

于07-27 00:00 - - jianshu
Android系统庞大且错综复杂,今天小编将带领大家初探Android系统整体架构,一窥其全貌. 本文作为Android系统架构的开篇,起到提纲挈领的作用,从系统整体架构角度概要讲解Android系统的核心技术点,带领大家初探Android系统全貌以及内部运作机制. 虽然Android系统非常庞大且错综复杂,需要具备全面的技术栈,但整体架构设计清晰.

分布式系统的负载均衡 | 架构干货

于07-17 15:40 - 泥瓦匠 - java
记得第一次接触 Nginx 是在实验室,那时候在服务器部署网站需要用 Nginx. Nginx 是一个服务组件,用来反向代理、负载平衡和 HTTP 缓存等. 负载均衡(LB,Load Balance),是一种技术解决方案. 用来在多个资源(一般是服务器)中分配负载,达到最优化资源使用,避免过载. 资源,相当于每个服务实例的执行操作单元,负载均衡就是将大量的数据处理操作分摊到多个操作单元进行执行,用来解决互联网分布式系统的大流量、高并发和高可用的问题.

日志系统:一条SQL更新语句是如何执行的?

于07-17 11:09 - -
林晓斌 2018-11-16. 讲述:林晓斌 大小:8.66M. 前面我们系统了解了一个查询语句的执行流程,并介绍了执行过程中涉及的处理模块. 相信你还记得,一条查询语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块,最后到达存储引擎. 那么,一条更新语句的执行流程又是怎样的呢. 之前你可能经常听 DBA 同事说,MySQL 可以恢复到半个月内任意一秒的状态,惊叹的同时,你是不是心中也会不免会好奇,这是怎样做到的呢.

Feed 流系统设计总纲

于07-14 13:53 - aoyouzi -
差不多十年前,随着功能机的淘汰和智能机的普及,互联网开始进入移动互联网时代,最具代表性的产品就是微博、微信,以及后来的今日头条、快手等. 这些移动化联网时代的新产品在过去几年间借着智能手机的风高速成长. 这些产品都是 Feed 流类型产品,由于 Feed 流一般是按照时间“从上往下流动”,非常适合在移动设备端浏览,最终这一类应用就脱颖而出,迅速抢占了上一代产品的市场空间.

伦敦警方人脸识别系统错误率或超80%,遭专家呼吁停用

于07-07 13:48 - -
人脸识别技术在英国掀起巨大争议. 据英国卫报和天空新闻台报道,一份来自英国艾塞克斯大学的独立报告显示,伦敦警察厅通过面部识别技术锁定的嫌疑犯中,竟有 81% 是无辜的,属于完全的识别错误. 这意味着在很多情况下,不在警察通缉名单上的人,也可能被系统识别为嫌疑人通报给警方. 报告结果不仅显示出,系统的成功率低得让人大跌眼镜,更激起了部分专家对警方使用人脸识别技术的担忧,呼吁停用该技术.

树莓派4到手,你了解它所使用的新版Debian系统吗?

于07-05 14:03 - 机器之心 -
树莓派 4 的发布引起了巨大的关注,但是很多人可能没有发现树莓派还发了新版本的 Raspbian. 树莓派 4 一直致力于保持软件与旧硬件的向后兼容性,因此树莓派所有型号的标准 Raspbian 镜像都基于最新版本的 Debian Linux——Buster. 电影《玩具总动员》中的小狗 Buster.

如何避免分布式支付系统中重复支付的问题(Airbnb)

于06-30 17:33 - -
Airbnb已经将它的基础设施迁移到了SOA架构上. SOA提供了诸多好处,例如研发人员分工更专业化,可以快速迭代等. 然而,由于它给数据完整性带来了更多的困难,对于订单及支付应用而言也面临更多挑战. 一次API调用了某个服务,又会调用到下游服务的API,每个服务都会更新状态,因此也会产生副作用,这就相当于在执行一个复杂的分布式事务.

深度对话俞军:关于产品经理的价值、天赋、能力、成长及未来,最系统的分享

于06-22 12:16 - -
过去七年多时间里,作为产品经理,我在网易、知乎创始团队、豆瓣和豌豆荚经手了十几款产品;创业做「职人社」后,我以职业经纪人的身份,与数百位产品经理交流职场心得. 感受很明显:越来越多的年轻人选择产品经理这个热门职业,希望站在舞台最中央,改变世界;也有一些人独自在产品之路上探索,在「产品经理会失业吗」的质疑声中,黯淡离场.

P2P 文件分发系统 Dragonfly

于12-26 12:48 - - 存储系统
Dragonfly(蜻蜓)是阿里自研的 P2P 文件分发系统,用于解决大规模文件分发场景下分发耗时、成功率低、带宽浪费等难题. 大幅提升发布部署、数据预热、大规模容器镜像分发等业务能力. 开源版的 Dragonfly 可用于 P2P 文件分发、容器镜像分发、局部限速、磁盘容量预检等. 它支持多种容器技术,对容器本身无需做任何改造,镜像分发比 natvie 方式提速可高达 57 倍,Registry 网络出流量降低99.5%以上.

直播系统中使用SEI传输用户自定义数据方案讨论 - 简书

于06-18 13:36 - -
      在直播系统中,除了直播音视频之外,有时候还想从主播端发布文本信息等,这些信息可以不通过视频传输通道发送给用户播放端,但如果传输的数据想和视频保持精准同步,那最好的办法就是这些信息和视频数据打包在一起传输, 通过h264 sei方式就可以把数据放入h264 Access Unit中传输.      H264 SEI 基本知识介绍:.