更新于:10-11 15:31

有关[系统]分类推荐

美团 MySQL 数据库巡检系统的设计与应用

于06-08 00:00 - - dev
我们生活中随处可见各种巡检系统,比如电力巡检、消防检查等,正是这些巡检工作,我们才能在稳定的环境下进行工作、生活. 巡检对于数据库或者其他IT系统来说也同样至关重要,特别是在降低风险、提高服务稳定性方面起到了非常关键作用. 为了保障数据库的稳定运行,以下核心功能组件必不可少:. 图1 数据库运维保障核心功能组件 其中,数据库巡检作为运维保障体系最重要的环节之一,能够帮助我们发现数据库存在的隐患,提前治理,做到防患于未然.

拆解大数据总线平台DBus的系统架构 - 宜信技术 - 博客园

于06-06 17:31 - -
Dbus所支持两类数据源的实现原理与架构拆解. 大体来说,Dbus支持两类数据源:. 一、RMDBMS类数据源的实现. 1.1 日志抽取模块(Extractor). mysql 日志抽取模块由两部分构成:. canal server:负责从mysql中抽取增量日志. mysql-extractor storm程序:负责将增量日志输出到kafka中,过滤不需要的表数据,保证at least one和高可用.

Oracle GoldenGate系统之----双向同步数据表_ITPUB博客

于06-05 16:57 - -
双向同步与单向同步类似,但需要着重注意两个问题:防止数据循环和防止数据冲突. 在EXTRACT进程中忽略REPLICAT的事务,一般排除提取用户的操作,并且与需要同步的用户分开. 如USERID SCOTT,PASSWORD TIGER. 一般要从应用层面解决,避免操作相同的数据. 假设是A、B两个库之间的同步配置.

系统管理员应该知道的9个kubectl命令

于05-25 00:11 - Fannie -
【编者的话】kubectl是kubernetes的一个命令行管理工具,可用于Kubernetes上的应用部署和日常管理. 本文列举了9个常见的kubectl命令,并对每个命令进行了简单扼要的介绍,供大家参考. 同时,大家也可以通过文中连接获取更详细的介绍. 如今,kubernetes已成为IT基础设施管理界的老大,这也意味着系统管理员需要对其管理非常熟悉.

开源 SpringBoot+vueJs 前后端管理系统模版

于05-17 11:08 - onlythinking - 前端 vue.js java springboot 后端
一套管理系统基础模版,提供了些基础功能(包含:系统用户,菜单,权限,调度任务,常量,数据字典等功能) 方便开发人员专注于业务功能开发. 项目前后端分离,前端采用 vue+element-ui,后端采用 spring-boot. ├── app -- 应用管理(小程序). ├── dashboard -- 首页.

银行持续交付实战:一个单体系统足以撑起全球大项目

于05-10 10:06 - dbaplus社群 -
本文由 dbaplus 社群授权转载. 我们的核心系统是一个单体系统,支撑全球多个国家和地区的业务. 同时,业务部门近年生意红火,接了几个大客户,针对这些大客户的大型项目也在如火如荼地进行中. 由于生产环境只有一套,而且已经有业务在生产环境上跑,这些大项目最终也要在这套生产环境上上线. 这套系统是糅合了各地、各不同业务的复杂系统.

树莓派 3/4 已被成功刷入 Win10 ARM 系统:后者比前者快 50%,暂仅支持 1GB 内存

于05-02 11:24 - -
IT之家5月2日消息 Raspberry Pi 4(树莓派4)提供了更好的性能,附加的I/O选项,并且与树莓派3非常相似. 在2019年,就有关于黑客开发者正在研究将Windows 10 ARM桌面系统刷入树莓派的消息. 该项目取得了更大的进展,并且Windows 10后来被移植到Raspberry Pi 4,尽管它目前仅支持1 GB 内存.

Cloudflare 发布工具测试 ISP 是否部署 BGP 安全系统

于04-20 21:51 - - 安全
边界网关协议 BGP 是互联网核心基础设施的组成部分,但过去几年 BGP 发生过许多次严重的路由泄漏,导致一个网络的流量被重定向路由经过其它网络. BGP 路由泄露有可能是失误造成的,但也有的因为频繁发生而被认为潜在具有恶意. BGP 的问题在于它过于信任收到的路由广播通告. 名为 Resource Public Key Infrastructure (RPKI) 的 安全系统试图解决这个问题,通过 RPKI 来确保路由通告是合法的.

分布式定时任务调度系统技术选型

于04-12 01:21 - 老马 -
把分散的,可靠性差的计划任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式,叫做分布式定时任务. Elastic-Job是由当当网基于Quartz二次开发之后的分布式调度解决方案,由两个相对独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成.

一个极简、高效的秒杀系统(战略设计篇)

于04-02 04:54 - 老马 -
2018年,楼主所在业务线开始发力探索线上O2O业务,但楼主所在公司并非纯电商公司,电商体系标配的商品中心、库存中心、活动系统都处于萌芽阶段不成气候. 10月中旬,业务决定搞一波双十一大促提升品牌知名度. 整个大促最核心功能点就是造一个秒杀系统,为整个活动会场积蓄流量. 作为该业务线营销工作负责人,这个秒杀系统设计任务自然就落到楼主身上.

利用Jaeger打造云原生架构下分布式追踪系统

于03-13 19:25 - -
Jaeger由Uber开源并被云原生基金会(CNCF)纳入孵化项目,背后有大厂和强大的组织支持,项目目前开发活跃;. 原生支持 OpenTracing 标准(可以认为是OpenTracing协议的参考实现),支持多种主流语言,可以复用大量的 OpenTracing 组件;. 高扩展,易伸缩,没有单点故障,可以随着业务方便扩容;.

手把手教你搭建一个基于Java的分布式爬虫系统

于02-29 11:24 - Andy_Lee -
【编者的话】在不用爬虫框架的情况,经过多方学习,尝试实现了一个分布式爬虫系统,并且可以将数据保存到不同地方,类似MySQL、HBase等. 基于面向接口的编码思想来开发,因此这个系统具有一定的扩展性,有兴趣的朋友直接看一下代码,就能理解其设计思想,虽然代码目前来说很多地方还是比较紧耦合,但只要花些时间和精力,很多都是可抽取出来并且可配置化的.

分布式系统基石:Paxos

于02-22 00:10 - 老马 -
这个世界上只有一种一致性算法,那就是Paxos,其它的算法都是残次品. ——Mike Burrows(Google Chubby 的作者). Paxos是学习分布式系统无法绕开的一环,从理论上看Paxos是非常优雅的,但是实现起来就没有那么简单了. 《 The Part-Time Parliament》又看不懂,只能看《 Paxos Made Simple》和 视频教程这种东西才能维持的了生活这样子.

微服务架构:如何用十步解耦你的系统?

于02-14 14:04 - 风平浪静如码 -
耦合性,是对模块间关联程度的度量. 耦合的强弱取决于模块间接口的复杂性、调用模块的方式以及通过界面传送数据的多少. 模块间的耦合度是指模块之间的依赖关系,包括控制关系、调用关系、数据传递关系. 模块间联系越多,其耦合性越强,同时表明其独立性越差. 软件设计中通常用耦合度和内聚度作为衡量模块独立程度的标准.

290家公司都在用的任务调度系统,还在Github上开源了

于01-17 00:00 - - tuicool
今天,和大家介绍一个轻量级分布式任务调度平台,开发迅速、学习简单、轻量级、易扩展,290家公司都在用,它就是XXL-JOB,包括比较知名的大众点评,京东,优信二手车,北京尚德,360金融 (360),联想集团 (联想),易信 (网易)等等..... 目前,xxl-job已经在Github上已经标星12.1K,Fork有5.2K(Github地址:https://github.com/xuxueli/xxl-job).

学习分布式系统需要怎样的知识?

于01-12 12:55 - 齐达内 -
我的 PhD 研究方向是分布式系统,我老板也是分布式系统出身,我们实验室在这方面的积累还算不错,所以借此问题谈谈自己的看法. 首先需要说明的是,分布式系统是一个复杂且宽泛的研究领域,学习一两门在线课程,看一两本书可能都是不能完全覆盖其所有内容的. 介于这篇文章是引导初学者入门,所以我个人觉得为初学者介绍一下当前分布式系统领域的全貌,也许比直接推荐论文和课程更有帮助.

Prometheus 与 Grafana:监控报警系统中的银弹

于01-12 00:00 - - dev
监控报警是服务稳定的基础,是性能优化的重要依据,是可以未雨绸缪的重大利器. 现代系统赋予了监控报警重要地位,近年来随着微服务设计理念不断成熟与广泛使用,做为系统方案的设计者,监控的选择和使用将是搭建系统不可或缺的一个环节. Prometheus和Grafana像一组黄金搭档一样出现在了历史的洪流中,就像当年PHP和MYSQL一样.

两万字深度介绍分布式系统原理

于12-14 09:03 - -
在具体的工程项目中,一个节点往往是一个操作系统上的进程. 在本文的模型中,认为节点是一个完整的、不可分的整体,如果某个程序进程实际上由若干相对独立部分构成,则在模型中可以将一个进程划分为多个节点. 机器宕机:机器宕机是最常见的异常之一. 在大型集群中每日宕机发生的概率为千分之一左右,在实践中,一台宕机的机器恢复的时间通常认为是24 小时,一般需要人工介入重启机器.

使用implicit搭建实时推荐系统

于10-11 19:05 - 标点符 - 数据 程序 Python 推荐算法
Implicit是一个开源的系统过滤项目,其包含多种流行的推荐算法,主要应用场景是针对隐性反馈行为进行推荐. ALS(alternating least squares),最小交替二乘法. BRP(Bayesian Personalized Ranking),贝叶斯个性化排序. 使用Cosine, TFIDF 或 BM25的近邻模型.

等保系统如何用密码

于10-11 16:50 - -
当前,我国金融和重要领域的密码应用逐渐深入,不少责任单位都在考虑如何更好地应用密码技术来提高网络信息系统的安全保障水平. 但由于密码技术不太普及,很多单位对信息系统中究竟该如何使用密码技术产品不太清楚,对于我国的有关密码管理政策也不太熟悉. 最近这几篇,密小白就专门跟大家一起来学习相关的技术应用要求和管理相关规定,希望对大家有用.

分布式向量搜索系统 Vearch

于10-10 16:04 - - 数据库管理工具
Vearch 是一个分布式向量搜索系统,可以用来计算向量相似度,或用于机器学习领域,如:图像识别、视频识别或自然语言处理等各个领域. 本系统基于 Faiss 实现, 提供了快速的向量检索功能. 提供类似 Elasticsearch 的 Restful API 可以方便地对数据及表结构进行管理查询等工作.

复盘:如何从0-1设计SaaS行业CRM系统

于10-02 11:07 - 阿猫阿狗 - 产品设计 2年 CRM系统 初级
笔者复盘了做一个SaaS行业CRM系统的关键节点以及重要事项. 从项目启动到现在差不多大半年的时间,这半年中我经历了CRM系统从0-1的搭建过程. 不过与以往接触的CRM系统不同,这次我主要负责的系统是面向SaaS行业. 从产品形态上看,SaaS行业属于B2B行业大类,但也有着其独有的特征. 这篇文章我希望通过讲故事的方式分享我在V1.0版本时遇到的业务问题以及解决方案,大家如果有不一样的见解,也欢迎大家在评论区进行问题探讨.

再谈主数据管理系统(9.23)

于09-23 08:45 - 人月神话 - SOA架构实施
对于MDM主数据管理在我前两年的博客文章中谈的比较多,由于MDM一直不是我们重点研发的一个产品,因此最近关注的并不太多,但是对于SOA或ESB的应标会经常遇到客户有MDM主数据管理的需求,因此对于主数据管理系统的建设再做下简单的说明. 基础层应该具备的两个关键功能-ETL和流程引擎. 对于主数据管理系统的基础层应该具备两个关键能力,一个是ETL,一个是流程引擎.

[译] 支付核心系统设计:Airbnb 的分布式事务方案简介

于09-21 00:00 - - dev
导读:微服务架构下的支付系统,由于其需要在性能和一致性之间做很多权衡,带来设计和实现的复杂性. Airbnb的支付系统需要对接全球很多个国家的支付系统,因此带来很大的复杂性. 本文详细论述了Airbnb如何使用分布式事务的相关技术来保证支付系统的数据一致性和性能,十分值得一读. 过去几年中,Airbnb一直在将其基础架构迁移到SOA.

保证分布式系统数据一致性的6种方案 - 左正 - 博客园

于09-20 07:12 - -
编者按:本文由「高可用架构后花园」群讨论整理而成. 在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性. 具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败. A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务.

拆解大数据总线平台DBus的系统架构

于09-12 10:29 - 宜信技术学院 - 大数据
拓展阅读: 大数据总线平台DBus设计思路与工作原理. 如何基于日志,同步实现数据的一致性和实时抽取?. 快速部署DBus体验实时数据流计算. Dbus所支持两类数据源的实现原理与架构拆解. 大体来说,Dbus支持两类数据源:. 一、RMDBMS类数据源的实现. 1.1 日志抽取模块(Extractor).

IJCAI 2019 丨利用半参表示算法缓解推荐系统中的冷启动问题

于08-31 19:08 - - 人工智能学术
由于常见电商、视频等推荐系统 (淘宝首猜、优酷推荐等) 用户量巨大, 而且用户个性化兴趣差异明显, Item-CF 较于 User-CF 有着天然的巨大优势,它因此被广泛运用于推荐系统中. 常见的 Item-CF 推荐系统中, 服务器收到用户访问请求, 经解析、查询得到用户 profile(包括用户长期画像、历史足迹等) 后,通过 Item2Item、tag 等方式进行候选召回,参与后续排序和后处理.

[个推 CTO 谈数据智能] 之多维度分析系统的选型方法

于08-28 17:18 - jack -
“最近看到一句话:“架构设计的关键思维是判断和取舍,程序设计的关键思维是逻辑和实现”,深以为然. 文 | 个推CTO Anson. 前文回顾:《数据智能时代来临:本质及技术体系要求》作为本系列的第一篇文章,概括性地阐述了对于数据智能的理解以及推出了对应的核心技术体系要求:. 数据智能就是以数据作为生产资料,通过结合大规模数据处理、数据挖掘、机器学习、人机交互、可视化等多种技术,从大量的数据中提炼、发掘、获取知识,为人们在基于数据制定决策时提供有效的智能支持,减少或者消除不确定性.

系统架构之引言(墨菲定律、康威定律) - 小白进阶 - CSDN博客

于08-25 13:31 - -
任何事都没有表面看起来那么简单. 所有的事都会比你预计的时间长;. 如果你担心某种情况发生,那么它就更有可能发生. “墨菲定律”的根本内容是“凡是可能出错的事有很大几率会出错”,指的是任何一个事件,只要具有大于零的机率,就不能够假设它不会发生. 第一定律:组织沟通方式会通过系统设计表达出来. 组织的沟通和系统设计之间的紧密联系,解决好人与人的沟通问题,才能有一个好的系统设计.

重读Youtube深度学习推荐系统论文,字字珠玑,惊为神文

于07-28 00:00 - - tuicool
这里是 王喆的机器学习笔记 ,每隔一到两周我会站在算法工程师的角度讲解一些计算广告、推荐系统相关的文章. 二是阿里、facebook、google等一线互联网公司出品的;. 这周我们一起讨论一下Youtube的深度推荐系统论文 《Deep Neural Networks for YouTube Recommendations》 ,这是2016年的论文,按照今天的标准来看,已经没有什幺新颖的地方,我也是两年前读过这篇文章之后就放下了,但前几天重读这篇文章,竟让发现了诸多亮点,几乎处处是套路,处处是经验,不由惊为神文.