更新于:10-22 12:01

有关[系统]分类推荐

高并发系统-如何做服务化拆分

于01-03 20:56 - 技术驿站 -
一般早期架构是 一体化架构(Monolithic Architecture),简单来说就是所有的业务都在一个后台服务来承载. 例如,一个Java web应用运行在Tomcat之类web容器上,仅包含单个WAR文件;一个Rails应用使用Phusion Passenger部署在Apache/Nginx上,或者使用JRuby部署在Tomcat上,它们都仅包含单个目录结构.

打造企业级智能问答系统的秘密:如何使用云数据库 PostgreSQL 版实现向量检索...

于11-16 14:01 - -
本文就如何利用火山引擎云数据库 PostgreSQL 版和大语言模型技术(Large Language Model,简称 LLM),实现企业级智能交互式问答系统进行介绍. 通过本文,你将会了解交互式问答系统的原理,学习 PostgreSQL 的向量化存储和检索技术,以及大语言模型交互技术等. 在大数据的浪潮下,众多企业建立了自己的知识库,以便于信息检索和知识查询.

用Rust写一个支持UEFI的操作系统 (1) - Have a bite

于10-19 08:32 - -
该用UEFI写操作系统教程了. 有很多操作系统教程和 YouTube 视频. 然而,它们中的大多数都是为 BIOS 模式启动编写的. 然而,现在已经2023年了,离Intel开源UEFI的实现已经整整19年了. 同时,Intel正在抛弃传统的 x86_64架构,转向只支持64位的 x86_64s.

程序员必知的 89 个操作系统核心概念

于07-29 00:00 - - dev
☞【干货】 嵌入式驱动工程师学习路线☞【干货】 一个可以写到简历的Linux物联网综合项目☞【干货】 Linux嵌入式知识点-思维导图-免费获取☞【干货】 我的新书《从零开始学ARM》正式上线. 来自:Java 建设者. 操作系统(Operating System,OS):是管理计算机硬件与软件资源的系统 软件,同时也是计算机系统的 内核与基石.

高并发系统设计思路

于07-29 11:52 - 刻意思考 -
不管是哪一门语言,并发都是程序员们最为头疼的部分. 同样,对于一个软件而言也是这样,你可以很快增删改查做出一个秒杀系统,但是要让它支持高并发访问就没那么容易了. 如何让系统面对百万级的请求流量不出故障. 如何保证高并发情况下数据的一致性写. 作为一个架构师,首先要勾勒出一个轮廓,如何构建一个超大流量并发读写、高性能,以及高可用的系统,这其中有哪些要素需要考虑.

Linux系统中负载较高问题排查思路与解决方法 - 朝明 - 博客园

于07-08 12:01 - -
Load 就是对计算机干活多少的度量,Load Average 就是一段时间(1分钟、5分钟、15分钟)内平均Load. 通过top命令查找占用CPU最高的进程PID;. 通过top -Hp PID查找占用CPU最高的线程TID;. 对于java程序,使用jstack打印线程堆栈信息(可联系业务进行排查定位);.

系统中出现大量不可中断的进程和僵尸进程怎么办

于05-04 14:13 - -
系统中出现大量不可中断的进程和僵尸进程怎么办. 短时应用的运行时间比较短,很难在top或者ps这里系统展示概要和进程快照中发现,需要使用记录事件的工具来配合诊断,比如execsnoop或者perf top. 讲到cpu使用率的类型,除用户cpu之外,还包括系统cpu(上下文切换)、等待io的cpu(等待磁盘的响应)以及中断cpu(包括软中断和硬中断)等.

推荐系统:基于内容的过滤

于04-20 14:09 - MobotStone -
上一篇文章我们介绍了 推荐系统:ARL(关联规则学习),可以通过关联规则挖掘算法Apriori来实现关联规则推荐系统,今天我们来聊聊如何通过基于内容的过滤来实现推荐系统. 基于内容的过滤是用作推荐系统的另一种常用方法之一. 内容的相似性是根据产品元数据计算的,它提供了制定推荐的选择,推荐与用户过往购买过的产品相关性最相似的产品.

Linux 系统安全检查

于04-09 10:53 - -
对linux系统进行安全检查的方法. 1、充分利用Linux和Unix系统中内置的检查命令来检测系统. Linux和Unix系统中就很有用处: . -who,查看谁登陆到系统中; . -w,查看谁登陆到系统中,且在做什么操作; . -last,显示系统曾经被登陆的用户和TTYS; . -history,显示系统过去被运行的命令; .

【干货】你还在为分布式系统数据一致性而烦恼吗,来来来!!!

于03-17 18:22 - 小蚂蚁技术 -
觉得不错请按下图操作,掘友们,哈哈哈. 博主最近在做分布式事务这块业务,所以在选型的过程中,对比了当下比较流行的解决方案,在这里坐下记录,欢迎jym提出更好的方案哦. 一:分布式消息怎么保证数据的最终一致性:. 1.1 添加消息中间表方案:. 为了保证原子性,我们可以变通一下,添加一个消息表,A不直接往消息中间件中发消息,而是把消息写入消息表,然后通过一个后台程序不断的把消息写入消息中间件.

不存在百分百的安全,该给你的系统上个保险了

于03-22 10:51 - - 架构运维
故障,是每个技术人都不愿遇到,但却总会遇到的事件. 程序Bug、安全漏洞、黑客攻击、服务器宕机、网络中断等诸多因素都有可能引发系统故障,使我们的业务面临瘫痪的窘境. 这样的例子,国内外都在不断的发生,比如:. 2020年,由于严重的全澳性IT故障,Coles的收银机全部不能联网,down机瘫痪. 收银员扫不了货品顾客也不能结账,澳洲每家Coles超市都被迫暂时关闭.

机房不能访问互联网,轻松搞定系统部署 | 小碼哥

于03-20 16:20 - -
创业这段时间以来,我们的 IoT 系统已经在不少客户的机房做了私有化部署,客户大多都是机加工厂、商业大楼、医院和大学实验室等,客户的机房都有一个相同的特点:私有云,与外网隔离,不能访问互联网. 或者更为准确的说,是我们部署的服务器不能访问互联网,在没有互联网访问权限的情况下,系统的包管理工具(yum/apt/docker)都无法使用了,在这种情况下进行系统部署安装,费时费力,而且无法进行远程部署维护,也大大增加了项目的实施成本.

工作十年,在腾讯沉淀的高可用系统架构设计经验

于03-14 10:48 - 腾讯云开发者 -
在系统的开发过程中,很多开发者都为了实现系统的高可用性而发愁. 本文从研发规范层面、应用服务层面、存储层面、产品层面、运维部署层面、异常应急层面这六大层面去剖析一个高可用系统的架构设计需要有哪些关键的设计和考虑. 希望腾讯的经验方法,能够给广大开发者提供参考. 内容较长,您可以收藏后持续阅读. 1 高可用系统的架构设计思想.

从系统架构分析安全问题及应对措施

于03-04 13:58 - 京东云开发者 -
在日常生产生活中,我们常说,“安全第一”、“安全无小事”. 围绕着安全问题,在各行各业都有对各类常见安全问题的解决方案和突发安全问题的应急预案. 在互联网、软件开发领域,我们日常工作中对各类常见的安全问题又有哪些常见的解决方案呢. 在此,结合经典架构图做一个梳理. 下面,结合上述的经典架构图,对数据存储、微服务接口、外网数据传输及APP层可能出现的安全问题进行分析,并给出一些常见的应对措施.

开源API越权漏洞检测系统推荐:IDOR_detect_tool

于03-03 01:19 - - 开源推荐 开源
相信大部分读者跟我一样,每天都在写各种API为Web应用提供数据支持,那么您是否有想过您的API是否足够安全呢. Web应用的安全是网络安全中不可忽视的关键方面. 我们必须确保其Web应用与后台通信的安全,以防止数据泄露,因为这可能导致重大的财务损失和声誉受损. 而在Web应用的安全问题中,最常见的漏洞之一是不安全的直接对象引用,简称:IDOR.

小程序是如何设计百亿级用户画像分析系统的?

于03-02 10:18 - 腾讯云开发者 -
导语 | We 分析是微信小程序官方推出的、面向小程序服务商的数据分析平台,其中画像洞察是一个非常重要的功能模块. 微信开发工程师钟文波将描述 We 分析画像系统各模块是如何设计,在介绍基础标签模块之后,重点讲解用户分群模块设计. 希望相关的技术实现思路,能够对你有所启发. We 分析是小程序官方推出的、面向小程序服务商的数据分析平台,其中画像洞察是一个重要的功能模块.

MySQL扛不住?B站千亿级点赞系统服务架构设计

于02-26 14:57 - -
为了在提供上述能力的前提下经受住流量、存储、容灾三大压力,点赞目前的系统实现方式如下:. 整个点赞服务的系统可以分为五个部分. 流量路由层(决定流量应该去往哪个机房). 业务网关层(统一鉴权、反黑灰产等统一流量筛选). 点赞服务(thumbup-service),提供统一的RPC接口. 点赞异步任务(thumbup-job).

OceanBase 数据库的系统架构

于01-31 14:12 - -
OceanBase 数据库采用 Shared-Nothing 架构,各个节点之间完全对等,每个节点都有自己的 SQL 引擎、存储引擎,运行在普通 PC 服务器组成的集群之上,具备可扩展、高可用、高性能、低成本、云原生等核心特性. OceanBase 数据库的整体架构如下图所示. OceanBase 数据库支持数据跨地域(Region)部署,每个地域可能位于不同的城市,距离通常比较远,所以 OceanBase 数据库可以支持多城市部署,也支持多城市级别的容灾.

分布式微服务系统的跨库查询/操作的解决思路(关系型数据库)

于01-16 18:34 - 守望时空33 -
在后端开发过程中,我们绕不开的就是数据结构设计以及关联的问题. 然而在传统的单体架构的开发中,解决数据关联的问题并不难,通过关系型数据库中的关联查询功能,以及MyBatis的级联功能即可实现. 但是在分布式微服务中, 整个系统都被拆分成了一个个单独的模块,每个模块也都是使用的单独的数据库. 这种情况下,又如何解决不同模块之间数据关联问题呢.

分布式系统下的认证与授权 (insights.thoughtworks.cn)

于01-04 00:00 - - jianshu
在软件系统设计中,如何让应用能够在各种环境中安全高效的访问是个复杂的问题,这个问题的背后是一系列软件设计时需要考虑的架构安全问题: 架构安全性 | 凤凰架构. 认证:系统如何识别合法用户,也就是解决. 授权:系统在识别合法用户后,还需要解决. 凭证:系统如何保证它与用户之间的承诺是双方真实意图的体现,是准确、完整且不可抵赖的;.

Apache ShardingSphere在转转亿级交易系统落地实践

于12-29 17:02 - 转转技术团队 -
这几年随着转转二手业务的快速发展,订单系统的基础性能问题也愈发严重,作为系统运转的基石,订单库压力不容小觑. 大促期间DB压力大,单库查询qps上万占用大量数据库资源,写性能大大降低;. 数据与日剧增,单库中包含非常多数据量过数亿的大表,占用空间接近服务器的容量上限;. 数据量太大,数据备份和恢复需要耗费很长时间,极端情况下丢失数据的风险越高.

知识图谱增强下的智能推荐系统与应用-于敬

于11-17 15:35 - 达观数据 - 人工智能 推荐系统 深度学习 自然语言处理 知识图谱
随着互联网技术的迅速发展,尤其是移动互联网的兴起,新产生的信息呈现爆炸式的增长. 为了更好地解决信息获取中的信息过载(Information Overload)和长尾问题(Long Tail),推荐系统应运而生,目前基本上已经成为了各种产品的标配功能. 推荐系统是信息过滤系统的一个分支,它可以自动地挖掘用户和物品之间的联系.

使用Excel搭建推荐系统

于11-13 23:06 - 钱魏Way - 器→工具 工具软件 数据 术→技巧 机器学习
在上一篇 重新认识Excel的文章中,提到了Excel无所不能,然后就想到了曾经看到的这篇关于如何使用Excel搭建推荐引擎的文章. 于是找了出来做了下简单的翻译(只翻译了重点部分). 在互联网上有无限的货架空间,找到你想看的东西可能会让人筋疲力尽. 幸运的是,与决策疲劳作斗争是 Netflix 的工作……而且他们很擅长.

京东售后系统架构设计:专治多端并发、数据不一致的臭毛病

于10-28 08:45 - -
通过阅读本文,您将了解到一个售后系统应该具备的一些能力、在整个上下游系统中的定位、基本的系统架构,以及针对售后业务场景中常见问题的解决方案. 京东到家售后系统作为逆向流,强依赖京东到家业务域,目前涵盖了:退款、退货、换货、维修等四大类场景,并且为用户与商家提供申诉、仲裁场景支持,为计费与结算系统提供逆向金额数据支持.

实战 Go:如何实现一个简单分布式系统

于10-26 13:19 - MarvinZhang -
如今很多云原生系统、分布式系统,例如 Kubernetes,都是用 Go 语言写的,这是因为 Go 语言天然支持异步编程,而且静态语言能保证应用系统的稳定性. 笔者的开源项目 Crawlab 作为爬虫管理平台,也应用到了分布式系统. 本篇文章将介绍如何用 Go 语言编写一个简单的分布式系统. 在开始写代码之前,我们先思考一下需要实现些什么.

电商搜索里都有啥?详解闲鱼搜索系统(长文)

于09-27 11:19 - 闲鱼技术 -
搜索是电商平台的核心流量入口,承载着平台主要的 成交引导、 意图收敛、 活动投放. 一个稳定、高效、可扩展的搜索系统是电商平台得以生存发展的基石. 本文探讨如何构建 完善的商品搜索系统, 并根据闲鱼二手交易的差异化特性介绍 闲鱼搜索系统的时效性优化. 首先,构建一个搜索系统——电商场景的搜索.

如何快速熟悉业务系统

于09-04 17:20 - 物联网小黑 -
“我报名参加金石计划1期挑战——瓜分10万奖池,这是我的第1篇文章, 点击查看活动详情”. 作为开发人员在工作中,最常见遇到以下问题:新人入职需要学习已有系统,被调到新的项目组参与陌生的系统迭代,维护一个离职同事负责的系统等等. 这些都是工作中避免不了的难题,那么我们应该怎样快速应对这些场景呢. 我觉得主要应该从两方面入手,主要分为业务学习和技术学习.

编程语言是如何实现并发的之操作系统篇 · 构建我的被动收入

于09-04 14:26 - -
调度(Scheduling). 用户线程(User-level Thread). 线程模型(Thread Model). 上下文切换(Context switching). I/O模型(I/O Model). 这是一台拥有2个虚拟CPU核心的. CPU代表当前线程运行的CPU核心编号. 红框③中是程序的运行命令,其中绿色代表的是.

Linux文件系统inode详解

于08-13 09:50 - 钱魏Way - 器→工具 工具软件 Linux
文件系统是操作系统中负责管理持久数据的子系统,说简单点,就是负责把用户的文件存到磁盘硬件中,因为即使计算机断电了,磁盘里的数据并不会丢失,所以可以持久化的保存文件. 文件系统的基本数据单位是文件,它的目的是对磁盘上的文件进行组织管理,那组织的方式不同,就会形成不同的文件系统. Linux 最经典的一句话是:「一切皆文件」,不仅普通的文件和目录,就连块设备、管道、socket 等,也都是统一交给文件系统管理的.

大规模分布式系统中的级联故障

于08-02 11:55 - w9527 -
互联网服务提供商面临快速增长挑战的同时还要管理不断增长的系统分布. 尽管服务的可靠运行对 Google、Amazon 和 Co. 等公司来说非常重要,但它们的系统还是会一次又一次地出现故障,导致大量中断和糟糕的客户体验. 举几个例子,比如受到影响的 Gmail (2012) [1]、AWS DynamoDB (2015) [2] 以及最近的 Facebook (2021) [3].