更新于:03-11 06:59

有关[技术]分类推荐

数据库内核的快照技术实现原理 - 吴祖洋的技术博客

于06-05 21:04 - -
"快照(Snapshot)"是数据库领域非常重要的一个概念, 最初是用于数据备份. 如今, 快照技术已经成为数据库内核(引擎)最核心的技术特性之一. 数据库内核的绝大多数操作, 都依赖于快照, 例如,. LevelDB的每一次读取操作和遍历操作, 其内部都必须创建一个快照, 所以, 对于一个请求量非常大的系统, 数据库内核每秒种就要创建和销毁几十万次快照.

【得物技术】看完这篇异地多活的改造,我决定和架构师battle一下

于06-01 17:23 - 得物技术 -
异地多活的概念以及为什么要做异地多活这里就不进行概述了. 概念性的很多,像什么同城双活、两地三中心、三地五中心等等概念. 如果有对这些容灾架构模式感兴趣的可以阅读下这篇文章进行了解: 《浅谈业务级灾备的架构模式》. 阅读本篇文章之前,我们先明确一下背景,这样大家后续在看的时候就不会产生困惑. 得物多活改造一期目前有两个机房,分别是机房A和机房B.

前端技术学习路线图

于05-28 15:02 - tianqixin -
以下 Web 开发人员学习路线图是来自 Github developer-roadmap 项目,目前已经有繁体版翻译 developer-roadmap-chinese. 主要有三个方向,分别为前端开发、后端开发和运维. 可以看到,作为 Web 开发者,不管从事什么职位,下面这些技能点是必须掌握的:.

微前端框架核心技术揭秘

于02-22 10:02 - tisontang - 技术干货 其他 前端开发 微前端
2016年由ThoughtWorks提出了一种类似微服务的概念“微前端”(Micro Frontend),其后该概念在web领域逐渐落地,在前端技术领域出现了繁多的微前端框架. 本文将向你介绍有关微前端的概念、意义,带你走近微前端框架,揭秘那些“不为人知”的巧妙技术实现. 虽然它在2016年就被提出,但是直至今天,我们仍然只能描述它的轮廓,无法给它清晰下定义.

程序员必知的分布式容错和降级技术

于03-13 00:00 - - dev
关注公众号:35岁程序员那些事,后台回复关键词“参与抽奖”,获取抽奖链接,点击抽奖.  中奖之后,可以联系笔者的微信号或者公众号后台回复关键词“联系笔者”,获取联系方式. 分布式容错和降级是微服务架构中应对瞬时大流量的最佳解决方案. 推荐使用Spring Cloud Alibaba+Sentinel.

数仓建模—ID Mapping - 大数据技术派 - 博客园

于03-05 19:54 - -
早晨起床的时候,发现自己尿分叉,我没有多想,简单洗洗就匆忙出门. 路过早餐店,我看到师傅熟练的拉扯一小块面团,拉至细长条,然后放入油锅中,不一会功夫,一根屎黄色的油条便出锅了,卖相不错. 我在想,小到炸屎黄色的油条,大到学习,其实都是一个熟能生巧的过程. 数据仓库系列文章(持续更新). 数仓—ID Mapping.

六张表格让你快速搞定新技术团队

于02-26 20:03 - admin - 架构和远方 团队管理 空降落地 管理新手
如果你是一新手管理者,或者你是一个刚升职,从带一个几人的小团队到带几十人的团队,或者你空降到一个新公司做技术管理,都可以看一下这六张表格. 要搞定一个新技术团队,主要是四步:. 前三步中我总结了六个表格来梳理这些结构,在这些结构的基础上我们明确团队的目标,并执行下去,将会有一个不错的结果. 弄清楚有哪些人的关键点是人才梯队和人才发展计划的表格,确认哪些会有下一步晋升,哪些可能会走,哪些是有问题的,做好 1v1 沟通,先熟悉起来,了解每个人的工作状态,特别是核心骨干.

微前端框架核心技术揭秘

于02-22 10:02 - 否子戈 - 技术干货 前端开发 微前端
2016年由ThoughtWorks提出了一种类似微服务的概念“微前端”(Micro Frontend),其后该概念在web领域逐渐落地,在前端技术领域出现了繁多的微前端框架. 本文将向你介绍有关微前端的概念、意义,带你走近微前端框架,揭秘那些“不为人知”的巧妙技术实现. 虽然它在2016年就被提出,但是直至今天,我们仍然只能描述它的轮廓,无法给它清晰下定义.

DDD CQRS 架构和传统架构的优缺点比较 - .net技术精选 - 开发者头条

于01-03 16:55 - -
最近几年,在DDD的领域,我们经常会看到CQRS架构的概念. 我个人也写了一个ENode框架,专门用来实现这个架构. CQRS架构本身的思想其实非常简单,就是读写分离. 就像我们用MySQL数据库的主备,数据写到主,然后查询从备来查,主备数据的同步由MySQL数据库自己负责,这是一种数据库层面的读写分离.

drone | CI/CD | 基于容器技术的持续交付平台

于01-03 02:40 - - CI/CD CI/CD
Drone 分为 Server 和 Runner 两部分. 需要与 源代码控制 相结合, 这里与 GitHub 相结合. You can install a single Docker runner, or install the Docker runner on multiple machines to create your own build cluster..

Apache Log4j2 远程代码执行漏洞处置手册 – 绿盟科技技术博客

于12-11 09:40 - -
12月9日,绿盟科技CERT监测到网上披露Apache Log4j2 远程代码执行漏洞,由于Apache Log4j2某些功能存在递归解析功能,未经身份验证的攻击者通过发送特别构造的数据请求包,可在目标服务器上执行任意代码. 漏洞PoC已在网上公开,默认配置即可进行利用,该漏洞影响范围极广,建议相关用户尽快采取措施进行排查与防护.

千万不要用新技术重新开发一次啊_阿朱=行业趋势+开发管理+架构-CSDN博客

于12-05 08:02 - -
我个人有个洞察:2023年,中国云计算技术开始成熟,可依赖使用了. 也就是说你过去是买它的云服务器,然后在服务器里安装自己的东西. 但2023年以后,你不需要这么搞了,它上面有啥数据库&数据湖仓、中间件、运维&安全等等你都可以直接使用了,你不需要为你的应用基础做思考,你只关注你的应用就行了. 也就是说,你以后的工作基础是在以下这些基础设施之上工作的:.

Facebook宣布不再使用人脸识别技术 将删除超过10亿用户数据

于11-03 10:32 - - TechWeb
11月3日消息:Facebook 今天凌晨宣布,该公司将终止使用人脸识别系统,并将删除超过10亿人的人脸识别模板. 数据显示,已有超过三分之一的日活用户(逾6亿个账户)在Facebook上选择使用人脸识别技术. Facebook人脸识别系统可以自动识别发布在社交媒体的照片和视频中人的面部. 据报道,此举是新更名的Meta公司人工智能副总裁Jerome Pesenti在一篇博文中提及,Pesenti表示,Facebook将在未来几周关闭其面部识别系统,删除超过10亿人的个人面部识别数据,「作为公司对于面部识别使用限制的一部分」.

数据同步工具之FlinkCDC/Canal/Debezium对比-技术圈

于10-31 12:10 - -
数据准实时复制(CDC)是目前行内实时数据需求大量使用的技术,随着国产化的需求,我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发,逐步实现对商业产品的替代. 本文把市面上常见的几种开源产品,Canal、Debezium、Flink CDC 从原理和适用做了对比,供大家参考. 本文首发微信公众号《import_bigdata》.

基于Binlog的实时同步功能——debezium、canel、databus技术选型 | holmofy

于10-30 23:19 - -
去年的一篇文章大致地讲了我对MQ的一些认识,事实上Kafka在内的现代MQ,功能远不止这些. 后面整理好自己的思路,肯定会再写一篇文章来讲讲. 这篇文章的主角就是与MQ息息相关的CDC技术. CDC全称叫:change data capture,是一种基于数据库数据变更的事件型软件设计模式. 比如有一张订单表trade,订单每一次变更录入到一张trade_change的队列表.

容器的四大基础技术

于09-17 08:54 - [email protected] (linux) -
命名空间、控制组、seccomp 和 SELinux 构成了在系统上构建和运行一个容器进程的 Linux 技术基础. 在以前的文章中,我介绍过  容器镜像 及其  运行时. 在本文中,我研究了容器是如何在一些特殊的 Linux 技术基础上实现的,这其中包括命名空间和控制组. 图1:对容器有贡献的 Linux 技术(Nived Velayudhan,  CC BY-SA 4.0).

美团外卖实时数仓建设实践 - 美团技术团队

于08-27 08:00 - -
实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标. 美团外卖数据智能组总结的最佳实践是:一个通用的实时生产平台跟一个通用交互式实时分析引擎相互配合,同时满足实时和准实时业务场景. 两者合理分工,互相补充,形成易开发、易维护且效率高的流水线,兼顾开发效率与生产成本,以较好的投入产出比满足业务的多样性需求.

现代API渗透技术

于08-12 22:56 - -
API 有多种不同的形式,攻击 API 的方法会因这些形式的不同而有很大差异. 在一篇文章中涵盖所有攻击类型是不可能的,下面我重点介绍其中一部分. 与 Web 应用程序非常相似,API 可以具有不同级别的可见性. 有些可以通过互联网访问,而有些则只能在内部使用. API 攻击方式之一就是简单地访问你应该无法访问的 API.

Axon Saga的使用 | event sourcing | CQRS | axon | DDD | EdisonXu的技术分享

于08-01 10:01 - -
在上一篇里面,我们正式的使用了CQRS模式完成了AXON的第一个真正的例子,但是细心的朋友会发现一个问题,创建订单时并没有检查商品库存. 库存是否足够直接回导致订单状态的成功与否,在并发时可能还会出现超卖. 当库存不足时还需要回滚订单,所以这里出现了复杂的跨Aggregate事务问题. Saga就是为解决这里复杂流程而生的.

CQRS基本概念 | event sourcing | CQRS | axon | EdisonXu的技术分享

于08-01 09:26 - -
在研究微服务的过程中,跨服务的操作处理,尤其是带有事务性需要统一commit或rollback的,是比较麻烦的. 本系列记录了我在研究这一过程中的心得体会. 本篇主要就以下几个问题进行介绍:. 什么是EventSourcing. EventSourcing和CQRS的关系. CQRS/ES怎么解决微服务的难题.

k8s 重置,更换网络插件_云深不知处的技术博客_51CTO博客

于07-28 19:27 - -
在master节点删除flannel. 安装完毕后使用docker images 查看容器镜像可以看见如下以calico打头的镜像.

如何写好技术文档——来自Google十多年的文档经验

于07-27 12:33 - xindoo - java
本文大部分内容翻译总结自《Software Engineering at Google》 第10章节 _Documentation_. 另外,该书电子版近日已经可以免费下载了 https://abseil.io/resources/swe_at_google.2.pdf,有兴趣的同学可以下载翻阅下.

rsync+inotify-tools实现数据实时同步方案_Ljohn的技术博客_51CTO博客

于07-07 15:30 - -
与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等. 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足.

远大集团预制装配技术让一栋10层高楼在一天内建成

于06-17 08:47 - -
据外媒报道,预制装配式建筑被设计成可以在很短的时间内组装在一起--这是它们的一大吸引力所在. 不过估计很难找到一栋楼房能像中国远大集团最近建成的这座10层住宅楼那样快. 据悉, 这座大楼仅用了一天多一点的时间--准确地说,是28小时45分钟. 该高层建筑采用了远大集团的Living Building预制结构体系.

Oracle里收集与查看统计信息的方法_DBA Fighting!的技术博客_51CTO博客

于06-08 08:51 - -
Oracle数据库里的统计信息是这样的一组数据:它存储在数据字典里,且从多个维度描述了Oracle数据库里对象的详细信息. CBO会利用这些统计信息来计算目标SQL各种可能的、不同的执行路径的成本,并从中选择一条成本值最小的执行路径来作为目标SQL的执行计划. Oracle数据库里的统计信息可以分为如下6种类型:.

数据库内核的快照技术实现原理

于06-04 22:10 - ideawu - 数据库
"快照(Snapshot)"是数据库领域非常重要的一个概念, 最初是用于数据备份. 如今, 快照技术已经成为数据库内核(引擎)最核心的技术特性之一. 数据库内核的绝大多数操作, 都依赖于快照, 例如, LevelDB 的每一次读取操作和遍历操作, 其内部都必须创建一个快照, 所以, 对于一个请求量非常大的系统, 数据库内核每秒种就要创建和销毁几十万次快照.

长连接网关技术专题(四):爱奇艺WebSocket实时推送网关技术实践

于05-17 23:12 - Jack Jiang -
本文由爱奇艺技术团队原创分享,原题《构建通用WebSocket推送网关的设计与实践》,有优化和改动. 丛所周之,HTTP协议是一种无状态、基于TCP的请求/响应模式的协议,即请求只能由客户端发起、由服务端进行响应. 在大多数场景,这种请求/响应的Pull模式可以满足需求. 但在某些情形:例如消息推送(IM中最为常见,比如IM的离线消息推送)、实时通知等应用场景,需要实时将数据同步到客户端,这就要求服务端支持主动Push数据的能力.

这个被马斯克嫌弃的新技术,为什么在中国越来越火?

于05-08 20:33 - -
2021 年,中国就有三款搭载激光雷达的量产车型发布,不出意外的话,年底就有不少量产车型跑在路上. 在刚刚过去的车展上,小鹏 P5、极狐阿尔法 S 均在激光雷达上铆足了劲宣传,加上 2020 年美国「造车新势力」lucid Air 车型发布,激光雷达上车变成了一种趋势. 而就在前几年,激光雷达与摄像头的技术路线还是行业内讨论最热烈的分歧之一,马斯克甚至喊出「激光雷达上车是件蠢事」.

使用logstash同步至ES的几个坑 - 一位帅气的网友的个人空间 - OSCHINA - 中文开源技术交流社区

于04-26 15:52 - -
记录使用logstash从sqlserver同步数据到ES中遇到的几点问题. 使用的版本是es6.8.3+logstash6.8.3. jdbc_driver_library => "/usr/local/logstash-6.8.3/logstashconfs/sqljdbc4.jar"#sqlserver的驱动jar包jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver".

千人万面奇妙自见:爱奇艺短视频推荐技术中多兴趣召回技术的演变

于04-23 17:28 - 爱奇艺技术产品团队 -
推荐系统的本质是信息过滤,多个信息漏斗将用户最感兴趣的内容逐步呈现在用户面前,如图1所示(《爱奇艺短视频推荐之粗排模型优化历程》). 召回阶段作为首个漏斗从多个维度将海量视频中用户可能感兴趣的内容滤出交给后续排序技术处理,它直接决定着后续推荐结果的效果上限. 本文主要介绍爱奇艺随刻推荐团队多兴趣召回技术的发展历程.