更新于:09-27 17:54

有关[分析]分类推荐

深入分析MySQL:事务+MVCC的实现原理!

于10-21 12:56 - 熬夜不加班 -
之前,我们分析了MySQL中索引的相关知识以及explain执行计划分析,想必大家对索引已经有了基本的认识,那么这一篇,我将为大家介绍一下MySQL中事务以及MVCC相关知识. 事务(Transaction)是由一系列对数据库中的数据进行访问与更新的操作所组成的一个程序执行单元. 在同一个事务中所进行的操作,要么都成功,要么就什么都不做.

索引失效底层原理分析,这么多年终于有人讲清楚了

于10-16 10:40 - 公众号_IT老哥 - java mysql mysql索引 mysql索引优化 索引
吊打面试官又来啦,今天我们讲讲MySQL 索引为什么会失效,很多文章和培训机构的教程,都只会告诉你,在什么情况下索引会失效. 比如:没遵循最佳左前缀法则、范围查询的右边会失效、like查询用不到索引等等. 但是没有一个人告诉你, 索引失效的原理是什么, 老哥今天就告诉大家,让你们 知其然,还要 知其所以然.

MYSQL logstash 同步数据到es的几种方案对比以及每种方案数据丢失原因分析。

于10-07 15:59 - -
MYSQL logstash 同步增量数据到ES. 最近一段时间,在使用mysql通过logstash-jdbc同步数据到es,但是总是会有一定程度数据丢失. logstash-jdbc无非是通过sql遍历数据表的所有数据,然后同步到es. 对于表里面的所有字段都需要查出来然后同步到es中去. 数据同步脚本分为全量同步与增量同步.

今日头条技术架构分析_一直在努力的小渣渣-CSDN博客_架构分析

于08-14 07:46 - -
​ ​ 今日头条创立于2012年3月,到目前仅4年时间. 从十几个工程师开始研发,到上百人,再到200余人. 产品线由内涵段子,到今日头条,今日特卖,今日电影等产品线. ​ ​ 今日头条是为用户提供个性化资讯客户端. 下面就和大家分享一下当前今日头条的数据(据内部与公开数据综合):. 2014年5月1.5亿,2015年5月3亿,2016年5月份为5亿.

JVM的逃逸分析

于08-03 11:38 - 在谷歌上百度 - java
JVM通过逃逸分析,那些逃不出方法的对象会在栈上分配. EscapeAnalysis,逃逸分析,指的是虚拟机在 运行期通过计算分析将原本在堆上分配的对象改成在栈中分配,这样的好处是栈上分配的对象随着线程的结束而自动销毁,不依赖于GC,可以降低垃圾收集器运行的频率. JVM判断新创建的对象是否逃逸的依据有两个:.

趣头条基于Flink+ClickHouse打造实时数据分析平台

于07-26 21:37 - -
趣头条一直致力于使用大数据分析指导业务发展. 目前在实时化领域主要使用 Flink+ClickHouse 解决方案,覆盖场景包括实时数据报表、Adhoc 即时查询、事件分析、漏斗分析、留存分析等精细化运营策略,整体响应 80% 在 1 秒内完成,大大提升了用户实时取数体验,推动业务更快迭代发展. Flink to Hive 的小时级场景.

HDFS+Clickhouse+Spark:从0到1实现一款轻量级大数据分析系统

于07-25 14:04 - 云加社区 -
导语 | 在产品精细化运营时代,经常会遇到产品增长问题:比如指标涨跌原因分析、版本迭代效果分析、运营活动效果分析等. 这一类分析问题高频且具有较高时效性要求,然而在人力资源紧张情况,传统的数据分析模式难以满足. 本文尝试从0到1实现一款轻量级大数据分析系统——MVP,以解决上述痛点问题. 文章作者:数据熊(笔名),腾讯云大数据分析工程师.

HttpComponents分析之连接池实现 - jinspire - 博客园

于07-17 15:19 - -
早期的Http是这样的,一次http请求完成后,立即关闭连接. 如果请求的数据非常少而次数又极多,那么通讯效率是非常低的. 其实很简单,只需在建立连接后,完成通话先等待一段时间,看对方在这段时间内是否还有话说,如果有话说,那么继续通信,否则过了这段时间后就关闭连接. 这种解决方案在Http协议中也有体现,即keep-alive.

perf + 火焰图分析程序性能 - 刘志鹏的Blog - 博客园

于06-23 14:37 - -
性能调优时,我们通常需要分析查找到程序百分比高的热点代码片段,这便需要使用 perf record 记录单个函数级别的统计信息,并使用 perf report 来显示统计结果;. -g 选项是告诉perf record额外记录函数的调用关系. -e cpu-clock 指perf record监控的指标为cpu周期.

有哪些基于ELK的亿级实时日志分析平台实践的案例? - 知乎

于06-21 10:12 - -
谢谢zhouzhou的邀请,近期猫友会旗下的大数据付费群正好进行了相关内容的分享,下面是嘉宾回答的内容,希望对你能有所帮助. 大家好,我是黄歆,目前担任斗鱼数据平台部基础架构组Leader,主要负责斗鱼数据平台部基础环境建设(Hadoop、ELK、容器集群等)及基础服务开发(发布系统、监控告警、任务调度等).

Terrier:一款功能强大的镜像&容器安全分析工具

于06-13 15:00 - Alpha_h4ck - 终端安全 容器安全分析
Terrier是一款针对OCI镜像和容器的安全分析工具,Terrier可以帮助研究人员扫描OCI镜像和容器文件,并根据哈希来识别和验证特定文件是否存在. 如需了解源代码安装步骤,请参考项目的. 工具使用必须扫描镜像的OCI TAR,这个值需要通过cfg.yml文件提供给Terrier. 下列Docker命令可以用来将一个Docker镜像转换成一个TAR文件,并提供给Terrier扫描:.

Netflix基于云的微服务架构的设计分析

于05-25 23:31 - frankinbj -
Netflix的微服务架构为其提供全球视频流服务,本篇文章将对此架构进行全面的系统设计分析. Netflix多年来一直是全球最出色的在线订阅制的视频流服务( 【12】 )之一,其占世界互联网带宽容量的15%以上. 2019年,Netflix已经获得了超过1.67亿的订阅用户,每个季度新增用户超过500万,服务涵覆盖全球200多个国家或地区.

流量分析的瑞士军刀:Zeek

于05-08 16:00 - dongne - 工具 Zeek 流量 瑞士军刀
Zeek (Bro) 是一款大名鼎鼎的开源网络安全分析工具. 通过 Zeek 可以监测网络流量中的可疑活动,通过 Zeek 的脚本可以实现灵活的分析功能,可是实现多种协议的开相机用的分析. 本文主要是将 Zeek 结合被动扫描器的一些实践的介绍,以及 Zeek 部署的踩过的一些坑. Zeek 的安装还是比较简单的,笔者主要是在 Mac 上以及 Linux 上安装.

shell 分析nginx日志 - 简书

于04-28 15:55 - -
通过日志查看当天访问页面排前10的. 通过日志查看当天ip连接数,统计ip地址的总连接数. 通过日志查看当天访问次数最多的10个IP ,只需要在上一个命令后加上head命令. 通过日志查看当天指定ip访问次数过的url和访问次数. 通过日志查看当天访问次数最多的时间段.

Istio 常见的 10 个异常分析

于04-27 07:11 - 老马 -
本文总结了使用 Istio 常见的 10 个异常. Istio 支持多平台,不过 Istio 和 Kubernetes 的兼容性是最优的,不管是设计理念,核心团队还是社区, 都有一脉相承的意思. 但 Istio 和 Kubernetes 的适配并非完全没有冲突,一个典型问题就是 Istio 需要 Kubernetes Service 按照协议进行端口命名(Port Naming).

HBase实现分析:HFile - HBase技术社区

于04-22 17:57 - -
在这里主要分析一下HFile V2的各个组成部分的一些细节,重点分析了HFile V2的多级索引的机制,接下去有时间的话会分析源码中对HFile的读写扫描操作. 如下图,HFile的组成分成四部分,分别是Scanned Block(数据block)、Non-Scanned block(元数据block)、Load-on-open(在hbase运行时,HFile需要加载到内存中的索引、bloom filter和文件信息)以及trailer(文件尾).

监听mysql的binlog日志工具分析:canal、Maxwell、Databus、DTS - 程序员大本营

于03-24 08:37 - -
阿里云的数据传输服务DTS. 定位:基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql. canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议. mysql master收到dump请求,开始推送binary log给slave(也就是canal).

Elasticsearch调优篇-慢查询分析笔记 - 个人文章 - SegmentFault 思否

于02-14 09:46 - -
elasticsearch提供了非常灵活的搜索条件给我们使用,在使用复杂表达式的同时,如果使用不当,可能也会为我们带来了潜在的风险,因为影响查询性能的因素很多很多,这篇笔记主要记录一下慢查询可能的原因,及其优化的方向. 最直观的现象就是提供查询的服务响应超时. 我们有时候写查询,为了图方遍,经常使用通配符*来查询,这有可能会匹配到多个索引,由于索引下分片太多,超过了集群中的核心数.

Docker容器安全性分析

于12-15 08:00 - 狴犴安全团队 - 系统安全 Docker 云计算 容器
Docker是目前最具代表性的容器技术之一,对云计算及虚拟化技术产生了颠覆性的影响. 本文对Docker容器在应用中可能面临的安全问题和风险进行了研究,并将Docker容器应用环境中的安全机制与相关解决方案分为容器虚拟化安全、容器安全管理、容器网络安全三部分进行分析. 一、从虚拟化安全到容器安全 .

VisualVM分析与HelloWorld、springBoot项目 - metabolism - 博客园

于12-08 07:46 - -
VisualVM分析与HelloWorld、springBoot项目. 自从1995年第一个JDK版本JDKBeta发布,至今已经快25年,这些年来Java的框架日新月异,从最开始的Servlet阶段,到SSH,SSI,SSM,springboot等,还有一些其他方向的框架微服务SpringCloud、响应式编程Spring Reactor.

携号转网的技术原理分析!

于11-23 20:20 - -
11月11日,工信部发布《携号转网服务管理规定》,标志着国内三大运营商的“携号转网”业务正式进入试运行阶段. 根据规划,从12月1日开始,“携号转网”业务将在全国范围内正式推出. “携号转网”的新闻反复刷屏,相信大家都看到了. 小枣君今天也来凑个热闹,和大家聊聊“携号转网”. 不过,我要说的不是“携号转网”的业务办理,而是更深层次的内容——.

全链路压测分析

于11-08 00:00 - - dev
最近网传,微信支付崩了,哈罗出了问题,部分公司性能测试架构师招聘又开始火热起来,现在都叫做全链路压测,那什么是全链路压测呢,跟传统压测区别是啥呢. 全链路最早是阿里提出来的,在2012年的双11,零点的时候,系统交易成功率不足50%,下单报错,购物车报错,并伴随着大量超卖,后来提出了全链路压测,这篇文章就来聊聊全链路压测的关键点.

深入理解NLP中的文本情感分析(华为)

于11-07 21:09 - 标点符 - 数据 NLP 情感分析
为什么:随着移动互联网的普及,网民已经习惯于在网络上表达意见和建议,比如电商网站上对商品的评价、社交媒体中对品牌、产品、政策的评价等等. 这些评价中都蕴含着巨大的商业价值. 比如某品牌公司可以分析社交媒体上广大民众对该品牌的评价,如果负面评价忽然增多,就可以快速采取相应的行动. 而这种正负面评价的分析就是情感分析的主要应用场景.

情感分析的现代方法(修复代码问题)

于11-07 21:09 - 标点符 - 数据 NLP 情感分析
最近在研究 情感分析的内容,翻到了《 Modern Methods for Sentiment Analysis》这篇文章,这篇文章本身讲的方法并没有什么“现代”,采用的是一些传统的方法. 这里摘录的部分内容,做一些学习. 由于原文代码可能由于版本问题都无法运行,这里重新进行了整理. Word2Vec的情感分析的作用.

使用Word2Vec/Doc2Vec对IMDB情感分析

于11-05 21:42 - 标点符 - 数据 NLP
情感分析是一种常见的自然语言处理(NLP)方法的应用,特别是在以提取文本的情感内容为目标的分类方法中. 通过这种方式,情感分析可以被视为利用一些情感得分指标来量化定性数据的方法. 尽管情绪在很大程度上是主观的,但是情感量化分析已经有很多有用的实践,比如企业分析消费者对产品的反馈信息,或者检测在线评论中的差评信息.

Docker安装ELK并实现JSON格式日志分析

于10-24 13:53 - 我的小熊不见了 - java
ELK是elastic公司提供的一套完整的日志收集以及前端展示的解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash和Kibana. 其中Logstash负责对日志进行处理,如日志的过滤、日志的格式化等;ElasticSearch具有强大的文本搜索能力,因此作为日志的存储容器;而Kibana负责前端的展示.

微服务架构下,MySQL 读写分离后,数据库 CPU 飙升卡壳问题解析

于09-21 00:00 - - dev
最近系统(基于SpringCloud+K8s)上线,运维团队早上8点左右在群里反馈,系统登录无反应. 我的第一反应是Mysql数据库扛不住了. 排查问题也是一波三折,有网络问题,也有mysql读写分离后数据库参数优化问题. 1、运维团队早上8点左右在群里反馈,系统登录无反应. 2、DevOps团队通过查看Kibana日志,发现ELK、k8s集群、Redis、Mongodb、Nigix、文件服务器全部报:”Connect Unknown Error“,惊出一身冷汗.

JVM 堆外内存泄漏分析(二)

于09-16 08:01 - coderbee - JVM 堆外内存泄漏
关于 堆外内存的组成可以看上一篇文章 JVM 堆外内存泄漏分析(一). NMT(Native Memory Tracking)是 HotSpot JVM 引入的跟踪 JVM 内部使用的本地内存的一个特性,可以通过 jcmd 工具访问 NMT 数据. NMT 目前不支持跟踪第三方本地代码的内存分配和 JDK 类库.

JVM 堆外内存泄漏分析(一)

于09-13 08:19 - coderbee - JVM K8S 堆外内存泄漏
Java 应用部署在 Kubernetes 集群里,每个容器只运行一个进程, JVM 的启动命令是打包在镜像文件里的. 常规的方式是采用 -Xmx4g -Xms2g 这样的参数来指定 JVM 堆的最大、最小尺寸,如果需要调整堆大小就需要重新打包镜像. 为了避免因为修改堆大小而重新打包,从 JDK 8u191 版本开始支持 JVM 感知容器资源限制,这样在调整 JVM 内存分配时就不需要重新打包镜像文件,采用下面的参数来使 JVM 在启动时感知到容器的资源限制,并设定堆的大小:.

[个推 CTO 谈数据智能] 之多维度分析系统的选型方法

于08-28 17:18 - jack -
“最近看到一句话:“架构设计的关键思维是判断和取舍,程序设计的关键思维是逻辑和实现”,深以为然. 文 | 个推CTO Anson. 前文回顾:《数据智能时代来临:本质及技术体系要求》作为本系列的第一篇文章,概括性地阐述了对于数据智能的理解以及推出了对应的核心技术体系要求:. 数据智能就是以数据作为生产资料,通过结合大规模数据处理、数据挖掘、机器学习、人机交互、可视化等多种技术,从大量的数据中提炼、发掘、获取知识,为人们在基于数据制定决策时提供有效的智能支持,减少或者消除不确定性.