更新于:12-17 21:50

有关[分析]分类推荐

这些 Shell 分析服务器日志命令集锦,收藏好了~

于01-05 00:00 - - tuicool
自己的小网站跑在阿里云的 ECS 上面, 偶尔也去分析分析自己网站服务器日志,看看网站的访问量. 于是收集,整理一些服务器日志分析命令,大家可以试试. 1、查看有多少个IP访问:. 2、查看某一个页面被访问的次数:. 3、查看每一个IP访问了多少个页面:. awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file > log.txt sort -n -t ' ' -k 2 log.txt 配合sort进一步排序.

JVM 内存分析工具 MAT 的深度讲解与实践——进阶篇

于12-29 10:32 - Q的博客 -
注:本文原创,转发需标明作者及原文链接. 【0广告微信公众号:Q的博客】. 本系列共三篇文章, 本文是系列第2篇——进阶篇,详细讲解 MAT 各种工具的 核心功能、用法、适用场景,并在具体实战场景下讲解帮大家学习如何针对各类内存问题. JVM 内存分析工具 MAT 的深度讲解与实践——入门篇》 介绍 MAT 产品功能、基础概念、与其他工具对比、Quick Start 指南.

分析:借蚂蚁以一儆百 中国对监管指向清晰

于12-27 21:38 - -
中国金融监管部门再次约谈蚂蚁集团后,指这家互联网金融巨头存在“违规监管套利”等四大问题,要求集团“回归支付本源”,从五方面整顿改造. 分析认为,政府对互联网平台的监管指向日渐清晰,并通过向蚂蚁开刀以一儆百,让互联网金融业者为加速整改做好准备. 中国人民银行、银保监会、证监会和外汇局26日联合约谈蚂蚁集团,中国人民银行副行长潘功胜今天代表四部门对外介绍情况时指出,蚂蚁存在的四大问题:包括公司治理机制不健全;法律意识淡漠,藐视监管合规要求,存在违规监管套利行为;利用市场优势地位排斥同业经营者;损害消费者合法权益,引发消费者投诉等.

深度解析 Raft 分布式一致性协议

于12-17 09:15 - Q的博客 -
注:本文原创,转载请先通过公众号或掘金联系作者申请. 定期发送干货,实践经验、系统总结、源码解读、技术原理. 笔者期望通过一篇权威靠谱、清晰易懂的系统性文章,帮助读者深入理解 Raft 算法,并能付诸于工程实践中,同时解读不易理解或容易误解的关键点. 本文是 Raft 实战系列理论内容的整合篇,我们结合 Raft 论文讲解 Raft 算法思路,并遵循 Raft 的模块化思想对难理解及容易误解的内容抽丝剥茧.

分布式搜索引擎Elasticsearch的架构分析

于12-08 01:51 - vivo互联网技术 -
ES(Elasticsearch下文统一称为ES)越来越多的企业在业务场景是使用ES存储自己的非结构化数据,例如电商业务实现商品站内搜索,数据指标分析,日志分析等,ES作为传统关系型数据库的补充,提供了关系型数据库不具备的一些能力. ES最先进入大众视野的是其能够实现全文搜索的能力,也是由于基于Lucene的实现,内部有一种倒排索引的数据结构.

ClickHouse在手淘流量分析业务实践

于12-05 10:00 - DataFunTalk -
导读:本文主要介绍手淘流量分析业务发展过程中,实时性业务分析需求的产生,实时分析目标的设定,如何进行技术的选型,以及如何基于ClickHouse构建系统架构和未来的业务预期. 流量分析与业务背景:什么是流量分析,以及我们的业务背景"大数据"带来的难题:当你的数据量是守恒的时候,需要怎么处理你的数据技术选型与产品考虑:在以上背景下,我们在技术选择和产品考虑时,都做了哪些考虑,以及为什么最终选择ClickHouse,并给大家介绍一些技术解决方案.

服务注册中心 | 记一次 Consul 故障分析与优化

于11-22 03:52 - 爱奇艺技术 -
在微服务体系中,服务注册中心是最基础的组件,它的稳定性会直接影响整个服务体系的稳定性. 本文主要介绍了爱奇艺微服务平台基于 Consul 的服务注册中心建设方式,与内部容器平台、API 网关的集成情况,并重点记录了 Consul 遇到的一次故障,分析解决的过程,以及针对这次故障从架构上的优化调整措施.

数据分析的 5 种细分方法

于10-31 00:00 - - dev
在数据分析工作中,细分思维的重要性,我认为再怎么强调都不为过. 然而,很多人可能会采取一些「偷懒」的做法,浅尝辄止,不去寻找合适的细分方法,导致没有得出更有价值的分析结论. 下面我们通过一些示例,介绍 5 种常见的细分方法. 时间可以细分为不同的跨度,包括年、月、周、日、时、分、秒等等,不同的时间跨度,数据表现可能大不相同.

深入分析MySQL:事务+MVCC的实现原理!

于10-21 12:56 - 熬夜不加班 -
之前,我们分析了MySQL中索引的相关知识以及explain执行计划分析,想必大家对索引已经有了基本的认识,那么这一篇,我将为大家介绍一下MySQL中事务以及MVCC相关知识. 事务(Transaction)是由一系列对数据库中的数据进行访问与更新的操作所组成的一个程序执行单元. 在同一个事务中所进行的操作,要么都成功,要么就什么都不做.

索引失效底层原理分析,这么多年终于有人讲清楚了

于10-16 10:40 - 公众号_IT老哥 - java mysql mysql索引 mysql索引优化 索引
吊打面试官又来啦,今天我们讲讲MySQL 索引为什么会失效,很多文章和培训机构的教程,都只会告诉你,在什么情况下索引会失效. 比如:没遵循最佳左前缀法则、范围查询的右边会失效、like查询用不到索引等等. 但是没有一个人告诉你, 索引失效的原理是什么, 老哥今天就告诉大家,让你们 知其然,还要 知其所以然.

MYSQL logstash 同步数据到es的几种方案对比以及每种方案数据丢失原因分析。

于10-07 15:59 - -
MYSQL logstash 同步增量数据到ES. 最近一段时间,在使用mysql通过logstash-jdbc同步数据到es,但是总是会有一定程度数据丢失. logstash-jdbc无非是通过sql遍历数据表的所有数据,然后同步到es. 对于表里面的所有字段都需要查出来然后同步到es中去. 数据同步脚本分为全量同步与增量同步.

今日头条技术架构分析_一直在努力的小渣渣-CSDN博客_架构分析

于08-14 07:46 - -
​ ​ 今日头条创立于2012年3月,到目前仅4年时间. 从十几个工程师开始研发,到上百人,再到200余人. 产品线由内涵段子,到今日头条,今日特卖,今日电影等产品线. ​ ​ 今日头条是为用户提供个性化资讯客户端. 下面就和大家分享一下当前今日头条的数据(据内部与公开数据综合):. 2014年5月1.5亿,2015年5月3亿,2016年5月份为5亿.

JVM的逃逸分析

于08-03 11:38 - 在谷歌上百度 - java
JVM通过逃逸分析,那些逃不出方法的对象会在栈上分配. EscapeAnalysis,逃逸分析,指的是虚拟机在 运行期通过计算分析将原本在堆上分配的对象改成在栈中分配,这样的好处是栈上分配的对象随着线程的结束而自动销毁,不依赖于GC,可以降低垃圾收集器运行的频率. JVM判断新创建的对象是否逃逸的依据有两个:.

趣头条基于Flink+ClickHouse打造实时数据分析平台

于07-26 21:37 - -
趣头条一直致力于使用大数据分析指导业务发展. 目前在实时化领域主要使用 Flink+ClickHouse 解决方案,覆盖场景包括实时数据报表、Adhoc 即时查询、事件分析、漏斗分析、留存分析等精细化运营策略,整体响应 80% 在 1 秒内完成,大大提升了用户实时取数体验,推动业务更快迭代发展. Flink to Hive 的小时级场景.

HDFS+Clickhouse+Spark:从0到1实现一款轻量级大数据分析系统

于07-25 14:04 - 云加社区 -
导语 | 在产品精细化运营时代,经常会遇到产品增长问题:比如指标涨跌原因分析、版本迭代效果分析、运营活动效果分析等. 这一类分析问题高频且具有较高时效性要求,然而在人力资源紧张情况,传统的数据分析模式难以满足. 本文尝试从0到1实现一款轻量级大数据分析系统——MVP,以解决上述痛点问题. 文章作者:数据熊(笔名),腾讯云大数据分析工程师.

HttpComponents分析之连接池实现 - jinspire - 博客园

于07-17 15:19 - -
早期的Http是这样的,一次http请求完成后,立即关闭连接. 如果请求的数据非常少而次数又极多,那么通讯效率是非常低的. 其实很简单,只需在建立连接后,完成通话先等待一段时间,看对方在这段时间内是否还有话说,如果有话说,那么继续通信,否则过了这段时间后就关闭连接. 这种解决方案在Http协议中也有体现,即keep-alive.

perf + 火焰图分析程序性能 - 刘志鹏的Blog - 博客园

于06-23 14:37 - -
性能调优时,我们通常需要分析查找到程序百分比高的热点代码片段,这便需要使用 perf record 记录单个函数级别的统计信息,并使用 perf report 来显示统计结果;. -g 选项是告诉perf record额外记录函数的调用关系. -e cpu-clock 指perf record监控的指标为cpu周期.

有哪些基于ELK的亿级实时日志分析平台实践的案例? - 知乎

于06-21 10:12 - -
谢谢zhouzhou的邀请,近期猫友会旗下的大数据付费群正好进行了相关内容的分享,下面是嘉宾回答的内容,希望对你能有所帮助. 大家好,我是黄歆,目前担任斗鱼数据平台部基础架构组Leader,主要负责斗鱼数据平台部基础环境建设(Hadoop、ELK、容器集群等)及基础服务开发(发布系统、监控告警、任务调度等).

Terrier:一款功能强大的镜像&容器安全分析工具

于06-13 15:00 - Alpha_h4ck - 终端安全 容器安全分析
Terrier是一款针对OCI镜像和容器的安全分析工具,Terrier可以帮助研究人员扫描OCI镜像和容器文件,并根据哈希来识别和验证特定文件是否存在. 如需了解源代码安装步骤,请参考项目的. 工具使用必须扫描镜像的OCI TAR,这个值需要通过cfg.yml文件提供给Terrier. 下列Docker命令可以用来将一个Docker镜像转换成一个TAR文件,并提供给Terrier扫描:.

Netflix基于云的微服务架构的设计分析

于05-25 23:31 - frankinbj -
Netflix的微服务架构为其提供全球视频流服务,本篇文章将对此架构进行全面的系统设计分析. Netflix多年来一直是全球最出色的在线订阅制的视频流服务( 【12】 )之一,其占世界互联网带宽容量的15%以上. 2019年,Netflix已经获得了超过1.67亿的订阅用户,每个季度新增用户超过500万,服务涵覆盖全球200多个国家或地区.

流量分析的瑞士军刀:Zeek

于05-08 16:00 - dongne - 工具 Zeek 流量 瑞士军刀
Zeek (Bro) 是一款大名鼎鼎的开源网络安全分析工具. 通过 Zeek 可以监测网络流量中的可疑活动,通过 Zeek 的脚本可以实现灵活的分析功能,可是实现多种协议的开相机用的分析. 本文主要是将 Zeek 结合被动扫描器的一些实践的介绍,以及 Zeek 部署的踩过的一些坑. Zeek 的安装还是比较简单的,笔者主要是在 Mac 上以及 Linux 上安装.

shell 分析nginx日志 - 简书

于04-28 15:55 - -
通过日志查看当天访问页面排前10的. 通过日志查看当天ip连接数,统计ip地址的总连接数. 通过日志查看当天访问次数最多的10个IP ,只需要在上一个命令后加上head命令. 通过日志查看当天指定ip访问次数过的url和访问次数. 通过日志查看当天访问次数最多的时间段.

Istio 常见的 10 个异常分析

于04-27 07:11 - 老马 -
本文总结了使用 Istio 常见的 10 个异常. Istio 支持多平台,不过 Istio 和 Kubernetes 的兼容性是最优的,不管是设计理念,核心团队还是社区, 都有一脉相承的意思. 但 Istio 和 Kubernetes 的适配并非完全没有冲突,一个典型问题就是 Istio 需要 Kubernetes Service 按照协议进行端口命名(Port Naming).

HBase实现分析:HFile - HBase技术社区

于04-22 17:57 - -
在这里主要分析一下HFile V2的各个组成部分的一些细节,重点分析了HFile V2的多级索引的机制,接下去有时间的话会分析源码中对HFile的读写扫描操作. 如下图,HFile的组成分成四部分,分别是Scanned Block(数据block)、Non-Scanned block(元数据block)、Load-on-open(在hbase运行时,HFile需要加载到内存中的索引、bloom filter和文件信息)以及trailer(文件尾).

监听mysql的binlog日志工具分析:canal、Maxwell、Databus、DTS - 程序员大本营

于03-24 08:37 - -
阿里云的数据传输服务DTS. 定位:基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql. canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议. mysql master收到dump请求,开始推送binary log给slave(也就是canal).

Elasticsearch调优篇-慢查询分析笔记 - 个人文章 - SegmentFault 思否

于02-14 09:46 - -
elasticsearch提供了非常灵活的搜索条件给我们使用,在使用复杂表达式的同时,如果使用不当,可能也会为我们带来了潜在的风险,因为影响查询性能的因素很多很多,这篇笔记主要记录一下慢查询可能的原因,及其优化的方向. 最直观的现象就是提供查询的服务响应超时. 我们有时候写查询,为了图方遍,经常使用通配符*来查询,这有可能会匹配到多个索引,由于索引下分片太多,超过了集群中的核心数.

Docker容器安全性分析

于12-15 08:00 - 狴犴安全团队 - 系统安全 Docker 云计算 容器
Docker是目前最具代表性的容器技术之一,对云计算及虚拟化技术产生了颠覆性的影响. 本文对Docker容器在应用中可能面临的安全问题和风险进行了研究,并将Docker容器应用环境中的安全机制与相关解决方案分为容器虚拟化安全、容器安全管理、容器网络安全三部分进行分析. 一、从虚拟化安全到容器安全 .

VisualVM分析与HelloWorld、springBoot项目 - metabolism - 博客园

于12-08 07:46 - -
VisualVM分析与HelloWorld、springBoot项目. 自从1995年第一个JDK版本JDKBeta发布,至今已经快25年,这些年来Java的框架日新月异,从最开始的Servlet阶段,到SSH,SSI,SSM,springboot等,还有一些其他方向的框架微服务SpringCloud、响应式编程Spring Reactor.

携号转网的技术原理分析!

于11-23 20:20 - -
11月11日,工信部发布《携号转网服务管理规定》,标志着国内三大运营商的“携号转网”业务正式进入试运行阶段. 根据规划,从12月1日开始,“携号转网”业务将在全国范围内正式推出. “携号转网”的新闻反复刷屏,相信大家都看到了. 小枣君今天也来凑个热闹,和大家聊聊“携号转网”. 不过,我要说的不是“携号转网”的业务办理,而是更深层次的内容——.

全链路压测分析

于11-08 00:00 - - dev
最近网传,微信支付崩了,哈罗出了问题,部分公司性能测试架构师招聘又开始火热起来,现在都叫做全链路压测,那什么是全链路压测呢,跟传统压测区别是啥呢. 全链路最早是阿里提出来的,在2012年的双11,零点的时候,系统交易成功率不足50%,下单报错,购物车报错,并伴随着大量超卖,后来提出了全链路压测,这篇文章就来聊聊全链路压测的关键点.