更新于:12-15 23:30

有关[linux]标签推荐

深挖NUMA

于10-31 04:19 - litrin - Linux 硬件相关 服务器 系统架构
首先列出本站之前相关的几篇帖子:. cgroup的cpuset问题. 这次,就来深入了解下NUMA. 就如之前说的,在若干年前,对于x86架构的计算机,那时的内存控制器还没有整合进CPU,所有内存的访问都需要通过北桥芯片来完成. 此时的内存访问如下图所示,被称为UMA( uniform memory access, 一致性内存访问  ).

linux nohup.out文件过大解决方法

于08-30 01:59 - - Linux命令相关
先说一下 Linux重定向:. 0、1和2分别表示标准输入、标准输出和标准错误信息输出,可以用来指定需要重定向的标准输入或输出. 在一般使用时,默认的是标准输出,既1.当我们需要特殊用途时,可以使用其他标号. 例如,将某个程序的错误信息输出到log文件中:./program 2>log. 这样标准输出还是在屏幕上,但是错误信息会输出到log文件中.

Linux下正确删除海量文件的姿势

于02-16 10:16 - 歪脖骇客 - 技术技巧 linux 删文件
这里说的“海量”并不是指体积大,而是指数量,比如一个目录下有数百万个小文件. 最近在优化服务器时发现postfix下的maildrop目录和clientmqueue目录下发现有大量的文件,进入这些目录里使用ls命令是愚蠢的做法,而直接执行 rm *,没有任何反应,文件数量也没有减少,也就是说,在海量文件目录里直接使用rm命令进行删除是无效的.

如何判断自己的VPS是那种虚拟技术实现的?目前主流基本是Kvm

于02-23 03:05 - 氪星人 - 渗透测试 KVM Linux WordPress
我们知道VPS的虚拟技术有许多种,如Openvz、Xen、VMware vSphere、Hyper-V、KVM及Xen的HVM与PV等. 在Xen中pv是半虚拟化,hvm是全虚拟化,pv只能用于linux内核的系统,hvm可以虚拟所有常见操作系统(Linux+windows),理论效率比pv略低,另外hvm需要cpu虚拟化指令支持,pv无此要求.

Linux TCP Flaw 安全性問題的暫時解法

于08-16 00:13 - Tsung - News crack flaw hack linux
Linux TCP 實作 RFC 5961,但是 RFC 5961 本身設計會導致有安全性問題,而這個影響範圍很廣泛,使用 TCP 都會受到影響,ex: HTTP、FTP、SSH、Telnet、DNS、SMTP. Linux TCP Flaw 安全性問題的暫時解法. 此 TCP 漏洞會造成的問題可見下述影片.

缓存更新的套路

于07-27 08:25 - 陈皓 - Unix/Linux 程序设计 cache Design design pattern
看到好些人在写更新缓存数据代码时, 先删除缓存,然后再更新数据库,而后续的操作会把数据再装载的缓存中. 试想,两个并发操作,一个是更新操作,另一个是查询操作,更新操作删除缓存后,查询操作没有命中缓存,先把老数据读出来后放到缓存中,然后更新操作更新了数据库. 于是,在缓存中的数据还是老的数据,导致缓存中的数据是脏的,而且还一直这样脏下去了.

[译] 如何使用Monit部署服务器监控系统

于06-01 10:40 - Gore_Liu - linux linux运维 监控 主机监控
很多Linux系统管理员依赖一个集中式的远程监控系统(比如 Nagios或者 Cacti)来检查他们网络基础设备的健康状况. 虽然集中式监控让管理员的生活更简单了,然而处理很多机器和服务时,专用的监控中心显然成为了一个单点故障,如果监控中心挂了或者因为什么原因(比如硬件或者网络故障)不可访问了,你就会失去整个网络基础设备情况的任何信息.

对于一台新服务器权限的配置

于05-28 16:09 - 肆意的青春 - linux 权限
作为一个程序员,在网站没有运维的情况下,也要有能够搭建应用的能力,由于不是专业的运维所以考虑的问题可能不够全面,只顾着把应用搭起来,权限管理非常地松,认为只要登陆 root 可以运行命令就行了,这样的话会有很多后患的,有的时候只是未爆发出来,当爆发出来就已经晚了. 以下是我对一台新服务器的权限的实例,欢迎大家拍砖.

在Linux进行IO的正确姿势

于05-08 02:56 - ideawu - C/C++语言编程 Linux
很多C/C++程序虽然在做网络编程, 但大多用别人封装好的库, 对底层不甚了解, 感觉 IO 操作不是很简单吗. 我敢说, 大多数人进行 IO 的姿势都不对, 所谓的 IO, 主要是 read()/write() 两个函数.. 先说错误的 IO 读操作:. 看起来好像很正确的样子, 返回值也判断了, 不仅判断 -1, 还判断 0, 应该姿势正确吧.

8 个你可能不知道的 Docker 知识

于05-06 09:04 - 大舒 - docker 工具 linux
Docker 这个工具已经出现很长一段时间了,但是可能还有很多人对 Docker 的概念不太清楚,因此这次翻译. 8 个你可能不知道的 Docker 知识 这篇文章,和大家介绍一下生产环境中的 Docker 用例. 自从上世纪 90 年代硬件虚拟化被主流的技术广泛普及之后,对数据中心而言,发生的最大的变革莫过于容器和容器管理工具,例如:Docker.

手把手教你用Strace诊断问题

于10-16 06:22 - 老王 - Technical Linux Strace
早些年,如果你知道有个 strace 命令,就很牛了,而现在大家基本都知道 strace 了,如果你遇到性能问题求助别人,十有八九会建议你用 strace 挂上去看看,不过当你挂上去了,看着满屏翻滚的字符,却十有八九看不出个所以然. 本文通过一个简单的案例,向你展示一下在用 strace 诊断问题时的一些套路.

推荐一款SSH连接工具:Mosh

于10-10 00:00 - wuwenjie - linux
最初知道mosh,是在某一期的内核恐慌中. 经常使用SSH的人大约都有过以下遭遇,喝杯茶的功夫,SSH就断了,tmux当然是个保持会话的选择,可烦人的事你还得进进出出ssh,现在你有了更好的选择:Mosh,它除了能帮你维持持久的ssh连接之外,还能提供更多的优化,比如让你的输入体验丝版顺滑,如同本地一般,尽管你的服务器在国外.

使用shell脚本对Linux系统和进程资源进行监控

于03-03 05:17 - cricode - Linux脚本编程 Linux
在服务器运维过程中,经常需要对服务器的各种资源进行监控,例如:CPU的负载监控,磁盘的使用率监控,进程数目监控等等,以在系统出现异常时及时报警,通知系统管理员. 本文介绍在Linux系统下几种常见的监控需求及其shell脚本的编写. 1.Linux使用 Shell 检查进程是否存在. 2.Linux使用 Shell检测进程 CPU 利用率.

浅谈CLOSE_WAIT

于01-19 12:19 - 老王 - Technical Linux TCP
TCP 有很多连接状态,每一个都够聊十块钱儿的,比如我们以前讨论过 TIME_WAIT 和 FIN_WAIT1,最近时不时听人提起 CLOSE_WAIT,感觉有必要梳理一下. 所谓 CLOSE_WAIT,借用某位大牛的话来说应该倒过来叫做 WAIT_CLOSE,也就是说「等待关闭」,如果你还不理解其含义,可以看看 TCP 关闭连接时的图例:.

使用cgroups限制MongoDB的内存使用

于07-23 01:16 - - cgroups Linux
cgroups,其名称源自控制组群(control groups)的简写,是Linux内核的一个功能,用来限制,控制与分离一个进程组群的资源(如CPU、内存、磁盘输入输出等). 这个项目最早是由Google的工程师在2006年发起(主要是Paul Menage和Rohit Seth),最早的名称为进程容器(process containers).

NUMA微架构

于09-08 04:02 - qingran - Hardware Software architecture cpu GNU/Linux
现在开始补日志,逐步的扫清以前写了一半的和“欠账未还的”. 半年之前开的头,今天先把NUMA说完. PC硬件结构近5年的最大变化是多核CPU在PC上的普及,多核最常用的SMP微架构:. 多个CPU之间是平等的,无主从关系(对比IBM Cell);. 多个CPU平等的访问系统内存,也就是说内存是统一结构、统一寻址的(UMA,Uniform Memory Architecture);.

使用 Grafana+collectd+InfluxDB 打造现代监控系统

于03-19 08:14 - vpsee - Linux | BSD | Solaris collectd grafana influxdb
想打造 New Relic 那样漂亮的实时监控系统我们只需要 InfluxDB/collectd/Grafana 这三个工具,这三个工具的关系是这样的:. 采集数据(collectd)-> 存储数据(InfluxDB) -> 显示数据(Grafana). InfluxDB 是 Go 语言开发的一个开源分布式时序数据库,非常适合存储指标、事件、分析等数据,看版本号(v0.8.8)就知道这个项目还很年轻;.

那些年,追过的开源软件和技术(上)

于03-10 03:41 - 氪星人 - 软件下载 IT业界 Linux 开源程序
笔者也是在互联网软件行业里面摸爬滚打十年多了,回头想想青葱岁月,很多时间都花在各种技术热潮的追逐上,有些是有价值的,也有些因为没人指导走过弯路,下面我就把我自己接触到这么多优秀的开源软件给大家做个梳理. 也许比较枯燥无聊,供大家以后查阅. Linux: 不用说,大多数公司都用这个,随着虚拟机越来越成熟,大家喜欢创建虚拟的Image,来提供某个Linux版本,我接触过一些常用的,Ubuntu,Redhat,Debian, Gentoo, CentOS, Federo,OpenSuse.

那些年,追过的开源软件和技术(下)

于03-10 06:57 - 氪星人 - 软件下载 IT业界 Linux 开源程序
当时为了解决Scale的问题,伴随分布式系统发展,形成各个NoSQL软件,百花齐放. Memcached:是高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载. 它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度. Memcached基于一个存储键/值对的hashmap.

通用CentOS 6 服务器安全配置指南

于02-03 09:53 - seanlook - linux 安全
Linux是一个开放式系统,可以在网络上找到许多现成的程序和工具,这既方便了用户,也方便了黑客,因为他们也能很容易地找到程序和工具来潜入Linux系统,或者盗取Linux系统上的重要信息. 不过,只要我们仔细地设定Linux的各种系统功能,并且加上必要的安全措施,就能让黑客们无机可乘. 一般来说,对Linux系统的安全设定包括取消不必要的服务、限制远程存取、隐藏重要资料、修补安全漏洞、采用安全工具以及经常性的安全检查等.

监控进程

于02-11 08:08 - 老王 - Technical Linux
有时候,进程突然终止服务,可能是没有资源了,也可能是意外,比如说:因为 OOM 被杀;或者由于 BUG 导致崩溃;亦或者误操作等等,此时,我们需要重新启动进程. 实际上,Linux 本身的初始化系统能实现简单的功能,无论是老牌的 SysVinit,还是新潮的  Upstart 或者  Systemd 均可,但它们并不适合处理一些复杂的情况,比如说:CPU 占用超过多少就重启;或者同时管理 100 个 PHP 实现的 Worker 进程等等,如果你有类似的需求,那么可以考虑试试 Monit 和 Supervisor,相信会有不一样的感受.

在Linux上使用logwatch分析监控日志文件

于02-05 04:52 - seanlook - linux logwatch
在维护Linux服务器时,经常需要查看系统中各种服务的日志,以检查服务器的运行状态. 如登陆历史、邮件、软件安装等日志. 系统管理员一个个去检查会十分不方便;且大多时候,这会是一种被动的检查,即只有在发现系统运行异常时才会想到去查看日志以获取异常的信息. 那么如何主动、集中的分析这些日志,并产生报告,定时发送给管理员就会显得十分重要.

linux、mysql、nginx、tomcat 环境下压力测试的主要调试参数

于04-23 02:00 - JasonLiu - linux mysql tomcat
一、linux 系统内核参数. /etc/sysctl.conf文件常用参数. net.core.netdev_max_backlog = 32768 #允许送到队列的数据包的最大数目 net.core.rmem_max = 8388608. #SOCKET读缓存区大小 net.core.wmem_max = 8388608.

Linux 使用 SSD 的最佳化分割、設定方式

于08-04 00:50 - Tsung - My_Note-Unix config fstab linux ssd
SSD 和一般傳統硬碟的運作不太一樣,Flash memory 經不起大量多次的寫入,所以此篇做些設定部份的改善. Linux 使用 SSD 的最佳化分割、設定方式. 下述整理自此篇: Linux平台使用SSD必讀 (範例為Ubuntu). 使用適當的磁區分割程式 (避免空間浪費). 分割程式 (自動補齊磁區功能: 貼齊:MiB).

一次「Too many open files」故障

于08-02 14:05 - 老王 - Technical Linux
昨天,项目的 ElasticSearch 服务挂了,我说的挂可不是进程没了,因为有 Supervisor 保护,而是服务不可用了. 以前曾经出现过一次因为 ES_HEAP_SIZE 设置不当导致的服务不可用故障,于是我惯性的判断应该还是 ES_HEAP_SIZE 的问题,不过登录服务器后发现日志里显示大量的「Too many open files」错误信息.

linux下redis执行bgsave时,报overcommit_memory错误问题

于06-08 02:17 - 信海龙 - 操作系统 linux overcommit_memory redis
一台机器如果内存用完,在进行bgsave时,可能会报错. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.

MySQL HA 高可用性,MySQL Cluster 叢集

于06-12 00:00 - cross - Linux cluster ha high availability mysql
而 SQL Node (mysqld程序) 只是讓我們建立資料庫、表的地方 (看得到/var/lib/mysql/XXX),只是 SQL Node 這邊是看不到實際空間用量的. manager node 及所有的 node 都要裝 mysql-cluster (到 mysql 官網下載). manager node 設定,它只要 ndb_mgm 與 ndb_mgmd 而已.

Wireshark 抓远程主机的包

于05-31 17:59 - 依云 - Linux
本文来自 依云's Blog,转载请注明. 通常,我在本地用图形界面的 Wireshark 来抓包及解析,而对于远程服务器,因为没有图形界面,只好使用 tcpdump 抓包到文件然后复制到本地拿 Wireshark 看了,这样就不能实时查看抓到的包了. 当然 tcpdump 也可以实时输出,但是信息太少、难以阅读,功能也过于简单,比如我要跟踪流啊、不同的流用不同的颜色高亮啊、添加注释啊、时序分析啊,tcpdump 完全没办法做到.

线上性能问题初步排查方法

于10-15 15:00 - 方 腾飞 - linux
有时候有很多问题只有在线上或者预发环境才能发现,而线上又不能Debug,所以线上问题定位就只能看日志,系统状态和Dump线程,本文只是简单的介绍一些常用的工具,帮助定位线上问题. 1: 首先使用TOP命令查看每个进程的情况,显示如下:. 我们的程序是Java应用,所以只需要关注COMMAND是Java的性能数据,COMMAND表示启动当前进程的命令,在Java进程这一行里可以看到CPU利用率是300%,不用担心,这个是当前机器所有核加在一起的CPU利用率.

tar命令高级用法——备份数据

于12-12 12:44 - seanlook - linux tar 数据备份
Linux上有功能强大的tar命令,tar最初是为了制作磁带备份(tape archive)而设计的,它的作用是把文件和目录备份到磁带中,然后从磁带中提取或恢复文件. 现在我们可以使用tar来备份数据到任何存储介质上. 它是文件级备份,不必考虑底层文件系统类别,并且支持增量备份. -z, --gzip:使用gzip工具(解)压缩,后缀一般为 .gz.