FastDFS+Nginx轻量级分布式文件系统安装使用

标签: fastdfs nginx 轻量级 | 发表时间:2014-05-12 15:14 | 作者:247687009
出处:http://www.iteye.com

 

FastDFS的安装使用

 

一 简介

FastDFS是一个开源的轻量级 分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

FastDFS服务端有两个角色:跟踪器(tracker)和存储 节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。

二 安装

1, 本次安装采用三台centos5.10 linux操作系统

192.168.80.100  tracker Nginx(注意这台不安装fastsfd-niginx插件)

192.168.80.101  storage nginx

192.168.80.102  storage nginx

操作系统的安装这里不多说。

2, 准备编译环境 yum -y install gcc gcc+ gcc-c++ openssl openssl-devel pcre pcre-devel 三台机器都进行安装,并且创建两个新用户fastdfs 和nginx  

useradd fastdfs -M -s /sbin/nologin  useradd nginx -M -s /sbin/nologin

为了方便测试 请关闭防火墙 service iptables stop

3, 下载源码

敲 cd /usr/local/src/ 进入该目录下,运行如下命令,下载fastDFS 5.01 

wget  http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Server%20Source%20Code/FastDFS%20Server%20with%20PHP%20Extension%20Source%20Code%20V5.01/FastDFS_v5.01.tar.

下载 nginx 1.7.0

wget  http://nginx.org/download/nginx-1.7.0.tar.gz

下载fastdfs-nginx-module_v1.16

wget http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz

 

4, 安装FastDFS (三台机器都要安装)

tar xf FastDFS_v5.01.tar.gz

cd FastDFS

./make.sh && ./make.sh install 

5, 解压fastDFS-nginx-module

[root@localhost ~]# cd /usr/local/src/

[root@localhost src]# tar xf fastdfs-nginx-module_v1.16.tar.gz

6, 安装Nginx

192.168.80.100 tarcker 机器的安装

[root@localhost ~]# cd /usr/local/src/

[root@localhost src]# tar xf nginx-1.7.0.tar.gz

[root@localhost src]# cd nginx-1.7.0

[root@localhost nginx-1.7.0]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx

[root@localhost nginx-1.7.0]# make

[root@localhost nginx-1.7.0]# make install

192.168.80.101,102 stroage nginx的安装

[root@localhost ~]# cd /usr/local/src/

[root@localhost src]# tar xf nginx-1.7.0.tar.gz

[root@localhost src]# cd nginx-1.7.0

[root@localhost nginx-1.7.0]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx

--add-module=../fastdfs-nginx-module/src  //storage 安装nginx时需要加载该模块

[root@localhost nginx-1.7.0]# make

[root@localhost nginx-1.7.0]# make install

 

三 配置

192.168.80.100 tracker的配置

1,创建tracker数据以及日志存放目录

[root@localhost ~]# mkdir -p /data/fastdfs/tracker

2,修改FastDFS的tracker.conf配置 文件

[root@localhost ~]# vim /etc/fdfs/tracker.conf 

base_path=/data/fastdfs/tracker

max_connections=1024

work_threads=8

store_lookup=0

store_path=0

reserved_storage_space=4G //

run_by_group=fastdfs

run_by_user=fastdfs

rotate_error_log=true

配置的解析请参照我的以一篇文章 tracker配置文件解析

3,修改Nginx的配置文件

[root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf

user nginx nginx; //此处为已经建立好的用户 和分组

worker_processes 3;

pid /usr/local/nginx/logs/nginx.pid;

worker_rlimit_nofile 1024;

events {

use epoll; // epoll是Linux内核为处理大批量文件描述符而作了改进的poll

worker_connections 1024;

}

http {

include mime.types;

default_type application/octet-stream;

log_format main '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';

access_log /usr/local/nginx/logs/access.log main;

upstream server_g1{

server 192.168.80.101:80; //这里配置的是storage的IP 可以配多台

server 192.168.80.102:80;

}

server {

listen 80;

server_name localhost;

location /g1 {

proxy_redirect off;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_pass http://server_g1;

}

  }

}

4,将tracker交给service管理并且设置开机启动

[root@localhost ~]# cp /usr/local/src/FastDFS/init.d/fdfs_trackerd /etc/init.d/

[root@localhost ~]# chkconfig --add fdfs_trackerd

[root@localhost ~]# chkconfig fdfs_trackerd on

 

配置storage (分别在192.168.80.101,102上进行配置)

1, 创建数据存放目录

[root@localhost ~]# mkdir -p /data/fastdfs/storage/data

 

2,修改FastDFS的storage.conf配置文件

[root@localhost ~]# vim /etc/fdfs/storage.conf

group_name=g1

base_path=/data/fastdfs

##工作线程数,通常设置为 CPU 数

work_threads=8

store_path_count=1

store_path0=/data/fastdfs/storage

##tracker_server 的地址

tracker_server=192.168.80.100:22122

##运行 FastDFS 的用户组

run_by_group=fastdfs

##运行 FastDFS 的用户

run_by_user=fastdfs

file_distribute_path_mode=1

rotate_error_log=true

 

3,把nginx模块的配置文件拷贝到 /etc/fdfs中,进行修改

[root@localhost ~]# cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

[root@localhost ~]# vim /etc/fdfs/mod_fastdfs.conf

connect_timeout=30

tracker_server=192.168.80.100:22122

group_name=g1

url_have_group_name = true

store_path_count=1

store_path0=/data/fastdfs/storage

 

4,修改nginx配置文件

[root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf

user nginx nginx;

worker_processes 8;

pid /usr/local/nginx/logs/nginx.pid;

worker_rlimit_nofile 1024;

events {

use epoll;

worker_connections 1024;

}

http {

include mime.types;

default_type application/octet-stream;

log_format main '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';

access_log /usr/local/nginx/logs/access.log main;

server {

listen 80;

server_name localhost;

location /g1/M00{

root /data/fastdfs/storage/data;

ngx_fastdfs_module;

}

  }

}

 

5,把storage 交[root@localhost ~]# cp /usr/local/src/FastDFS/init.d/fdfs_storaged /etc/init.d/

[root@localhost ~]# chkconfig --add fdfs_storaged

[root@localhost ~]# chkconfig fdfs_storaged on

[root@localhost ~]# service fdfs_storaged start给service管理并设置开机启动

//创建软连接

[root@localhost ~]# ln -s /data/fastdfs/storage/data /data/fastdfs/storage/data/M00

 

四 测试

1,在192.168.80.100 上启动tracker,nginx

[root@localhost ~]# service fdfs_trackerd start

[root@localhost ~]# /usr/local/nginx/sbin/nginx

2,在192.168.80.101,102上面分别启动storage和nginx

[root@localhost ~]# service fdfs_storaged start

[root@localhost ~]# /usr/local/nginx/sbin/nginx

3配置一个client 在tracker上进行

[root@localhost ~]# vim /etc/fdfs/client.conf

base_path=/data/fastdfs

tracker_server=192.168.10.11:22122

4,查看集群详细

[root@localhost ~]# fdfs_monitor /etc/fdfs/client.conf

 

5,测上传

root@localhost ~]# fdfs_upload_file /etc/fdfs/client.conf aa.jpg

 

g1/M00/AC/2F/wKgKDVMppoGAMCFNAAIFvJcyojY165.jpg

 

通过浏览器

http://192.168.80.101/g1/M00/AC/2F/wKgKDVMppoGAMCFNAAIFvJcyojY165.jpg

http://192.168.80.102/g1/M00/AC/2F/wKgKDVMppoGAMCFNAAIFvJcyojY165.jpg

 

到此安装结束

 



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [fastdfs nginx 轻量级] 推荐:

FastDFS+Nginx轻量级分布式文件系统安装使用

- - Linux - 操作系统 - ITeye博客
FastDFS的安装使用. FastDFS是一个开源的轻量级 分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题. 特别适合以文件为载体的在线服务,如相册网站、视频网站等等. FastDFS服务端有两个角色:跟踪器(tracker)和存储 节点(storage).

FastDFS FAQ

- - 企业架构 - ITeye博客
定位问题首先要看日志文件. 出现问题时,先检查返回的错误号和错误信息. 然后查看服务器端日志,相信可以定位到问题所在. FastDFS适用的场景以及不适用的场景. FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件. 对于互联网应用,和其他分布式文件系统相比,优势非常明显.

Nginx 1.1.2 发布,轻量级Web服务器

- lastland - cnBeta.COM
Nginx(发音同 engine x)是一款在BSD-like协议下发行的轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器. 由俄罗斯的程序设计师 Igor Sysoev所开发,最初供俄国大型的入口网站及搜寻引擎Rambler(俄文:Рамблер)使用. Nginx特点是占有内存少,并发能力强,事实上 Nginx的并发能力确实在同类型的网页服务器中表现较好.

fastdfs使用实战(Java实例篇)

- - 行业应用 - ITeye博客
一、创建一个maven的webproject,叫file-manager:mvnarchetype:create-DgroupId=platform.activity.filemanager-DartifactId=file-manager-DarchetypeArtifactId=maven-archetype-webapp.

FastDFS分布式文件系统

- - 开源软件 - ITeye博客
       FastDFS是一个开源的轻量级 分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题. 特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务,如相册网站、视频网站等等.

FastDFS分布式文件系统架构

- - 企业架构 - ITeye博客
FastDFS分布式文件系统架构.            FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题. 特别适合以文件为载体的在线服务,如相册网站、视频网站等等. 二、 FastDFS系统架构.

nginx配置ssl

- - 邢红瑞的blog
先生成网关证书 ,仿照CA模式.

Nginx安装

- - 企业架构 - ITeye博客
nginx可以使用各平台的默认包来安装,本文是介绍使用源码编译安装,包括具体的编译参数信息. 正式开始前,编译环境gcc g++ 开发库之类的需要提前装好,这里默认你已经装好. ububtu平台编译环境可以使用以下指令. centos平台编译环境使用如下指令. 一般我们都需要先装pcre, zlib,前者为了重写rewrite,后者为了gzip压缩.

Nginx GZip 压缩

- - 开心平淡对待每一天。热爱生活
  Nginx GZip 模块文档详见: http://wiki.nginx.org/HttpGzipModule 常用配置片段如下:. # 压缩比例,比例越大,压缩时间越长. 默认是1 gzip_types. text/css text/javascript; # 哪些文件可以被压缩 gzip_disable.

Nginx 限流

- - 鸟窝
电商平台营销时候,经常会碰到的大流量问题,除了做流量分流处理,可能还要做用户黑白名单、信誉分析,进而根据用户ip信誉权重做相应的流量拦截、限制流量. Nginx自身有的请求限制模块 ngx_http_limit_req_module、流量限制模块 ngx_stream_limit_conn_module基于令牌桶算法,可以方便的控制令牌速率,自定义调节限流,实现基本的限流控制.