高并发web服务技术选型

标签: 并发 web 服务 | 发表时间:2015-10-11 14:30 | 作者:崔永键
出处:http://www.cuiyongjian.com/

调研了一些技术选型。主要问题集中在单个GB级数据使用何种DFS的问题上,目前还没有得到可靠的结论。

 

负载均衡

采用:nginx或 lvs: https://github.com/alibaba/LVS

实施自己的调度策略:学习配置lvs或改造lvs或自己重写。

 

文件存储

调研下采用hdfs还是fastdfs还是其他的:Fastdfs,ZFS,Lustre,HadoopHDFS,GlusterFS。Lustre、MooseFS、CEPH。GridFS(mongodb自带的)

国内阿狸的tfs也是非常适合小文件海量存储。

 

GridFS:Managing files with Node.js and MongoDB GridFS http://www.tuicool.com/articles/myUBJze 并在express中融入。

http://blog.csdn.net/lee576/article/details/44195219

 

http://www.chinaaet.com/article/218182基于glusterfs的openstack平台。。

http://blog.sina.com.cn/s/blog_6b89db7a0101gbcy.html

理论和实践上分析,GlusterFS目前主要适用大文件存储场景,对于小文件尤其是海量小文件,存储效率和访问性能都表现不佳。海量小文件LOSF问题是工业界和学术界公认的难题,GlusterFS作为通用的分布式文件系统,并没有对小文件作额外的优化措施,性能不好也是可以理解的

 

 

http://www.moosefs.org/

fastdfs介绍: http://www.oschina.net/p/fastdfs

fastdfs:https://github.com/happyfish100/fastdfs

fastdfs原理介绍,含hash算法等:

  http://blog.csdn.net/wallwind/article/details/39891105

阿里的tfs适合海量小文件应用。

 

分布式存储调研:

http://www.cnblogs.com/yuki-lau/archive/2013/03/13/2957611.html

 

七牛云存储技术:http://www.infoq.com/cn/articles/storage-system-stuff

 

 

现有的分布式文件系统,哪种适合单文件GB级别的海量存储。 各种分布式文件系统的优缺点,适应场景,性能比较。

 

http的文件断点续传实现,大文件上传下载, 进度跟踪等技术, 消息回调提醒技术。

 

 

 结构数据存储:

MongoDb

 

 

文件上传

mongodb

 

通过nodejs将文件上传到mongodb

nodejs和mongodb的文件上传http://marshal.easymorse.com/index.html%3Fp=4944.html

 

html5实现大文件上传: http://www.html5rocks.com/zh/tutorials/file/dndfiles/

Silverlight解决方案: http://www.silverupload.cn/

Plupload解决方案: http://segmentfault.com/a/1190000000725971

http://www.plupload.com/

推荐百度的webupload http://fex.baidu.com/webuploader/

 

 

 

kv数据库:用来做系统的缓存层

谷歌的levelDb,豆瓣的beanDb,Redis

相关 [并发 web 服务] 推荐:

高并发web服务技术选型

- - 崔永键的博客
主要问题集中在单个GB级数据使用何种DFS的问题上,目前还没有得到可靠的结论. 采用:nginx或 lvs: https://github.com/alibaba/LVS. 实施自己的调度策略:学习配置lvs或改造lvs或自己重写. 调研下采用hdfs还是fastdfs还是其他的:Fastdfs,ZFS,Lustre,HadoopHDFS,GlusterFS.

浅谈web服务器—Nginx

- - CSDN博客推荐文章
常见的web服务器有apache,Nginx,lighttpd等. 但Nginx作为一款高性能的Http和反向代理服务器,由于其高效率、简配置等优势在业内被广泛使用. 目前Taobao、新浪、赶集网、金山、豆瓣网、网易新闻等众多知名互联网企业的服务器都是采用Nginx. 根据url的不同,将HTTP请求转发到后端的应用服务器集群.

Web网站的几个并发量级

- - 开源小站
评价一个网站的“大小”,处于视角的不同,有很多种衡量的方法,类似文章数,页面数之类的数据非常明显,也没有什么可以争议的. 但对于并发来说,争议非常之多,这里就从一个技术的角度开始,谈谈几个Web网站的数量级. 相信很多人谈论一个网站的热度,总免不了会询问日均PV,同时在线人数、注册用户数等运营数据,说实话从技术角度来说,这几个数值没有一个可以放在一起比较的——一个静态网站的PV跟一个SNS类/Web Game网站的PV根本就不是一回事.

java web开发 高并发处理

- - 企业架构 - ITeye博客
java web开发 高并发处理. java处理高并发高负载类网站中数据库的设计方法(java教程,java处理大量数据,java高负载数据). 一:高并发高负载类网站关注点之数据库. 没错,首先是数据库,这是大多数应用所面临的首个SPOF. 尤其是Web2.0的应用,数据库的响应是首先要解决的. 一般来说MySQL是最常用的,可能最初是一个mysql主机,当数据增加到100万以上,那么,MySQL的效能急剧下降.

简易的python web服务器用途

- Ruby - Erlang非业余研究
原创文章,转载请注明: 转载自Erlang非业余研究. 本文链接地址: 简易的python web服务器用途. 我们在工作中经常会需要看下报表,如tsung的统计报表或者lcov的覆盖情况,这些报表通常为了方便都会作成html格式的. 我们可以把这些html网页打包拉回去用浏览器慢慢看,但是每次都要打包,拉数据非常麻烦.

利用JAX-WS开发Web服务

- - CSDN博客推荐文章
利用JAX-WS开发Web服务.        Web服务是一种经由HTTP与其他软件进行通信的软件. Java最激动人心的一个特性是用于XML Web服务的Java API(JAX-WS). JAX-WS是一组Java类和包,他可以创建对Web服务发出请求的客户端,以及接受这些请求的服务.        JAX-WS支持使用简单对象访问协议(SimpleObject Access Protocol,SOAP)和表述性状态转移(Representational State Transfer,REST)实现的Web服务.

Node.js 的简易web服务器

- bingo - 走走停停看看
网上关于Node.js的介绍已经铺天盖地了,但我就没找到一个简单的web服务器给我做测试用. 实际上Node.js只需要一个exe文件和一个js文件就可以搭建服务器了,用来随便测试页面之类的用起来比nginx还方便. 只可用于http服务,没有更多功能的js文件. 1,先去 http://nodejs.org/下载最新的Node.js可执行的exe文件.

优秀的轻量级Web服务器

- - Solidot
Alison Neville 写道 "Web服务器是一种使用超文本传输协议(HTTP)响应客户端请求提供网页的计算机软件,以HTML文件、图像、样式表和脚本的形式构成网页内容. Apache是​​最流行的Web服务器软件,提供了最新的协议实现,优秀的特性集,具有高可配置和可扩展性. Apache被一半以上的活跃网站所使用.

Java Web 服务性能优化实践

- - 博客 - 伯乐在线
来源: IBM developerworks. 简介: 本文介绍如何提升 Java Web 服务性能,主要介绍了三种方法:一是采用 Web 服务的异步调用,二是引入 Web 服务批处理模式,三是压缩 SOAP 消息. 重点介绍在编程过程中如何使用异步 Web 服务以及异步调用和同步调用的差异点. 本文还示范了如何在项目中使用以上三种方法,以及各种方法所适合的应用场景.

web服务器访问流程

- - ITeye博客
 问题1:DNS解析是什么,简述如图步骤1、2做了什么. 人们习惯记忆域名,但机器间互相只认ip,域名和ip可以是多对一的关系,他们之间的转换工作称为域名解析,域名解析需要有专门的域名解析服务器来完成. 在浏览器中输入域名www.iteye.com,操作系统会向检查自己本地的hosts. 是否有这个网址映射,如果有就直接调用这个ip地址,完成域名解析.