Apache Mesos的真实使用场景
- - ITeye资讯频道【编者的话】文中内容来源于stackoverflow上的一个问题 ，提问者想知道Mesos在实际的使用中都有哪些使用场景，来自Twitter的工程师从容器编排、资源利用率、优先级和资源抢占、以及服务运行等几个角度，对问题进行了回答. 我尝试探究用户使用Mesos的原因究竟有哪些，以下是暂时列出的几个要点，不知道还有没有其他的例子.
Apache Mesos的真实使用场景
标签：
apache
mesos
真实
| 发表时间：2015-06-17 16:53 | 作者：
出处：http://www.iteye.com
【编者的话】文中内容来源于stackoverflow上的一个问题 ，提问者想知道Mesos在实际的使用中都有哪些使用场景，来自Twitter的工程师从容器编排、资源利用率、优先级和资源抢占、以及服务运行等几个角度，对问题进行了回答。
我尝试探究用户使用Mesos的原因究竟有哪些，以下是暂时列出的几个要点，不知道还有没有其他的例子？
1)让用户把所有的服务都运行在同一个集群中而不是运行在专用的集群中（比如通过终端应用的集群+DevOps的方式，例如像Jekins）
2) 在同一个集群中运行不同类型的成熟的服务（dev,test,production）不知道这样是否可行？Kubernetes中已经可以通过lables标签来提供类似的功能。
3) Mesos 通过提供简化部署、统一标准的API、资源装箱等一系列的操作，简化了传统的分布式服务（比如像Hadoop）的使用流程。
回答（Dave Lester）：
我目前在Twitter工作，我同时参与到了Apache Mesos以及Autora项目的相关工作中，下面是我对Mesos使用场景的理解。
Mesos的实际使用场景可能会受到以下几个因素的影响：集群规模（数十台服务器到成千上万台）、可使用的硬件（专用的/静态的，或者是云端的/可扩展的）、以及工作量（提供基本的服务或是批量处理的服务，或两种服务同时提供）
上面所列出的几点都很有道理，这里我再加上几种新的使用案例。
容器编排
随着容器环境（比如Docker）变得越来越流行，许多潜在的用户正在寻找一种 Mesos+调度器的方案来管理镜像在创建之后的编排工作。Mesos到目前为止已经相当成熟，已经被证明可以规模化地提供服务，我认为Mesos的解决方案比某些临时出现的方案要好很多。
提升资源利用率
对于使用超过50台服务器的公司而言，一个通常的使用Mesos的动机就是提升资源利用率，并且减少运维成本。目前已经有许多这样的公司，比如各种公有云和私有云服务的提供商。在Ebay的案例中，它们曾经在Mesos上运行Jekins这样可以减少虚拟机的使用。Mesosphere也发布了相关的文章对于HubSpot(运行在AWS上)的案例研究,文章中介绍了HubSpot是如何使用几十台大型的服务器来替代了几百台小型的服务器，使得硬件的利用率更高。
优先级和资源抢占
在Twitter，我们通过一个调度器： Apache Aurora来运行Mesos服务。在这个使用场景中，我们有一种方式可以提高资源的利用率：在同一个集群上运行不同的成熟的服务。Aurora有一个环境变量的概念，这可以让用户可以运行不同环境类型的服务，比如production、development、或者是test环境。此外，Aurora还有一种内建的优先级抢占机制，这可以允许它来优先考虑production环境下的任务，当这些资源需要被production环境中的任务使用的时候，系统可以及时结束非production的任务，在每一种环境中，都有类似的优先级系统。
长期的，功能性相关的资源抢占功能也将会存在于Mesos本身的内核中 -- 这是一个杀手级的特性，这个功能可以增强资源利用率，并且在不同的环境下（dev、test、prod）运行不同的成熟的服务。如果你对相关的话题感兴趣，可以参考MESOS-155以及MESOS-1474。
同时运行批处理服务和普通服务
可以在一个共享的Mesos集群中同时运行批处理任务以及其他的普通服务，这将对资源利用率的提升起到关键作用。让我们回顾一下Myriad项目，这个项目希望把Mesos以及YARN的工作任务放在同一个集群中。在这个时候，用户并不在意同时进行批量服务和普通服务的大规模的部署工作，在一个共享的集群中运行多个框架也将变得更加简单，这也是社区发展的一个方向。
原文链接： Mesos real world use-cases
感谢 mengyidan1988 投递这篇资讯
资讯来源： DockerOne
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
我尝试探究用户使用Mesos的原因究竟有哪些，以下是暂时列出的几个要点，不知道还有没有其他的例子？
1)让用户把所有的服务都运行在同一个集群中而不是运行在专用的集群中（比如通过终端应用的集群+DevOps的方式，例如像Jekins）
2) 在同一个集群中运行不同类型的成熟的服务（dev,test,production）不知道这样是否可行？Kubernetes中已经可以通过lables标签来提供类似的功能。
3) Mesos 通过提供简化部署、统一标准的API、资源装箱等一系列的操作，简化了传统的分布式服务（比如像Hadoop）的使用流程。
回答（Dave Lester）：
我目前在Twitter工作，我同时参与到了Apache Mesos以及Autora项目的相关工作中，下面是我对Mesos使用场景的理解。
Mesos的实际使用场景可能会受到以下几个因素的影响：集群规模（数十台服务器到成千上万台）、可使用的硬件（专用的/静态的，或者是云端的/可扩展的）、以及工作量（提供基本的服务或是批量处理的服务，或两种服务同时提供）
上面所列出的几点都很有道理，这里我再加上几种新的使用案例。
容器编排
随着容器环境（比如Docker）变得越来越流行，许多潜在的用户正在寻找一种 Mesos+调度器的方案来管理镜像在创建之后的编排工作。Mesos到目前为止已经相当成熟，已经被证明可以规模化地提供服务，我认为Mesos的解决方案比某些临时出现的方案要好很多。
提升资源利用率
对于使用超过50台服务器的公司而言，一个通常的使用Mesos的动机就是提升资源利用率，并且减少运维成本。目前已经有许多这样的公司，比如各种公有云和私有云服务的提供商。在Ebay的案例中，它们曾经在Mesos上运行Jekins这样可以减少虚拟机的使用。Mesosphere也发布了相关的文章对于HubSpot(运行在AWS上)的案例研究,文章中介绍了HubSpot是如何使用几十台大型的服务器来替代了几百台小型的服务器，使得硬件的利用率更高。
优先级和资源抢占
在Twitter，我们通过一个调度器： Apache Aurora来运行Mesos服务。在这个使用场景中，我们有一种方式可以提高资源的利用率：在同一个集群上运行不同的成熟的服务。Aurora有一个环境变量的概念，这可以让用户可以运行不同环境类型的服务，比如production、development、或者是test环境。此外，Aurora还有一种内建的优先级抢占机制，这可以允许它来优先考虑production环境下的任务，当这些资源需要被production环境中的任务使用的时候，系统可以及时结束非production的任务，在每一种环境中，都有类似的优先级系统。
长期的，功能性相关的资源抢占功能也将会存在于Mesos本身的内核中 -- 这是一个杀手级的特性，这个功能可以增强资源利用率，并且在不同的环境下（dev、test、prod）运行不同的成熟的服务。如果你对相关的话题感兴趣，可以参考MESOS-155以及MESOS-1474。
同时运行批处理服务和普通服务
可以在一个共享的Mesos集群中同时运行批处理任务以及其他的普通服务，这将对资源利用率的提升起到关键作用。让我们回顾一下Myriad项目，这个项目希望把Mesos以及YARN的工作任务放在同一个集群中。在这个时候，用户并不在意同时进行批量服务和普通服务的大规模的部署工作，在一个共享的集群中运行多个框架也将变得更加简单，这也是社区发展的一个方向。
原文链接： Mesos real world use-cases
感谢 mengyidan1988 投递这篇资讯
资讯来源： DockerOne
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
相关 [apache mesos 真实] 推荐：
Mesos与Openstack
- - 企业架构 - ITeye博客本文是 Quora 上的一个问题，提问者对于私有云未来的发展趋势感到疑惑，Mesos和OpenStack的关系是怎样的，它们之间是否可以相互替代. 来自 Mesosphere以及Rackspace的专家们从OpenStack与Mesos的功能和产品定位上对这个问题进行了解读，它们之间的关系并非互相 替代，.
Mesos上部署spark
- - 开源小站还是回到之前一直持续的 Mesos话题. 在之前的环节里，我们已经尝试了Mesos的安装，Marathon守护服务以及相对比较主流的Mesos作为Hadoop的资源管理器的实际操作. 这次就说说同属于伯克利出品的Spark. 其实spark最初0.7以前的版本还没有自己的资源管理系统，资源的调度都是通过Mesos来执行的.
使用Mesos和Marathon管理Docker集群
- - zzm分 布式系统是难于理解、设计、构建 和管理的，他们将比单个机器成倍还要多的变量引入到设计中，使应用程序的根源问题更难发现. SLA(服务水平协议)是衡量停机和/或性能下降的标准，大多 数现代应用程序有一个期望的弹性SLA水平，通常按"9"的数量增加(如,每月99.9或99.99%可用性). 分布式系统通常是以静态分区，比如Akka/Play、 Spark/Hadoop、Storm和 Redis各自分区分组划分.
畅谈 Mesos 生态圈系列
- - 编程语言 - ITeye博客Apache Mesos 是 Apache 基金会下的一个分布式资源管理框架，它被称为是分布式系统的内核. Mesos 结合容器化技术提供了有效的，跨分布式应用或框架的资源隔离和分享机制，可以做为 Hadoop、Mpi、Hypertable、Spark、 Elasticsearch 等各种分布式应用的资源管理平台.
浅谈Borg/YARN/Mesos/Torca/Corona一类系统
- - 董的博客Dong | 新浪微博： 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明. 网址: http://dongxicheng.org/mapreduce-nextgen/borg-yarn-mesos-torca-corona/. Borg（来自Google）， YARN（来自Apache，属于Hadoop下面的一个分支，开源）， Mesos（来自Twitter，开源）， Torca（来自腾讯搜搜）， Corona（来自Facebook，开源）一类系统被称为资源统一管理系统或者资源统一调度系统，它们是大数据时代的必然产物.
Apache Shiro 介绍
- - CSDN博客推荐文章什么是Apache Shiro?. Apache shiro 是一个强大而灵活的开源安全框架，可清晰地处理身份认证、授权、会话（session）和加密. Apache Shiro最主要的初衷是为了易用和易理解，处理安全问题可能非常复杂甚至非常痛苦，但并非一定要如此. 一个框架应该尽可能地将复杂的问题隐藏起来，提供清晰直观的API使开发者可以很轻松地开发自己的程序安全代码.
Apache Derby Papers
- -Derby Type System (Note: if your browser shows HTML source for this page instead of displaying it, save the file locally with . It will prompt you to click on "Grant license to ASF for inclusion in ASF works", and this is the permission we need in place to host your contribution on the Derby web site..
去哪儿网基于Mesos和Docker构建私有云服务的实践
- - IT瘾-bigdata【导读】本文深入介绍了去哪儿网利用Mesos和Docker构建私有云服务的全过程，分享了从无状态应用向有状态应用逐步过度的经验与心得. 2014年下半年左右，去哪儿完成了有关构建私有云服务的技术调研，并最终拍定了Docker/Mesos这一方案. 下图1展示了去哪儿数据平台的整体架构：. 图1：去哪儿数据平台的整体架构.
Apache防止攻击
- - 小彰为了防止恶意用户对Apache进行攻击，我们需要安装mod_security这个安全模块. mod_security 1.9.x模块的下载与安装. 下载地址： http://www.modsecurity.org/download/index.html. 建议使用1.9.x，因为2.x的配置指令与1.x完全不同，解压后进入解压目录，执行：.