不同技术团队的配合问题及DevOps(不错的文章,来自infoq)

标签: 技术 团队 问题 | 发表时间:2011-07-20 15:41 | 作者:@joe wangdei
出处:http://www.blogjava.net/

一、技术团队细分及配合问题

在IT企业里产品从创意到交付给用户,从整体上看是由技术部门负责,但如果深入到技术部门,会发现由不同的技术团队负责不同的部分或者阶段。一般会分产品团队、开发团队、测试团队以及运维团队,在互联网公司里,运维团队一般还分基础运维和产品运维两个团队,基础运维负责基础设施(包括机架、网络、硬件)和操作系统的安装,为整体公司的所有产品提供基础设施的运维服务。而产品运维负责线上产品的问题处理、代码的布署和跟开发的接口等。

    不同的技术团队一般隶属不同的部门,分散在公司不同的办公区域,团队内部的沟通相对多一些,但团队之间的沟通较少。不同团队都会形成自己的办事习惯、节奏,都有自己的关注点,一般只是知道与之接口的团队的总体职责,但是不知道对方可能面临的困难与工作中的挑战点。另外,如果公司够大,每个团队内部又会分为许更细的小团队,如基础运维一般有系统团队、网络团队和IDC团队等,这样更加重了团队之间沟通难度。

从产品策划到上线,一般是以下边的顺序经过各个团队:

  1. 开发团队收集产品的需求,定下时间表并进行开发
  2. 开发完后,交由测试或质量团队进行测试
  3. 然后交给运维团队布署新产品或新版本
  4. 运维团队将运维过程中发现的代码缺陷反馈给开发团队进行修复

在上面的每个阶段,对应的团队都是各做各的,一般是在最后才会把球踢给下一个团队,如果下一个团队发现问题又会把球踢回原来的团队。如果你深入到不同的团队中去,或听到不同的抱怨声音。

基础运维团队经常抱怨:

  • 产品开发一点计划都没有,突然要上线机器,让我们措手不及。
  • 每个产品都急着上线,谁催得急就上谁的,谁能说一下,到底那个重要?
  • 动不动就要重装系统,坏了一块盘就着急去修,刚从机房回来,又要过去。
  • 上线太突然了,没有交换机,没有机架,还需要搬别的机器腾地方。
  • 那个地方有机架和交换机端口,但没有四层设备,他们又要放在四层后边,真的没有办法了。
  • 刚跟他们上线到一个机房,他们又说要换到另一个机房,尽折腾。
  • 他们怎么能那么用设备,把上连端口带宽都跑满了。

产品运维团队会说:

  • 真没办法,上个线不是说没机架,就是没有交换机,还有就是说没有四层设备。
  • 从来不告诉我们什么时候能设备能上线交付给我们,不派专人催着这事,一点谱都没有。
  • 本来没有想好怎么用这些设备,先提前一个月申请上线,得我们想清楚了,他们却说又得换机房。
  • 网络怎么老是出问题,他们怎么规划的。
  • 开发的代码太不靠谱,一上线就引发用户投诉,只能回滚到老版本。
  • 开发人员的技术能力不行,写不出能用的版本。
  • 开发要求有一个跟生产环境一样的测试环境,这不可能有的。

而开发团队却说:

  • 他们又不让我们碰线上的系统,生产环境是什么样,我们都不知道,没法开发代码。
  • 我们辛苦开发几个月,上线出问题又直接回滚了,心情很不好受。
  • 代码在测试环境或我的机器跑的好好的呀,怎么一上线就出问题呢。
  • 测试怎么测的,那么多问题发现不了。
  • 我们希望产品运维同事帮忙搭一个跟线上一模一样的测试环境。

另外,测试团队的人也许会说:

  • 开发人员不写规定写单元测试代码。
  • 想着能用一个自动的集成测试环境,因为开发的原因,老是实现不了。
  • 测试环境跟生产环境不一样,好多问题才发现
  • 还有那么多的bug没有解决,产品就催着上线。

二、技术团队之间配合不好的影响

上面看到的团队之间的冲突和抱怨问题虽然都不一样,产生的影响确是类似的:

  • 产品上线的进度延误,整个团队很难正常交付新版本。
  • 产品上线后问题很多,影响用户的访问。
  • 团队的士气很差。

最近又发生了运维团队与开发团队之间的配合不好的问题,影响及原因如下:

  1. 新产品上线延误了两个星期,正常情况下一天就可以上线。原因是开发考虑不周,测试环境中没有发现,到上线前才发现部署到多台机器上后,按开发原先计划的方式多台机器无法协作完成任务。还有就是在设计阶段没有考虑生产环境的状况,在上线的过程中需要做出对应的代码调整。
  2. 上线后质量不稳定,出现多次紧急修复。原因同上。
  3. 临时增加硬件投入。新产品中有个组件采用全新的技术方案,跟原来的LAMP体系不兼容,所以需要新增机器,单独部署。
  4. 除低了服务可用性标准,并产生了遗留问题。因为临时需要增加硬件,而恰好又只有一台,这样就形成了单点,如果该机器出现故障,服务将全部中断。另外,由于开发前设计上考虑不周,跟别的组件集成时产生别的单点。所以这些降低了服务的可用性,以后还得想办法解决。除此之外,组件采有新的软件,安装、服务起停以及软件配置的管理都是纯手工打造,以后还得找时间纳入到自动配置管理中。
  5. 影响了团队士气。在上线过程中开发、测试和运维都觉得不舒服,相互之间产生了抱怨。如果不处理好,会影响以后的配合。

虽然,有些问题确实需要靠某些团队提高自身的人员技能才能解决好,但这些团队能够形成一股合力的话,同样的人员组合肯定会产生更好的效果。

三、过去解决团队配合问题的方法

第一次碰到团队之间的配合问题时,我们还没来得及解决的时候,公司战略调整,整个开发和系统运营团队转给了另一个大部门。但我们在别的地方重新梳理技术团队时,后来又没有出现这种问题,回想起来,我们的做法是:

  • 部分开发人员有生产环境中服务器的帐号,可以观察代码的运转情况,少数核心开发人员还有sudo权限,当然他们也不会随便修改服务器的设置
  • 开发时一开始就会跟系统运维团队沟通,在代码中增加数据收集的接口和监控接口,这样上线后,很容易收集产品的性能数据,并能方便地对运行状态进行监控与报警
  • 生产环境中也有沙箱与beta环境,这样大的版本从测试中过渡到生产环境前,先在沙箱环境中适应一段时间,这样能相对平稳过渡到生产环境
  • 部分开发人员临时转到系统运维团队工作一到二个季度,跟系统运维同事一起上线产品,解决产品在运行中发生的问题,这样更好地了解代码如何在生产环境中运行,回去之后能更好地运维同事沟通,开发出来的代码更容易在生产环境中运行

这样,不同团队之间虽然有职责上的明确分工,但在中间的配合的部分做了不少柔性处理。另外,开发、运维与测试等团队中的核心人员之间本身就有认同感,大家一开始的目标就是奔着公司能成功来的,这是没有出配合问题的根本原因。这一点其实跟DevOps的核心点类似,既然如此,何不重新审视一下DevOps,并参考着解决团队之间的配合问题呢。

四、DevOps

DevOps是2010年从欧洲传过来的概念,最先是由一群有着跨学科技能的工程师提出来的,为了解决下面的问题:

  • 推出新功能和解决老问题的周期过长
  • 新产品或新版本上线充满风险,代码能否在生产环境中稳定运行,没有人有信心,只能艰难地推上去,再看是不是有问题
  • 不同团队相互隔离,配合差。如开发人员收到问题后,第一反应是“在我的机器上工作得好好的呀”

我认为DevOps的核心是不管你是开发者、测试人员、管理者、DBA、网络工程师还是系统管理员,大家都是一起的,只有一起努力给客户提供稳定而高质量的软件服务,实现公司的商业利益才会有别的,包括自己的工作机会。

所以,DevOps实际是给各个团队之间搭桥,让他们不仅仅是依靠上线申请单这样的鸿雁传书工具进行沟通,而且经常离开自己的孤岛,走到别人的岛上去,了解别人,并提供自己的想法,帮助对方。

DevOps更象是一种运动,每家公司都需要根椐自身的特点进行借鉴,推动团队之间的协作与合作。需要在三个方面努力:

  1. 人员
  2. 一方面对现有人员进行培训,鼓励他们了解别的团队的工作、面临的挑战等,让他们用自己的特长去审视和帮助别的团队,另一方面也想办法招一些全面的技术人才,在不同团队之间搭出一些适用的桥来。

  3. 流程
  4. 在研发的前期,让系统运维同事参与起来,一起搭建测试环境,验证想法,或者也可以在一些项目团队中直接配有系统、开发和测试以及产品人员,一起为产品的上线努力。出现问题的时候,一起想方法找到问题的真正根源,避免相互推托,将解决方案落实在以后的研发过程中。从绩效考核流程上也需要考虑协作因素。

  5. 工具
  6. 说实在的,大家针对DevOps在工具方面其实讨论得更多,这里面跟敏捷有些类似之处。快速的系统部署和自动化产品代码发布方面的工具显得尤为重要了。

为了避免校弯过正,走向另一个极端,也需要避免下面的对DevOps的常见误解:

  1. DevOps意味着要给开发者root权限
  2. 可以给开发者加sudo权限,运行指定的命令,比如重启web服务。让开发者更多地了解生产环境和产品的运行状况,但并不意味着让开发者象管理员一样的去管理机器。

  3. 所有系统管理员需要写代码,所有开发者需要上架机器
  4. 在系统管理和开发者各个领域仍然需要各自的专家,如存储、网络、安装、javascript等专门的人才,DevOps并不意味着让大家不做自己专长的事情。

  5. 你一定要用某个工具,不然就不是DevOps
  6. 一些技术和自动化的工具对推动各个团队之间协作很有帮助,但是还是需要聚焦于要解决的问题,根椐问题和组织的特点选择合适的工具。

  7. 我们需要招聘DevOps
  8. DevOps不是一个新的岗位

五、结合DevOps,解决团队配合问题

管理人员关注团队之间的沟通机制及氛围:

  • 以新版能在生产环境中可靠稳定运行为目标,形成协作的氛围。
  • 在项目的早期,立项之间,运维、开发与测试就进行沟通,可能的话坐在一起,面对面沟通。
  • 在项目上线前,除了测试功能,还要关注部署、备份、监控、安全以及配置管理,在早期发现的问题越多,越能尽少后期的问题并避免影响用户体验。
  • 建立各个团队的核心成员定期沟通机制。
  • 团队之间的协作纳入绩效考核过程中去。

让开发人员了解运维工作、关注点及挑战,并从开发视角帮助运维:

  • 开发人员参与运维团队的内部培训,了解线上的系统。
  • 了解运维如何定位并解决故障、如何监控系统的运转情况等。
  • 少数开发人员可以跟运维一样发版本到生产环境中,让开发人员关注并了解自己代码的运行情况。
  • 从运维的视角修改代码,方便运维人员进行日常的变更与调整,监控与报警。
  • 帮助运维人员修改puppet配置模板。
  • 帮助运维人员编写与修改产品的发布脚本,提高自动化水平。

让运维人员了解开发过程的关注点及挑战,并从运维角度改善开发过程:

  • 运维为开发在公司搭建基于虚拟机的测试环境,虚拟机的安装、配置管理以及代码的发布采用跟生产环境一样的方式。
  • 开发人员与测试人员象运维一样发布版本到测试环境中。
  • 鼓励开发与测试人员修改puppet配置与模板,管理自己的虚拟机。
  • 在生产环境中建立了beta环境,开发人员可以直接发版本上去,让代码在最终上线前多一层缓冲。
  • 运维去了解代码的模块结构,从运维的角度修改代码,让产品上线后更方便运维与适应生产环境的特点。
  • 运维参与到持续的集成测试中,用自己的自动化知识帮助实现自动的集成测试等。

文章了来自:http://www.infoq.com/cn/articles/lxh-teamwork-devops



@joe 2011-07-20 15:41 发表评论

相关 [技术 团队 问题] 推荐:

不同技术团队的配合问题及DevOps(不错的文章,来自infoq)

- wangdei - BlogJava-首页技术区
在IT企业里产品从创意到交付给用户,从整体上看是由技术部门负责,但如果深入到技术部门,会发现由不同的技术团队负责不同的部分或者阶段. 一般会分产品团队、开发团队、测试团队以及运维团队,在互联网公司里,运维团队一般还分基础运维和产品运维两个团队,基础运维负责基础设施(包括机架、网络、硬件)和操作系统的安装,为整体公司的所有产品提供基础设施的运维服务.

谈技术团队目标

- - Tim[后端技术]
技术主管新年想得最多的一件事必定是如何比上一年做得更好. 宏大的目标设定每个团队都会做,谈几个不引人注意的小问题. 见过一些技术团队将计划定义为“按时完成需求”,需求驱动并没有什么不对,但是研发工作仅考虑被动需求的话是很难做好. 之前完成的许多需求有什么共性. 经常出问题/bug/故障的项目/功能/模块是哪些.

了解豆瓣技术团队必看

- - 张沈鹏
文 挑灯看剑@ douban.com. 以下内容按照时间倒叙排列,方便各位阅读,以后不定期更新:. (之前发布的内容,不保证符合现状). 豆瓣首席科学家、算法组leader在程序员杂志上发文《下一代个性化推荐系统》. 豆瓣高级工程总监段念在letagilefly会议上讲豆瓣的技术团队敏捷实践. 豆瓣设计师在极客公园讲豆瓣FM的设计.

说说技术型创业团队的技术选型

- rhyttr - DBA Notes
看到微博上《程序员杂志》在征集"一分钟先生"的话题:如何做好公司/团队的技术选型. 其实大公司或者大一点的团队选型几乎不需要太多讨论的 -- 最后会不可避免的绕到技术官僚的话题上去. 这里我想简单说说技术型创业团队技术上的选型问题. 如果只能选择微软的技术路线,比如团队几个人只会用微软的技术做开发,甚至也不想学别的,那么似乎没有别的办法,将就一下吧.

每周问问你的团队这10个问题

- - 36氪 | 关注互联网创业
定期提问是一种敏捷轻量的跟上形势的好办法. 回答变成了对话,有关什么才是团队和公司最根本、最有意义的东西的对话,然后将这些对话转化为行动. 而提出合适的问题是关键,以下是15Five CEO David Hassell提出的10个问题:. 通过回答这个问题可以让员工庆祝甚至夸耀一些自己的成果,包括那些跟最高优先级不相干而被忽视的小事情.

[原]国内研发团队普遍常见问题

- - 阿朱=行业趋势+开发管理+架构
以下是国内研发团队普遍常见问题,大家说说各个岗位怎么提高质量和效率吧. 1、业务没啥清晰的战略核心主干与目标,业务需求不会解构洞察,客户提什么就做什么,业务需求和软件功能要求混在一起. 2、不会建立业务模型和产品模型,客户提什么就做什么. 3、不会理性需求排级,不做数据度量论证/也没有数据可度量/也不知道度量哪些合理数据,客户谁权力大谁态度恶劣谁叫的声大,就先满足谁的需求.

续——冯大辉谈技术性创业团队的技术选型[原创]

- huyun - 运维进行时
       原文冯大辉谈技术性创业团队的技术选型提到了天涯,好吧. 站在一个天涯从事6年运维工作的角度,我就多说几句,天涯属于破釜沉舟要摆脱这种束缚的这一类. 原因不用多说,文中提到的问题天涯多少都有碰到或存在. 目前已全面拥抱开源技术,这不是一时头脑发热所做出的决定. 根据现状、未来的发展策略理性来选择的.

工程师在创业团队的技术挑战

- cong - DBA Notes
曾经有不少人对我问过类似的问题:作为技术人员在创业团队(或是小公司)工作,技术上没什么挑战,觉得自己得不到锻炼,我该怎么办. 的确,就说互联网这个领域吧,创业团队或是小公司的网站规模往往并不大,或者至少要从小做起,用户访问量和那些大型网站在当下自然没法比,从这个角度上看,很多中小网站的确暂时面临不到这些高并发、大流量、高可用的这些"严峻挑战",另外,团队的职能岗位甚至也没有大型公司那么齐全,人家连做配置管理的团队规模甚至都比你整个公司人多,似乎在小团队作技术的出门都低人家一头,见面不好意思打招呼,真的有必要妄自菲薄么.

如何做好企业/团队的技术选型?

- 【虎.无名】 - 《程序员》杂志官网
好的技术选型,能最大程度地提高企业和团队的效率,从而开发出满足用户需求的产品. 作为一线的技术管理者,他们都是怎样做的呢. 大公司或者大一点的团队的技术选型几乎不需要太多讨论,因为最后会不可避免地绕到技术官僚的话题上去. 这里我简单说说技术型创业团队的技术选型问题. 如果只能选择微软的技术路线,比如团队只会用微软技术,也不想学别的,那么似乎没有别的办法,将就一下吧.

技术团队看板方法实践的难点分析

- - csdnNews
CTO俱乐部看板研修班开课. 北京、上海、深圳三站火热报名中. 感兴趣的朋友可扫描左侧二维码加入看板公开课与路宁、何勉两位讲师直接沟通. 成功加入 CTO俱乐部会员并. 获赠6个月《程序员》iPad/Android版电子刊. 会员权益:个人主页、定期餐叙、最新周刊、折扣优惠、《程序员》杂志、大会门票、人才招聘、每月赠书等,.