从工具使用的痛苦说开去

标签: Career pipeline Spark 工具 痛苦 | 发表时间:2016-10-25 04:16 | 作者:四火
出处:http://www.raychase.net

从工具使用的痛苦说开去

是因为最近团队里的数据分析师(data analyst)向我抱怨,为了分析数据,要跑job,要执行pipeline,要用Spark来算结果,但是期间遇到各种问题,虽然我们一起研究问题的解决方法,但是依然非常耗时而且令人沮丧。这些问题大多并非数据本身的问题,而是工程问题。换言之,我认为数据分析师的价值在于数据思维,他们有我们软件工程师不具备的数据敏感性,他们能从海量的数据中获得有价值的信息——但是如今他们却陷入了因为工具问题而导致才华无法施展的境地,确实令人叹息。而工具的问题,正是应该由软件工程师来解决的。

上班同车的同事Kai和我说,现在和几年前不同的是,“全民dev化”了。除了上面说的数据分析师要解决工具的工程问题以外,还有data scientist,business intelligence engineer,甚至program manager,以及TPM,都在不得已地处理并努力解决各种各样原本应该由SDE(软件开发工程师)去思考和处理的问题。个中原因很简单,技术发展太快,快到维护的工作已经跟不上了。虽然有各种各样的工具,拥有巨大的能量,解决以往根本不敢想象的数据规模下的问题,可以不可思议地提高效率,创建纷繁多样的数据分析结果,但是似乎很多人都忽略了一件事。没有问题的时候,如同平静的湖面波光粼粼,光彩动人。但是一旦出现了许多问题,湖水马上翻脸,波涛汹涌,这些新技术和新工具往往带来了巨大的维护成本。

在许多团队以大数据为荣的时候,用大数据招人的时候,很少有团队去思考这样一个事情:真的需要那么大的数据规模吗?

我看到有很多问题的论证和尝试,是并不需要用海量的数据和巨大的计算资源的。但是似乎我们的思考已经带着迂腐而沉重的惯性,迈开了步子,跑起来,就再也停不下来了。举个例子,用sample data来验证数据的正确性。既然是sample data,完全可以用合适的ETL去攫取少量但是符合要求的数据,然后来完成验证。有时候为了控制sample的数据规模,这个ETL需要更多的思考和斟酌才能完成。但是人是有惰性的,有时候拿到一个数据集合,不做filtering,不管三七二十一一股脑儿扔进去,拿巨量的EMR计算资源去算结果,也能得到结果。但是这就是强大的工具带来的人在思维上的懒惰。我们看到计算和存储成本不断上涨,却很少有人从这个角度思考问题。

只有等这个问题问完了之后,我们才值得继续去问下一个问题:到底谁来为这样的工具问题买单?

我的观点是,虽然现在有那么多人都在承受它带来的后果,但是只有软件工程师才应该以之为耻。你们引入了这个工具,你们就应该把它负责到底。我们不要看到data analyst的才华消耗在无比沮丧的异常堆栈上面,data scientist因为各种运行时故障跑一个简单data report生成折腾了一个星期。他们的才华不应该被浪费在这上面。无论是公司层面还是团队层面,SDE应该站出来解决这些问题,提供一些足够好用的工具。如果没有资源和统筹来做这件事情,大家都只能痛苦,跟着效率低下。

于是说到痛苦,于我以及我们团队来说,最大的痛苦在于不得不去打交道的Oracle。Data warehouse,既是系统的上游数据来源,也是中间数据存放的其中一个媒介,还是下有数据的出口,因此耦合紧密。而其中的数据库Oracle又频出问题。整个公司都在努力 去Oracle,但是这却并不是那么容易做到的。

以上只是一些冷静下来的思考而已。

更多的,留在记忆中的,是那些思考之前的痛苦的回忆。

但是这些年的工作,已经让我渐渐麻木或者说不会再少见多怪情绪激动了。

我记得刚工作的时候,发现一大痛苦在于要读懂项目里的六十万行代码。那个时候对于设计、骨架、模式等等缺乏认知,这六十万行代码映射到眼睛里面并没有明显的主次轻重之分,于是读代码变得痛不欲生。

接着则是出差,开局,要熬夜,要解决各种各样的线上问题、网络问题、部署问题。这不光是心理上的,还有身体上的疲惫。我记得在当时联通“沃”项目联调运营,对外展示前,突然网络出现重大问题,当时目睹某现场总工程师急的眼泪都要下来了,最后说出一句心凉的“我们只能烧高香了”。

做过一个前端播放器的整合,一大堆兼容性问题,好多个日夜的折腾。好好坏坏,也缺少专家指导,很多问题都是靠枯燥而无奈的“试错”来“解决”的。于是问题规避开了,但是原因却不很清楚。

第一次 性能优化期间,则是为了达到要求的指标。如果是一个新项目,有好多种性能要求下的设计方法。但是困难的地方在于,当我们开始着手并深入性能问题的时候,系统已经基本完成了,架构上的大动作基本不可能实施。

后来进入外企,开始面对如山的英文文档,难受得胃疼。

开会面对一帮印度人,口音听起来仿佛和外星人交流,只觉得云里雾里,不知所云。当时我肯定没有想到,如今几乎天天跟各种乱七八糟口音的人打交道。

后来则是一些恼火的线上问题,甚至一些严重的问题,棘手且出现在半夜,往往 背上一凉,睡意全无。

……

现在已经淡定许多了。

我曾经和同事开玩笑,软件工程师成长的过程,就是一个被各种问题痛苦折磨并且自我解脱升华的过程。技术上的解脱是次要的,心理上的升华才是收获。在觉得山重水复疑无路的时候,往往悲观消极,自我怀疑。在解决问题的时候,又有一种巨大的解脱感而畅快无比。

有人说程序员是一个最波澜不惊的职业。对着电脑工作,然后拿钱回家。那么那个人一定不懂这个职业。

热爱,才有激烈的喜怒哀乐。

其实有时候也想心如止水,但是人的个性本就如此,不易改变。

于是在各种各样问题不断的折磨中蜕变,也不断成长。

文章未经特殊标明皆为本人原创,未经许可不得用于任何商业用途,转载请保持完整性并注明来源链接 《四火的唠叨》

分享到:

相关 [工具 痛苦] 推荐:

从工具使用的痛苦说开去

- - 四火的唠叨
是因为最近团队里的数据分析师(data analyst)向我抱怨,为了分析数据,要跑job,要执行pipeline,要用Spark来算结果,但是期间遇到各种问题,虽然我们一起研究问题的解决方法,但是依然非常耗时而且令人沮丧. 这些问题大多并非数据本身的问题,而是工程问题. 换言之,我认为数据分析师的价值在于数据思维,他们有我们软件工程师不具备的数据敏感性,他们能从海量的数据中获得有价值的信息——但是如今他们却陷入了因为工具问题而导致才华无法施展的境地,确实令人叹息.

死亡与痛苦

- Rex Cheng - 译言-每日精品译文推荐
来源Death and Grief. 人们通常会做出情绪上以及身体上的反应. 当你面对死亡(通常指你的家人或朋友)的时候,你可能会有各种情绪上的反应. 你可能会觉得伤心,担心,或者感到忧虑;你可能非常震惊,觉得难以接受,或者很困惑;你可能会觉得生气,受骗,解脱,愧疚,疲倦,或仅仅只是空虚. 这时你的情绪通常都会比平时更深刻、更强烈复杂,这种情绪在你平时都未曾经历过.

《福布斯》:IT人最痛苦!?

- Bob - cnBeta.COM
你觉得你现在的工作让你很快乐充实么. 据美国《福布斯》杂志12日报道,近日,一项由美国芝加哥大学国家研究组织进行的综合社会调查,公布了“十大最幸福工作”排行榜和“十大最痛苦工作”排行榜. 让人吃惊的是,牧师、消防员和教师等成为最让人幸福的工作,而IT主管、法律职员和销售经理成了最让人痛苦的职业.

坚持feminist立场好痛苦

- Silwile - 雪藏了的盛夏
今天吃饭,正好看到山东教育台在播《大声说》节目,讨论"干得好不如嫁得好vs嫁得好不如干得好"问题. 支持"干得好不如嫁得好"一方的,是一个八零后女主持人,一个七零后职业女性,和一个叫顾骏的男性教授,大概五十岁到六十岁之间. 支持"嫁得好不如干得好"一方的,是一个八零后女商人,一个七零后女商人,还有一个年龄稍大些,职业忘记了,但也是受过良好教育的职业女性.

音乐抚慰焦虑,减轻痛苦

- - 译言-医疗与健康
                                                      音乐抚慰焦虑,减轻痛苦.                                                                                            瑞克·诺尔特.

人最大的痛苦就是心灵没有归属

- Leeall - 柴静·观察
                  “西方的报纸上总是着眼于中国的巨大变化和......>>点击查看新浪博客原文.

跨越痛苦以达到最佳的境界

- kaichun - 张志强的网络日志
博客 » 杂文 » TED ». 刚看了一个TED视频,大衛布萊恩: 如何閉氣超過十七分鐘,里面有这么一段. 魔术,无论是停止呼吸,还是洗牌,都非常简单,你只需要不断地练习、训练和尝试,跨越痛苦以达到最佳的境界. 这句话出现在视频的最后,是整个视频最好的总结. 大卫·布莱恩为了超越水下闭气的世界纪录,付出了惊人的努力.

外媒总结Palm Pre的痛苦悲催短命史

- whitewolf - cnBeta.COM
据国外媒体报道,就在今天惠普宣布停止webOS设备业务运营后,美国著名科技博客商业内幕(Business Insider)对Palm Pre短命的历史做了回顾.

抹去痛苦记忆,“忘情诊所”不是一个传说

- 远 - 果壳网 guokr.com - 果壳网
记忆的神秘感不言而喻,《盗梦空间》中各路人马通过梦境在目标的记忆中镌刻或者抹去某段记忆从而改变他们的人生轨迹. 这样的情节彷如天方夜谭,绝非现实中能够发生. 但现实的离奇绝不逊于电影作品,它甚至更加耸人听闻. 尽管原理、机制尚不完全明确,但人们也似乎正越来越接近“记忆”的真相. “植入”或“抹去”,修改记忆轻而易举.

问:异地恋最痛苦的是什么?答

- qugougou - 微博段子
答:鞭长莫及………………你让我以后怎么面对这个成语………. 原文地址:http://www.tduanzi.com/tweets/15058.html.