18 KiB
因收到Google相关通知，网站将会择期关闭。相关通知内容
03 淘宝HSF：能让淘宝出重大故障的就那批人
你好，我是叶芊。- - 上一讲我们聊到毕玄加入互联网公司的经历，为冲刺上市的彩票网站写新系统，因为自己不会C语言，也比不过腾讯那拨人，迫不得己成为了一名DBA。但因为突然的规定上市无望，他也走了。- - 后面发生的事情，说实话我只能说“很神奇”。- - 就他准备找新工作的时候，在没写简历没主动面试的情况下，居然又有一根橄榄枝神奇地伸了过来，然后在一场很神奇的面试后，他进了淘宝，结果第一个项目就神奇地差点把淘宝搞挂了……- - 到底发生了什么？我们马上开聊。
- 极客时间：2007年底你就去阿里了，当时你是怎么进去的？
毕玄：也是博客，我到上海工作是因为写博客，换到阿里很大原因也是这个，当时我在网上写了OSGi那份文档，OpenDoc，那个时候可流行开放性的文档。
极客时间：这篇文档影响力很大，你写了多久？
毕玄：一点点积累的，前前后后可能有半年多。
极客时间：半年？这么久？
毕玄：对，就写了那篇东西，写了之后技术圈的关注确实比较大，最早我们觉得产品化的基础可能是基于OSGi做，因为Eclipse那个时候已经是Java的垄断IDE了，而Eclipse的底层是OSGi。
当时Eclipse把OSGi把插件化的整个体系讲得，你如果听一下思想都会觉得太完美了，而且有Eclipse展示，相当于有了落地，还不光是一个概念，所以大家都觉得哇这是革命性的，基于这个抽象有可能做成产品，只是后来论证了一些东西，不是这样。所以当时OSGi在国内的关注度非常大，加上又没有文章，我写了第一个，很多人可能就因为这个知道了我。
极客时间：那个思想是什么，可以具体讲讲吗？
毕玄：从业务上讲，以前做整套系统想做成产品，产品化的核心思路是复用，但你不大可能把所有东西都做了，那最好的方式肯定是插件，A、B如果有不同的需求，我做个插件，插在原来的上面做扩展就好了。
而Eclipse是完全基于插件体系的，在里面如果一个功能没有，你装一个插件就有了，然后插件还可以扩展，你想跟别人的不一样，改一下代码就可以，还只用改部分。我们觉得这是一个完美的思路，把很复杂的东西抽象掉，做插件、做扩展。
其实到今天为止，所有的扩展型系统仍然是这么构建的。只不过OSGi可能太复杂了，但它的思想其实被用在了所有系统上，现在想产品化的公司，面对复杂系统，还是插件、扩展点的套路。
我们当时觉得这个方向是有可能的，Eclipse也给我们展现了一个完美实践，所以我们说应该研究下来，然后我也比较感兴趣，也觉得这个东西应该就是灵丹妙药。中国又没资料，就开始自己研究了，加上我确实比较喜欢写文章，写上瘾了，就有了那篇非常长的文章。
极客时间：所以你写出影响力之后，你是怎么去淘宝的？像以前一样有人看到你的文档被联系过去的？
毕玄：写完之后，有个人叫曹晓钢，他做了一个网站叫满江红，以前很多人会用，包括我们搞Java那帮人，那篇文档放在了网站上，可能中国学习OSGi的人都看过了，所以我跟晓钢就非常熟了。
当时比较凑巧，刚好我准备找工作的时候，晓钢就问我要不要考虑下淘宝。因为那个时候他的一个朋友刚刚加入淘宝，那个朋友就是菲青。因为菲青中国朋友比较少，很幸运晓钢就是他的其中一个，菲青刚刚加入淘宝在招人，也找不到别人，就问晓刚能不能推荐几个，就这样我被推荐给了淘宝。
然后我就到杭州面试，说实话那个时候我们不觉得淘宝名声很大，虽然有一定名声，因为它刚刚打败eBay，听肯定都听过，但觉得好像也没啥。出名的是老马。因为马云在前一年上了创业的节目，在那个节目里风格非常犀利，圈粉无数，那我觉得很好啊，就到淘宝面试。
极客时间：你被推荐过去之后，然后就顺利进去了？
毕玄：没有，进淘宝很狗血的。当时晓钢还问我面的咋样，我说我觉得不咋样。
面我的第一个是黄裳，淘宝比较老的一个工程师现在蘑菇街的联合创始人，黄裳第一轮，菲青第二轮，第三轮是马钰。
那个时候黄裳问我很多问题，我都不知道，菲青问我，我也很多都不知道，马钰问的时候我就更懵，因为他是带搜索团队的，问很多算法，算法我不懂，他让我做道题，也没做出来。后来我就说你们到底是怎么让我通过面试的（笑）。
但是最后很神奇的是，等面试结束的时候，马钰居然问我要不要考虑一下加入他的团队，我都震惊了，我是来面菲青的团队，然后马钰说你要不要来我们这。当时我想，啊？我题都没做出来，你们为什么让我加入？这什么团队。所以很搞笑的。
最后当时淘宝整个软件技术部的老大空闻面我，空闻说你前一年不是在做数据库吗，现在为什么面的是Java工程师？空闻简直震惊了。反正很神奇的，我就这么加入了淘宝。
极客时间：所以你到底是怎么通过面试的？时机原因吗？
毕玄：后来我们一帮当时加入的人都开玩笑说，当时的淘宝估计是你只要投简历，就会招你，根本就没什么面试流程，就是个形式。这可能真的就是运气，但很多公司都这样。
因为07年愿意来淘宝的人非常少，包括我们去校招，淘宝绝对是阿里集团里最后一个被选择的。到后来我们才有了很多的要求，淘宝是09年经历的大规模发展，整个架构做了演进，就会有很多要求，比如希望你做过大型系统。
这像我们07年进来的这批人就废了，应该是进不了淘宝的，会被碾压，做过大型系统？没见过，并发量上十万的都没见过，更不用说其他非常非常多的要求了。阿里后来招的人，实践经验简直能亮瞎眼，本科就已经非常厉害了，不用说像硕士、博士，但这是阿里很正常。
极客时间：除了你说的运气，应该也有你写OSGi文章的原因吧？
毕玄：应该有，后来我跟黄裳他们都说，你们招我，八成是因为OSGi吧。因为他们面试问的很多跟淘宝当时用的整个技术体系相关，淘宝当时又要做服务化，他们觉得这些你是不懂，OSGi你懂啊。但是问那个，他们就不知道我回答的怎么样，因为说实话我答的对还是不对，他们也不知道，只是觉得你有一个点是非常专业的，所以也可以（招进来）。但肯定不是因为我对淘宝多了解。
极客时间：好，我们接着你进淘宝之后的经历聊，你是一进去淘宝就开始做HSF了？
毕玄：对，因为OSGi是一个偏服务化的东西，淘宝当年最重要的策略就是做服务化的架构演进，只有我是有这个背景的，所以进来之后，我就很自然地负责做这个东西。
但问题是，其实我也没做过，而且我们那帮人都没做过大规模的系统。我当时面临的第一个问题是技术选型，但我们根本不懂大型系统的技术选型挑战是非常大的。
以前我做政府，说实话随便选好了，更多的是看功能，但互联网更多的是看性能，功能对互联网来讲一点都不重要，越少越好，但性能是核心。所以我进来做的第一个技术选型后面就是一个巨大问题。
极客时间：当时你做的选型可以多讲下吗？
毕玄：我们做HSF，第一个要选的是通信框架，淘宝最早是WebLogic，菲青进来以后再换成了Jboss，我进来之后，因为菲青用JBoss，就决定也选Jboss的通信框架，把Jboss的老版本升级成新版本，顺带把通信也基于Jboss来做。这就是我们以前的选型（笑），所以后来我们会不断地教育新人，不要瞎来，有非常严格的规定。但以前互联网可能大家都不懂。
所以我们就选了，做了第一个版本上线，这是我面对的第一个大规模系统，日均访问量是200万。我以前做的10万不到，一下直接200万。那个时候所有人都会告诉你做一个网站，访问量10万、100万、1000万、1个亿、10个亿是不一样的，但没有人告诉你到底哪里不一样。
因为当时中国没有圈子，就很窄。但国外就有很多，QCon以前在国外的大会有很多互联网公司讲他们的技术，非常适合中国做互联网的那帮人，这点必须说QCon是真的打开了中国交流的圈子，所以我们以前都是看国外的东西。
极客时间：所以你上线就出问题了？
毕玄：没有，我当时上线以后很正常，所以突然间我就觉得，完全感受不到你们吹嘘的到底有多难嘛，你们是不是在忽悠我啊。我就信心爆棚了，决定不要上这种不那么重要的系统，因为当时上的系统是给阿里的客服小二用的，出问题相对还好。
我们就决定直接上阿里最重要的系统，交易系统。当时交易系统日均访问量大概是1个亿左右，相当于从200万到1个亿的跨越。结果上线的当天就出问题了。
当时发布的时候，大家都去千岛湖Outing了，就留下我和黄裳俩人，因为大家觉得应该也不会有什么问题，所以你们俩就留下发布吧，那个时候发系统都是半夜，不是白天。我们俩半夜开始发系统，发完了以后回去睡觉了。
一大早我就接到监控的电话，说整个淘宝现在很诡异，也说不出来哪里诡异，好像比平时慢一点，就是这个描述。
极客时间：接到监控的电话，你们就赶紧去公司查问题了？查了多久？
毕玄：当年不像现在处理故障有一套专业的流程，而且要求响应非常非常快。当时我们觉得都无所谓，我和黄裳就去公司查，从早上查到晚上。所以后来我们在内部分享的时候都说，按我们当年处理故障的状态，都被阿里开除无数次了（笑），因为现在你必须立刻回滚掉，但当时我们俩觉得，不要回滚，先让我们查一下问题再说。
关键是我们从早上查到晚上都没查出问题在哪，但晚上的时候已经非常严重了，淘宝已经快打不开了，支付宝那边已经快挂了。我们俩也抗不住了，猜想八成就是HSF，虽然业务代码也改了，但换的核心就是这里，所以我们就把HSF回滚掉了，换成了原来的方式，一切恢复了。
然后我就悲剧了，这不用说压力就非常大了，那个时候我入职4个月，刚过试用期。
极客时间：有没有转正？
毕玄：已经转正了，但也压力很大，毕竟出了很严重的问题，而且就我一个人做这个系统。我就下来开始仔细回顾整个系统，慢慢查，但因为已经回滚了，也不纠结啥了。后来我们就发现了只是一行代码。
极客时间：查了多久？
毕玄：可能查了一两个星期。
极客时间：两星期？不会很焦虑吗？
毕玄：心态都还好，我可能觉得不管怎么样，反正先查出问题，其他的后面再说，而且不至于说我出了这个故障就被开掉了，这菲青肯定还会给我机会。但下一次压力可能就真的很大了，因为下一次说实话是不能出问题的，再出问题我觉得我自己也不好意思呆下去了（笑）。
极客时间：刚转正就出现了这么大的故障，可能你属于比较冷静的。
毕玄：我觉得看得开就好了。
因为我们后来发现有些人会想太多，比如做一件事情，就想着我要通过这个事获得什么，那八成是会做的乱七八糟，出了故障就想会不会被处罚，对晋升、奖金有没有影响，老想这些，那肯定没法做了。如果你什么都不想，先搞定它，剩下的事情等搞定再想也不迟。关键是，你现在想也没有用，你想不会改变任何东西，先安心干好你的活不就好了。
极客时间：面对重大事件，你的这种心态，你觉得和之前自己做项目的各种坎坷经历有关吗？
毕玄：那我可能高中就是，高中考大学不就是重大挫折嘛。因为我们高中是全省能排前几的，尤其我那个班，可以认为是超级重点班，只要能进那个班，基本都能上重点大学。当时我们每届都有奥赛金牌之类的，上一届还有省状元。
但我觉得这是个接受问题，因为我中考进我们班的时候是正数第8，但高中第一次考试，我就已经二十几名了。
极客时间：二十几名之后你是选择接受，不是说“不行，我得整回去”？
毕玄：你当然会努力，但努力一两次之后，你就会发现你得接受。因为我的几个好朋友，成绩非常非常好，但他们一点都不努力的，根本不读书，上课听一下，下课从来都在玩游戏，但考试每次都能考前几名。所以我说这是接受，很多人可能接受不了，觉得好像很怎么样。
就像我的好朋友，他高中一直考第一名，高考的时候全校都在看他有没有机会得省状元，最后他稍微有点失常，但应该是全省前十，就去清华了，后来我去清华找他聊天，他就说他终于懂了，我们高中的时候是多么痛苦。
极客时间：他也像你们高中一样，发现自己学不过别人？
毕玄：对，因为他进清华，第一次考试就是班上最后10名，他一看别人成绩这么好，就变得非常努力，每天早上7点就去图书馆学习，一直学到晚上。但即使这样，他一直都在后20名。
极客时间：可能他也需要适当接受。
毕玄：对，他就接受了，因为他看到前几名也是那样，跟他高中一样，也不怎么读书（笑）。
所以是心态，以前我们总说“但行好事，莫问前程”，当然面对重大问题的时候另外有抗压性的问题。
但抗压很难训练，我总不能给你造个故障，这对公司影响太大了，到底怎么训练面对这种重大问题，一个人的反应是什么。当然阿里后来有很多故障演练，你也不知道那个故障是真的还是假的，会故意出现一些，真假混合，就看你的反应。我们确实会发现不是所有人都适合的。
极客时间：面对故障，不是所有人都适合抗压，那有没有人因为这个离开了？
毕玄：也会有的，但不多。因为说实话，真正要面对这种压力的人。
极客时间：人都是很少？如果能让你去做这么大的系统，他一定是经过检验的。
毕玄：对就是少，你说对了。真的让淘宝整个网站出严重故障的人，说实话也就那批人。
那批人，很多都能接受是因为觉得就算出故障然后被开掉了，那又怎么样，我还是能找到一个工作，而且不会差，就会觉得无所谓了，有啥好纠结的。说实话，很多人担心还是因为不够自信，害怕如果被开掉，可能就怎么样了。但是不害怕的都是那批，大不了就开掉，这就是最差的结果，这我都能接受，那我还怕什么。
极客时间：这是当年，有点好奇现在呢，能让淘宝出重大故障的人？
毕玄：现在就不好说了。因为公司大了，出故障的影响面不一样，你现在出故障可能是真的会受到一些处罚。但以前没有处罚，以前尽管号称有，但也不会多严重，因为我们也确实被处罚过，包括绩效等等会受影响，反正大家看得开。
水友讨论区
今天我们主要聊的是毕玄进淘宝，以及做第一段专业领域的系统设计的故事，不知道有没有引发你的一点思考。
之前在知乎搜毕玄，在一个不那么正经的帖下面找到了他相当正经的一段发言：
当时我还将信将疑，但在今天了解了他07年的淘宝面试经历后，疑虑打消了，可能当年那波公司都有一段这样尴尬的时间，之后应该也会有。
进淘宝之后，毕玄做的HSF上第一个系统大获成功，于是这名热血青年信心满满上了1亿日均访问量的交易系统，结果被故障狠狠教训了一把，差点达成进厂就被裁的成就，但他表示稳住心态，先安心干好活，没有什么好纠结的。
不知道你对今天的对谈最感兴趣的是什么，照例是自由讨论环节：
OSGi的插件化思路，你是怎么理解的？在哪些系统里感受到这种设计思路吗？ 工作中你出现过严重的故障吗？影响如何？当时自己怎么处理的呢？
欢迎留言参与讨论，留言区是匿名的，所以欢迎自爆，也欢迎马赛克人名爆别人的料，毕竟独乐乐不如众乐乐，让大家一起围观引以为戒:)
我们下一讲会继续毕玄在淘宝的经历聊，下一讲见。
拓展阅读
-
这是一扇传送门，关于毕玄做HSF的复盘，我们后面单独有一讲，聊一聊他对这次故障的深刻反思，以及之后怎么才能顺利做成事的参考经验。
-
如果你对阿里的技术演进感兴趣，可以看《淘宝技术这十年》。
-
满江红网站还在，首页也能看到OSGi那篇文章（毕玄网名Bluedavy），但链接失效了，如果感兴趣可以看看毕玄博客里的这篇：说说OSGi。
-
如果你对用OSGi做服务框架的思路感兴趣，当年毕玄也写了一系列思考：- 服务框架的要素的blog- 基于OSGi实现服务框架的分析- 基于OSGi实现分布式服务框架历程(一)- 基于OSGi实现分布式服务框架历程(二)- 基于OSGi实现分布式服务框架历程(三)- 基于OSGi实现分布式服务框架历程(四)- 分析分布式服务框架