深入探訪支付寶雙11十年路，技術鑿穿焦慮與想象極限 | CYZONE特寫

小螞蟻說：

雙11十年間，交易規模的指數級增長不斷挑戰人們的想象力，而對螞蟻技術團隊來說，這不僅是一場消費盛宴，而是無數次瀕臨壓力和焦慮極限的體驗，更是技術的練兵場。如今雙11對螞蟻金服而言，已經絕不僅限于一個技術項目，而更像是一個社會化工程，可以叫做「連貫的，社會化的技術大協作」。

圖 | 東方IC *CYZONE特寫，大時代惘聞錄

支付寶團隊不正像那尊紅漆雕塑一樣？

一面對技術保持著敬畏、謙遜，一面又不得不玩命狂奔。

「雙11」就在眼下了，但螞蟻金服的新園區里氣氛明朗，人群也沒往年那么匆忙。

進園區時，出租車司機左手扶穩方向盤，右手比劃著說，秋天是杭州最好的季節，當然啦，春天也不賴。陽光猛烈，灑在園區的樓群上，映得金栗色玻璃深邃又清亮。

這座新園區里尚有很多事不為人所熟知。

每3分鐘會有1人在2號樓門口左手邊垃圾桶上捻滅煙頭，吱呀作響；訪客大廳的姑娘每天用胖大海跟人參片泡4壺茶，12個玻璃杯倒扣，杯子把統一偏右30度；園區身著橙色外套的保潔員不間歇地掃落葉，她們每天工作8小時，3班倒，總在推車上預備3個噴壺，以及1個保溫杯；每個花壇里，通常能用竹質夾子夠出三個煙頭或紙片。

這里的秋天晝夜溫差只有6攝氏度，但早晚都有人衣著單薄；穿沖鋒衣的外賣員打手機時，話筒離開嘴邊20公分，嗓門平均70分貝；下午時分，很多餐館的員工們蹲在門口抽煙，只有星巴克客流不斷，這里的大蛋糕與迷你蛋糕預定時間都是3天，收銀員也偶爾會用墨色水筆給姓董的先生標注Mr Wang；員工餐廳每天分四次供餐，樓群間額外排列著18家餐飲門店。

樓內有超過1000平米的免費健身房，私教價格僅為外邊的一半，穿耐克跑鞋的姑娘每天會帶著她的柯基犬來同時使用兩臺跑步機，盡管她的身型已沒什么可挑剔。

當你在下沉廣場跟第四個人搭話后，套著夾克衫的保安會盯著看，在你發毛之前問及身份，噢，是記者，別介意，履行職責嘛。

這是造價超過11億元，面積18萬平方米的螞蟻金服新總部，設施功能齊全，堪堪媲美小型城鎮，是 NBBJ 建筑事務所的手筆，也被叫做「螞蟻Z空間」。

功能強大的綜合體建筑容納了這里的杭州人與新杭州人，注視著他們的每一單生意，每一次創新，這里承載上萬人的財富與夢想，也記錄著每個個體的驕傲與焦慮。

雙11十年間，交易規模的指數級增長不斷挑戰人們的想象力，而急速擴張背后，對技術團隊來說，是無數次瀕臨壓力和焦慮極限的體驗。

想象力和焦慮最初給螞蟻金服技術團隊結出了一張網，又織就成細密厚實的繭殼。從2010年開始的三四年里，人們總會在雙11的消費前端感受到一些使用體驗的卡頓、不舒適，而內里則是這批工程師與欲望、想象力的博弈乃至搏斗，并在很多個逼近焦慮極限的瞬間，不斷打破桎梏。

2017年8月份，螞蟻金服正式啟用了這座名為「Z空間」的新園區 | 圖蟲創意

「為了幾十秒，值嗎？」

杭州入秋的早晨，涼得很，黃勇（花名展一）起個大早，跟幾位同事結伴跑了趟靈隱寺。這千年古剎在深山，向來香火旺盛。這幾年，寺廟時興環保，免費發清香，他請了三炷，點上，拜拜。采訪時，我問拜的哪位菩薩，黃勇皺皺眉頭，樂了，「還真不認識」。

燒香的心可是誠的 ，況且，來許愿的人，沒幾個比他的愿望還大，作為今年雙11支付保障PM（項目經理），他得事無巨細地操辦這個事關幾億人的項目。

每逢雙11，螞蟻金服的項目組成員們總要供上關二爺，穿上紅內褲，換上紅戰袍，存幾瓶紅酒，燒幾爐香。按支付寶雙11保障團團長陳亮（花名俊義，技術風險部研究員）的話來說，這是對技術的敬畏。

可事實上，要敬畏的絕不僅僅是技術這一件事，雙11作為枝節空前龐雜的項目，每個事物的細節上都有無數個隨機的可能性，早已超出了人能控制的邊界。 黃勇能做的就是制定「容災」機制，盡力去逼近那個不可能到達的「確定性」。舉個例子來說，在采訪當天，黃勇剛剛給所有11月10號晚上要進光明頂（支付寶雙11作戰室）的成員發了郵件，仔細交代了「如果當晚茶杯在電腦上打翻了怎么辦」這個主題。

2012年，負責支付寶雙11項目的PM同事從西安請回一尊皮影關公像，大伙覺得新鮮，紛紛敬上香煙、酸奶跟水果。自打那會開始，每逢重要的項目啟動，總有人提前往公司請關二爺。創業邦這次拜訪螞蟻金服時，作戰室里就供著一尊二爺銅像，該上的供也早都擺上了。請二爺似乎也開始帶來好運，那位請銅像的同學，前年雙11還在公司里抽到一次大獎。

某年雙11，馬云帶幾位合作伙伴在西溪園區參觀，登上光明頂（支付寶雙11作戰室）的時候，一位女性投資人吃驚地問，你們工程師居然時興拜關公？俊義就笑，還是那個說辭，敬畏。

信仰也好，敬畏也罷，雙11顯然都值得。 十年里，從最初幾乎不太被人感知的促銷活動，由欲望、情緒、責任感和創造力混合驅動著增長，長成一個不斷突破想象力極限的龐然大物。

2009年，首屆雙11購物節的單日成交額是5000多萬元，一個對比是，當年支付寶的日交易額最高突破了12億元。「記得有幾十個品牌參與，當時對它的感覺就是，淘寶做了個活動」，支付寶事業群總裁倪行軍（花名苗人鳳）回憶稱。但他沒有預料到，所有人都沒預料到，從第二年，雙11就開始刷新所有人的想象力上限，如今回頭端詳增長曲線，它在某些年份里維持著數字量級的增速，那線條著實顯得陡峭，但想想吧，處在那個當下，未知和增長給人們心理帶來的是更加強烈的沖擊感。

在螞蟻金服CTO程立（花名魯肅）的記憶里，2010年之后的幾年雙11，對支付寶技術團隊來說，是像電影《2012》一般的巨大考驗，「你把一個船放在那里，上面有個大浪，沒人知道能不能扛住，扛住就扛住了，扛不住就沒了。」

這艘大船只能提前按既有的想象力建造，但在應對巨浪時，必須臨時補救隨機出現的漏洞，隨機意味著不確定性，巨大的隨機和不確定性就進一步施加給團隊更龐大的壓力。 程立記得，現任阿里云副總裁李津當時在阿里巴巴集團負責雙11項目，「受不了的時候，李津要開車到龍井山上，打開窗戶睡一宿，他說壓力太大了，要吸氧。」

2010年，第二次迎接雙11的支付寶經歷了一次后來廣為人知的「4秒驚魂」。 11日的23時59分30秒，雙11結束前半分鐘，支付寶核心賬務系統突然報警，資源行將耗盡。當時整個支付寶的賬務數據庫沒有進行過任何拆分，一旦系統崩潰，所有業務都會掛掉，對淘寶和支付寶都會造成災難性損失。在工程師將一個會計系統的應用關掉，釋放出來資源時，離數據庫崩潰只剩4秒。

單就技術本身，在當時就已經是一筆永遠測算不清楚的賬。

2012年雙11之前，支付寶技術組已經把能想象到的壓力測試做了個遍，但當晚高峰期還是出了岔子，運維工程師鞏杰（花名袁越）記得，當時后臺一條數據通道設置的閾值太低，導致短暫宕機，但系統認定為無法響應，于是自動將其剔除了，隨后服務器一臺接一臺地掛掉，「跟雪崩似的，導致幾十分鐘里交易一直在抖動」，直到做了降級，切掉一部分流量之后，系統才恢復正常交易——按程立的說法是，那根保險鎢絲被高頻交易熔斷了，臨時搭上一根銅線才應付過去。

此時，過于龐大復雜的系統，人力已經無法完成全面有效的測試了。 鞏杰說，因為有前兩年數據庫無法承壓的情況，2012年已經在應用和DBA層面做了大量的壓力測試，但最終出問題的，恰恰是前面還沒壓到的「路口」。

采訪中，俊義苦笑道，當時每年雙11都信心滿滿，每年又都過得提心吊膽。 在雙11壓力最大的那幾年，整個支付寶技術團隊每年要花費幾個月乃至半年時間來「練兵」，做各種技術結構調整，系統測試。俊義最初產生過疑問，整個團隊花費出的絕大部分時間精力，只是為了貢獻給雙11最高峰的那幾秒。

「非得這樣嗎？」

「值嗎？」

但時間會賦予所有原本未知事物以終極的意義，雙11正是這樣一個把意義逐漸延展開的時代產物。「在當時，淘寶是我們最大的客戶，我們必須服務好」，俊義說。按照馬云早年的講法，在客戶關系之外，淘寶天貓和支付寶更像是夫妻關系，也正是在淘寶天貓的業務倒逼下，支付寶團隊的技術能力被空前地激發，一位今年入職的工程師毫不諱言，他入職螞蟻金服的核心吸引力就是雙11，「對工程師來說，再沒有比雙11更值得挑戰的項目了。」

鞏杰也是后來才意識到，某信用卡團隊早先在實驗室環境里實現的數萬筆每秒的交易峰值，早就被支付寶在實戰里遠遠拋在身后。2017年雙11，支付寶的交易峰值就達到了25.6萬筆/秒。

按照資深技術專家李錚（花名禰衡）的說法，技術團隊最近幾年已經把雙11兩天48小時的工作量做了很細致的拆分，“我們做了非常詳盡的作戰手冊，它有很多的步驟，按不同的時間點，你要去執行。”

技術之外，雙11是個在更廣泛的范圍內牽扯著不同部門，不同團隊，不同企業的龐大協作系統。 螞蟻金服集團副總裁陳亮（花名關勝，品牌與公眾溝通部門負責人）記得，某一年的雙11當晚十點鐘前后，一家國有大行銀行的交易系統內的一百萬個單號發光了，后續單子無法生成，于是當晚最后兩個小時，所有源自該銀行的支付訂單都無法執行。 「總會有你無法預想的問題出現，我們做好所有準備，剩下只能兵來將擋水來土囤了。」

想想啊，就好比火箭升空一樣，倪行軍敲敲桌子說。多少軟硬件技術環節，多少個零件組裝拆卸，在設計制造的過程中，只能窮盡所有人腦可以企及的可能性去做測試， 但在點火那一剎那，等待它的是圓滿功成還是原地爆炸，你只能束手以待了。

倪行軍覺得，無論是技術人員拜關公、燒香還是公關團隊的預案，都證明了螞蟻金服團隊對雙11的敬畏心。2013年5月，支付寶下線了最后一臺IBM小型機，隨后逐漸以自主研發的OceanBase數據庫替代了Oracle，完成了去IOE工程。 如今雙11對螞蟻金服來說，已經絕不僅限于一個技術項目，而更像是一個社會化工程。程立說，如果為它定義一個清晰的組織概念，可以叫做「連貫的，社會化的技術大協作」。

雙11作戰室里的魯肅（程立）| 受訪者供圖

一面敬畏，一面狂奔

螞蟻Z空間的樓群維持著古怪的幾何形狀，像個「撅著屁股」的Z字，又像個扭動起舞的水泥巨人。但與外部怪異的建筑設計、雜亂的人流相反，在樓宇內部密布著閘機與證件機器，構建起堅固的秩序和準入流程。室外，巨大的紅色人形雕塑朝著人流入口鞠躬，姿態謙遜，氣勢卻渾然不可當。

支付寶團隊不正像那尊雕塑一樣？一面對技術保持著敬畏、謙遜，一面又不得不玩命狂奔。 這十年間，在雙11之外，他們也有很多焦慮要去消解。

被問及在支付寶工作十幾年間最難忘的瞬間，倪行軍和陳亮的首選都是那次年會。2010年1月21日，支付寶公司年會，此前內部并沒有太多源自自覺的危機感。遙遙領先的市場份額與灼灼亮眼的業務數據，一切看起來十分順利。

但年會一開場，人們就發現氣氛就有些怪異。會場高音喇叭里首先傳來指責、抱怨、無奈與批評，這些聲音是來自客服電話錄音里的客戶投訴。

但現場事態發展，完全不只是「反思」而已。陳亮到了會場，才收到馬云等阿里集團組織部的高管們將要到場的消息。隨后，客戶滿意中心的代表上臺，表達了「我們的體驗如何糟糕，用戶如何承受著折磨」；BD團隊則指出「合作伙伴是如何對支付寶的高期望，同時又是如何的失望和無奈」。

馬云現場發火了。「爛，太爛，爛到極點」。

陳亮記得，這是他多年來唯一一次在公開場合看到馬云發脾氣。馬云毫不客氣地指出，支付寶在很多問題上太過保守，如果不重視用戶體驗，「將慢慢死去」。

這顯然跟支付寶團隊自我評價的結論相去甚遠，事實上，在那個時點上，如果橫向對比來看，支付寶的產品設計和市場占有率表現絕不算差，團隊甚至把2009年定義為「用戶體驗年」。但回頭看，當時在PC端的產品體驗確實很不理想，每次支付都需要解決控件、插件、外接U盾一堆問題。   

時任阿里巴巴CTO的王堅也給了一句非常嚴厲的評價，「自娛自樂」。 這甚至使倪行軍當下有點懵，他記得在年會之后一段時間里，一度陷入嚴重的自我懷疑，「搞了這么多年技術，怎么變成自娛自樂了？是不是我們對技術的認知出了問題？」

后來他反應過來，差池是出現在從技術到產品、到業務、再到客戶之間的對話環節。做客戶體驗，單由使命與愿景來驅動不夠。 他原本認為的應該如何運作，與用戶的現實期待之間，鴻溝已現。

整個中國的支付行業按照支付方式演變可以分成三個階段：2009年-2013年，從網銀支付到快捷支付；2014年-2016年，移動支付崛起；2017年-2018年，則是指紋和刷臉支付漸成主流。

如今回頭看，那次年會對整個螞蟻金服公司來說都是個至關重要的節點，在此次轉型的推動下，支付寶從網銀支付邁進了快捷支付時代。「生生被逼出來的」，俊義回憶道， 「如果那時候沒有快捷支付，整個中國移動互聯網的進程至少會落后兩三年」。

微信支付加入之前，支付寶曾有十年時間只能自我調試，尋找發展坐標。而當前者入局，支付寶團隊的反應是：哇！我們有競爭對手了。

「我們從沒有遇過像這樣的競爭對手，競爭是很正常的事情，但結局取決于競爭對手的能量，微信支付是非常值得尊敬的一個競爭對手。」陳亮如是說。

微信支付出現，促使螞蟻金服又一次推進意識形態的提升。 如今說來云淡風輕，當時可是風起云涌，情緒百般垂喪。時間回到2014年1月26日，騰訊推出微信紅包，后者立刻以病毒式傳播的方式活躍在微信群內，并在除夕夜全面爆發。數據顯示，除夕當天到初八，超800萬用戶參與了紅包活動，超4000萬個紅包被領取。

與微信紅包這面的熱火朝天形成明顯反差的是，支付寶的「討彩頭」反響平平。后者推出于23日，還早了3天。

「微信一個紅包就超過支付寶8年干的事。」這句話很快流傳起來，馬云后來則用「珍珠港偷襲」評價騰訊推出微信紅包一舉。

陳亮對這件事情對記憶尤其深刻，他參與了支付寶紅包的產品討論。因為也在廣東工作過，知道當地有討紅包的習俗，于是他給出了做「討紅包」的建議。但微信做的是「發紅包」，陳亮回想，當時討論過程中，似乎也有人提出這一點，但產品設計最終并未將其采納。 

其實，即便支付寶當時采用了發紅包的設計，在那一陣上也未必有勝算——沒有關系鏈，沒有社群，沒有從交易體系到賬戶體系的整體準備。但陳亮仍然感到懊悔，控制不住的懊悔，甚至責怪自己技不如人。

眼看著媒體群里紛紛揚揚的紅包雨和贊揚聲，陳亮都不想上微信了，「不想說話了，不敢說話了」。 

他想去友人處尋得開解，想駁斥那句一個紅包頂八年的說法，但他剛開口就沉默下去，市場反應已然說明一切。 可他還是在心里翻來覆去地想，怎么我們沒有想到人家那個點子，怎么就沒有呢？  

但事情過去也就過去了。盡管公司層面的焦慮一直延續到2016年，但陳亮已經學會將焦慮情緒摒除在自己的生活之外。焦慮毫無用處這件事已被證明——前兩年的焦慮除了讓他自己難受緊張、動作變形外沒有產生任何意義。

其實，接受這種量級的競爭，或許某種意義上也是在接受命運饋贈。 陳亮后來總是被年輕同事認為對困難事物的感受很遲鈍，他自己覺得原因在于再沒有過境況更加艱難的時刻了。再碰到困難時，總有一種消解的情緒在，「最難的時候都過來了，這些算什么？」

而支付產業則更加受益于兩家頂級公司的競爭推動，中國支付技術在國際上一騎絕塵。2017年年末，西班牙《世界報》刊文表達了對中國支付產業的看法，給出的結論叫做：「中國的支付革命堪稱中國史上最大的技術革新之一。」

2018年10月19日晚，螞蟻金服在Z空間舉辦HighMa音樂節 | 東方IC

技術的價值觀

其實從2010年雙11的「4秒驚魂」之前，支付寶技術人員就意識到，使用IOE商用設備（IBM-服務器提供商，Oracle-數據庫軟件提供商，EMC-存儲設備提供商，三者構成了從軟件到硬件的企業數據庫系統）與開源軟件，已經不能適用于雙11交易量指數級增長對技術支持的要求，尤其是在誰也不能完全預設到當晚狀況的時候。即使能支撐，成本也將是天文數字。 支付寶決定去IOE，自主研發分布式數據庫，轉云計算，OceanBase項目隨即啟動。

俊義記得，他在支付寶做的第一個技術改造項目是拆分數據庫。當時還不是因為雙11，單純是因為支付寶網站交易量漲得很快，數據庫扛不住了，不拆，業務就無法增加。這是在2008年。

2010年，俊義又拆了一次數據庫。這次，他將上次拆出的兩個數據庫中的交易數據庫，拆成10個小型機。這時已差不多算是為去IOE鋪下基礎。但很快，10個小型機也不夠用了。 

2011年的雙11結束后，應用服務器與數據庫的連接已到瓶頸，容量沒辦法再增加，換句話說，IOE集中式強大單點無法滿足阿里特別是當時淘寶爆炸式業務增長應用的模式，同時也限制了技術潛力的發揮，另外，由于IOE是專用設備，對機架、電力、網絡存在單獨設計的要求，成本壓力也已經非常大。 

從2010年1月啟動，到2011年7月完成商品庫的去IOE（經歷讀寫分離、去小型機、去Oracle和EMC），再到交易等其他核心系統的去IOE， 2013年，支付寶最后一臺小型機下線，IOE中的I和E都已經被中國自主研發的技術取代，上云完成階段性進展，這就像造發動機，意味著雙11的交易量不會再受到技術制約。

不過在第一階段，每年雙11能否順利通過，還是有點碰運氣。 從2014年開始，支付寶開始研發和施行全鏈路壓測技術，這就有點像造飛機時候的風洞，造一個實驗室，完全模擬當天峰值所有的真實環境，對系統進行壓力測試。 據2018年大促保障副隊長鞏杰說，全鏈路壓測對真實用戶請求的模擬可以達到與雙11當天請求90%以上的一致度。這樣一來，到了雙11當天，平穩度過的概率就極高了，團隊因不確定而產生的焦慮大幅降低。

全鏈路壓測作為消除不確定性的“大殺器”，已經成為目前測試系統的常規手段，隨著系統的升級，使用頻率也在降低，李錚記得，全鏈路壓測技術剛剛研發使用的時候，“恨不得每天都做一遍測試”，而今年的雙11準備工作里，每周定期做1-2次壓力測試已經足夠了。

支付寶的雙11已經是一個巨大的系統工程，已經無法再完全依賴人腦思考解決所有條線上的問題。所以，李錚覺得，“智能化”是另一個關鍵詞。對系統工程的把控，也正是要輔以智能化全鏈路壓測這類技術手段，才能更加精準高效地解決問題。 

11月2日，大促保障團組織了最后一次模擬的全鏈路壓測，萬事俱備，只欠東風，就等10日24點一過。

苗人鳳（左4）與螞蟻金服同事在雙11辦公室現場 | 受訪者供圖

對支付技術來說，穩定壓倒一切，穩定也意味著一切。一如往年，第10年雙11，穩定的重要性依然處于第一位置。

穩定之外，支付寶技術團隊還有更多追求。在2018年的雙11技術保障上，人工干預已經越來越少，因為整個保障系統的智能化程度越來越高。比如，往年籌備雙11時，該配置多少計算資源，如何達到最優化的配置，都需要非常有經驗的工程師進行嚴密計算，并進行反復的壓力測試，不斷調優。但現在，機器可以自動地進行計算和調優。程立打了個比方，雙11的支付保障會越來越朝著「自動駕駛」的目標邁進，該往哪開，在哪停，如何躲避風險，保障安全，都是智能的。

新的變化還體現在生物識別支付和區塊鏈技術的應用。   

在倪行軍的談論中，支付寶對支付的理解，傾向于支付脫媒，到最后，支付時不需要任何載體，人體本身即為最大媒介，當然，脫媒不可完全脫離，但生物識別技術是IoT時代用戶參與到數字化場景的敲門磚，任何的場景系統都要首先確定一個所謂的數字身份的問題，而人本身就是最棒的載體，不需要其它的媒介做二次切換。由此，生物識別是可以重塑體驗的技術。

據倪行軍透露，平日應用場景中的生物識別（包括指紋輸入、面部掃描等）支付比例已經超過一半，這反映出整體人群對生物識別技術所對應的新支付體驗的接受程度，這信號讓他覺得，手機應用之外其他生活場景中，擴展生物識別技術用戶的時機，已經到來。

今年上半年，生物識別技術真正走向規模化商業化 ，倪行軍的預期是先實現規模化，在終端設備達到百萬級規模的基礎上，根據用戶行為與各商業場景連接的磨合情況，再考慮后續的商業訴求。未來，新技術的應用勢必重新定義整個商業流程，新的百萬級的商業機會將在此誕生。

今年天貓雙11用區塊鏈技術為1.5億跨境商品提供原產地溯源，包括比利時鉆石交易所的鉆石這類大額商品。 

變化背后是螞蟻金服的BASIC技術戰略演進及開放，Blockchain (區塊鏈)、Aritificial intelligence（人工智能）、Security（安全）、IoT（物聯網）和Computing（計算）這五條線索構成對未來更加清晰的想象力。

十年間，螞蟻金服整個公司都在從中心化向分布式持續變化。

人員能力變得更加均衡。 俊義記得，早年在雙11和很多技術攻關的關鍵時刻，總會有幾位技術大牛同事站出來，在當下拿出過人的洞察與能力，最終順利過關。但如今，螞蟻金服公司的整個技術結構益發龐雜，必須形成全局、眾人的工程化作戰。

IT架構從IOE變成分布式，再演化出「離在線混部」。 去年有25%是自有服務器處理，55%在云上，20%是離線資源；今年這個比例則會更新到60%在云上，在線與離線分別20%，其間，性能較差的離線機房也能執行在線處理，核心在于資源的進一步合理分配。

分布式趨勢漸成大勢： 機房越來越多，從杭州拓展到全國各地；應用系統與數據庫越擴越多；團隊從支付寶技術團隊擴至各個產品線，集團運作從前尚可靠寥寥能力拔尖者把握，如今則需層層分解，整體組織協同作戰。

「從中心化到分布式」是互聯網發展過程中，近年形成的社會關系形態和內容的一大特征。 如果將其視作一種價值觀的話，作為一家工程師員工占比超過51%的互聯網金融企業，它正在被深深影響、驅動并改變著，企業里大量人、事、物，都在明確地呈現這這種趨勢導向，這家價值上千億美金的企業，也正在成為一個由技術價值觀驅動業務、團隊革新與發展的經典范本。