云音樂(lè)“崩了”：或與網(wǎng)易Curve系統(tǒng)有關(guān) 該團(tuán)隊(duì)曾裁員
網(wǎng)易云音樂(lè)崩了。
2024年8月19日，詞條#網(wǎng)易云音樂(lè)崩了#登上微博熱搜第一。不少網(wǎng)友表示，網(wǎng)易云音樂(lè)“一直刷新不出來(lái)”“一條評(píng)論也刷不出來(lái)”“搜歌也搜不出來(lái)”。
不久后，網(wǎng)易云音樂(lè)在官方微博回復(fù)，“因基礎(chǔ)設(shè)施故障，導(dǎo)致網(wǎng)易云音樂(lè)各端無(wú)法正常使用，我們正在加緊修復(fù)，非常抱歉。”
另?yè)?jù)21世紀(jì)經(jīng)濟(jì)報(bào)道記者從多位有過(guò)網(wǎng)易工作經(jīng)歷的技術(shù)人員處了解到，此番網(wǎng)易云音樂(lè)出現(xiàn)技術(shù)故障，或與Curve存儲(chǔ)系統(tǒng)有關(guān)。該系統(tǒng)由網(wǎng)易開(kāi)發(fā)，團(tuán)隊(duì)曾經(jīng)歷過(guò)裁員。
對(duì)此，網(wǎng)易云音樂(lè)方面向21世紀(jì)經(jīng)濟(jì)報(bào)道記者回應(yīng)稱，“沒(méi)有刪庫(kù)，沒(méi)有跑路，正在加速修復(fù)”。但對(duì)于涉及Curve團(tuán)隊(duì)問(wèn)題，相關(guān)工作人員表示并不清楚。
隨后，網(wǎng)易云音樂(lè)官方微博表示，故障已陸續(xù)修復(fù)。同時(shí)，作為補(bǔ)償，8月20日0~24時(shí)，云音樂(lè)搜“暢聽(tīng)音樂(lè)”，可領(lǐng)取7天會(huì)員權(quán)益到用戶的賬戶。
什么是Curve？
事實(shí)上，網(wǎng)易云音樂(lè)使用Curve有著歷史沿襲。
據(jù)網(wǎng)易云音樂(lè)技術(shù)團(tuán)隊(duì)在2022年6月對(duì)外披露，云音樂(lè)使用云盤的業(yè)務(wù)主要包括主站、UGC、曲庫(kù)等Java應(yīng)用，其中主站是云音樂(lè)核心業(yè)務(wù)，需要提供最高等級(jí)的SLA保障（年可用率≥99.99%），面對(duì)提供上億級(jí)用戶量穩(wěn)定的云音樂(lè)體驗(yàn)，這一直以來(lái)也是該平臺(tái)的重難點(diǎn)。
2019年之前云音樂(lè)主要使用Ceph云盤，但Ceph在大規(guī)模場(chǎng)景下存在性能缺陷，且很難保證在各種異常(壞盤慢盤、存儲(chǔ)機(jī)宕機(jī)、存儲(chǔ)網(wǎng)絡(luò)擁塞等)場(chǎng)景下云盤IO響應(yīng)時(shí)延不受影響；Ceph云盤的IO抖動(dòng)問(wèn)題，該團(tuán)隊(duì)曾嘗試花很多人力精力做優(yōu)化改造，但都只是稍微有所緩解，無(wú)法徹底解決；性能問(wèn)題也投入大量人力進(jìn)行分析優(yōu)化，但仍然不能達(dá)到預(yù)期。因此網(wǎng)易云音樂(lè)才立項(xiàng)了解Curve塊存儲(chǔ)分布式存儲(chǔ)系統(tǒng)。
網(wǎng)易云音樂(lè)提到，Curve塊存儲(chǔ)可以良好適配主流云計(jì)算平臺(tái)，并且具備高性能、易運(yùn)維、穩(wěn)定不抖動(dòng)等優(yōu)勢(shì)。在實(shí)際應(yīng)用中，使用Curve塊存儲(chǔ)對(duì)接Cinder作為云主機(jī)云盤存儲(chǔ)后端，對(duì)接Nova作為云主機(jī)系統(tǒng)盤，對(duì)接Glance作為鏡像存儲(chǔ)后端。在創(chuàng)建云主機(jī)過(guò)程中，Nova會(huì)通過(guò)Curve塊存儲(chǔ)提供的Python SDK克隆出新卷作為云主機(jī)系統(tǒng)盤使用。在創(chuàng)建云盤過(guò)程中，Cinder會(huì)通過(guò)Python SDK創(chuàng)建空卷或者通過(guò)已有的卷快照克隆出新卷，之后可以掛載到云主機(jī)上作為云盤使用。云主機(jī)使用Libvirt作為虛擬化管控服務(wù)，使用QEMU/KVM作為虛擬化引擎。Curve塊存儲(chǔ)為L(zhǎng)ibvirt/QEMU提供了驅(qū)動(dòng)庫(kù)，編譯后就可以直接使用Curve卷作為遠(yuǎn)端存儲(chǔ)，不需要把Curve塊存儲(chǔ)卷掛載到本地。
2020年，網(wǎng)易數(shù)帆宣布，開(kāi)源一款名為Curve的高性能分布式存儲(chǔ)系統(tǒng)。
當(dāng)年的網(wǎng)易數(shù)字+大會(huì)上，網(wǎng)易副總裁、網(wǎng)易杭州研究院執(zhí)行院長(zhǎng)兼網(wǎng)易數(shù)帆總經(jīng)理汪源透露，Curve主要具有三大設(shè)計(jì)特點(diǎn)：高性能、高可用和自治。汪源公布了Curve和CephL版本的測(cè)試數(shù)據(jù)對(duì)比，在單卷的場(chǎng)景下，核心的4K隨機(jī)讀/寫的IOPS性能，Curve分別是Ceph的1.84倍和1.58倍，同時(shí)延遲相比Ceph分別降低48.39%和37.50%。
當(dāng)時(shí)，網(wǎng)易披露，Curve系統(tǒng)上線400多天，從未出現(xiàn)數(shù)據(jù)不一致和丟數(shù)據(jù)的情況，沒(méi)有發(fā)生過(guò)重大故障，數(shù)據(jù)可靠性達(dá)到100%，服務(wù)可用率達(dá)到4個(gè)9以上。
可變動(dòng)來(lái)得比想象中快，近年網(wǎng)易杭州研究院裁員傳聞不斷，汪源本人已從網(wǎng)易離職。
機(jī)房遷移？
還需注意的是，此刻網(wǎng)易云音樂(lè)本就處在機(jī)房遷移的適應(yīng)關(guān)鍵節(jié)點(diǎn)，這可能也是此番故障誘因。
據(jù)網(wǎng)易云音樂(lè)技術(shù)團(tuán)隊(duì)在2024年7月對(duì)外披露，2023年確定要將云音樂(lè)整體服務(wù)搬遷至貴州機(jī)房，項(xiàng)目需要在各種限制條件下，保障2000+應(yīng)用、100w+QPS的服務(wù)穩(wěn)定遷移，是云音樂(lè)歷史上規(guī)模最大、人員最多、難度最高的技術(shù)項(xiàng)目。在此過(guò)程中，解決了大量歷史技術(shù)債務(wù)，同時(shí)化解了大量新增系統(tǒng)性風(fēng)險(xiǎn)。
具體來(lái)看，此次需要云音樂(lè)以及旗下獨(dú)立App的服務(wù)均整體遷移至貴州。涉及2000+應(yīng)用、100w+QPS的穩(wěn)定遷移，同時(shí)涉及中間件、存儲(chǔ)、機(jī)房、三方依賴服務(wù)等整體的搬遷，搬遷規(guī)模大。
業(yè)務(wù)復(fù)雜度亦高。其中，場(chǎng)景復(fù)雜。遷移規(guī)模大，帶來(lái)更廣的業(yè)務(wù)場(chǎng)景覆蓋。而不同的場(chǎng)景對(duì)數(shù)據(jù)一致性要求不同、延遲敏感度不同。遷移方案需要考慮各種場(chǎng)景帶來(lái)的問(wèn)題，并提供標(biāo)準(zhǔn)化的解決方案。
另外，服務(wù)間依賴復(fù)雜。此次帶來(lái)約2000+應(yīng)用的搬遷，各服務(wù)間的調(diào)用和依賴情況復(fù)雜，在分批遷移方案中需要協(xié)調(diào)，以及解決遷移期間跨機(jī)房30msRT上升帶來(lái)的問(wèn)題。
此外，相關(guān)歷史積弊也多。網(wǎng)易云音樂(lè)提到，遷移貴州前，存在諸多歷史技術(shù)積弊，影響著全站整體的穩(wěn)定性。
此次搬遷還有新增風(fēng)險(xiǎn)。網(wǎng)易云音樂(lè)提出，遷移貴州帶來(lái)諸多新增風(fēng)險(xiǎn)，且解決難度高。部分場(chǎng)景無(wú)法做到真實(shí)環(huán)境全流程預(yù)演。在基礎(chǔ)技術(shù)建設(shè)上，也有一些不足的情況，影響整體搬遷執(zhí)行效率、遷移準(zhǔn)確性。
限制條件也嚴(yán)苛。云音樂(lè)有著大量的用戶基數(shù)，此次搬遷要求：不停機(jī)遷移、不產(chǎn)生P2及以上事故。除此之外還有機(jī)器、網(wǎng)絡(luò)帶寬、網(wǎng)絡(luò)穩(wěn)定性、網(wǎng)絡(luò)RT、遷移方案等限制條件。
總體來(lái)看，前述搬遷推進(jìn)、協(xié)調(diào)難度大。“此次搬遷規(guī)模大，同樣，參與人員規(guī)模大，整體協(xié)調(diào)難度大。此外帶來(lái)較多的人因風(fēng)險(xiǎn)。可能因極小的細(xì)節(jié)未執(zhí)行到位，就會(huì)造成全局事故。”網(wǎng)易云音樂(lè)技術(shù)團(tuán)隊(duì)相關(guān)文章表態(tài)。
結(jié)構(gòu)調(diào)整
回到網(wǎng)易云音樂(lè)運(yùn)營(yíng)來(lái)看，該公司處于結(jié)構(gòu)調(diào)整期。
財(cái)報(bào)顯示，2023年，云音樂(lè)營(yíng)收78.67億元，同比下滑13%；經(jīng)調(diào)整凈利潤(rùn)為8.19億元，上年同期為虧損1.15億元。
具體到業(yè)務(wù)來(lái)看，2023年，網(wǎng)易云音樂(lè)在線音樂(lè)服務(wù)收入為43.51億元，同比增長(zhǎng)18%。其中，會(huì)員訂閱收入為36.49億元，同比增長(zhǎng)20%，平均付費(fèi)會(huì)員數(shù)同比增長(zhǎng)15%達(dá)到4412萬(wàn)，月均ARPU值同比增長(zhǎng)5%達(dá)到6.9元。非訂閱收入為7億元，同比增長(zhǎng)6%。
但受政策影響，以直播為主要業(yè)務(wù)的社交娛樂(lè)業(yè)務(wù)收入在2023年同比下滑34%至35.16億元。付費(fèi)用戶為160萬(wàn)，同比提升20%，月均ARPU同比下滑45%達(dá)到179元。
好消息是，網(wǎng)易云音樂(lè)毛利率在提升。2023年，該公司內(nèi)容服務(wù)成本45.99億元，同比下滑31%，占收入比從2022年的75%下降至2023年的58%，主要因?yàn)橐魳?lè)版權(quán)成本絕對(duì)值基本穩(wěn)定，調(diào)整了社交娛樂(lè)業(yè)務(wù)的分成比例，收入因流量分配調(diào)整等因素也有較大幅度的下滑，結(jié)合分成比例收窄，帶來(lái)內(nèi)容成本的大幅縮減。
2023年下半年，網(wǎng)易云音樂(lè)毛利率較上半年進(jìn)一步提升，達(dá)到28.7%。2023年整體運(yùn)營(yíng)費(fèi)用的絕對(duì)值同比小幅收窄。
2024年一季度，網(wǎng)易云音樂(lè)公布營(yíng)收39.6億元，同比增長(zhǎng)3.6%。
客觀上，結(jié)構(gòu)調(diào)整也是種行業(yè)性趨勢(shì)。
財(cái)報(bào)顯示，今年二季度，騰訊音樂(lè)營(yíng)收71.6億元，同比下滑2%；經(jīng)調(diào)整凈利潤(rùn)19.85億元，同比增長(zhǎng)25.7%。具體來(lái)看，在線音樂(lè)業(yè)務(wù)收入54.24億元，同比增長(zhǎng)28%；社交娛樂(lè)業(yè)務(wù)收入17.36億元，同比下滑43%。
其中，社交娛樂(lè)MAU在二季度同比下滑31.6%至9300萬(wàn)。付費(fèi)用戶為790萬(wàn)，同比增長(zhǎng)5%。季度ARPU為220元，同比下滑45%。
總體而言，隨著競(jìng)爭(zhēng)加劇，網(wǎng)易云音樂(lè)每一步都需要更謹(jǐn)慎。