1億在線背后的技術(shù)挑戰(zhàn)是什么?
分享 2011.11.01 瀏覽次數(shù):7117次
智慧騰訊 夢想互聯(lián)——1億在線背后的技術(shù)挑戰(zhàn)
標(biāo)簽:杭州網(wǎng)站建設(shè) 杭州網(wǎng)站制作 杭州網(wǎng)站設(shè)計(jì)
由CSDN、《程序員》、騰訊共同舉辦的TUP第十六期:智慧騰訊 夢想互聯(lián)——1億在線背后的技術(shù)挑戰(zhàn)活動于10月31日在北京航空航天大學(xué)學(xué)術(shù)交流廳舉行。同時(shí)本次活動邀請到了騰訊通平臺部高級技術(shù)總監(jiān)、騰訊T4級技術(shù)專家、騰訊軟件開發(fā)通道分會會長莊泗華先生。
眾所周知海量互聯(lián)網(wǎng)服務(wù)能力是世界公認(rèn)的技術(shù)難題。經(jīng)過十多年的發(fā)展,騰訊在海量互聯(lián)網(wǎng)服務(wù)方面已有不少技術(shù)積累。莊泗華先生在本次演講中以QQ IM后臺服務(wù)為例,重現(xiàn)了QQ在線用戶從百萬級到億級的整個(gè)過程中遇到的技術(shù)挑戰(zhàn),并與與會者分享了眾多在海量互聯(lián)網(wǎng)后臺服務(wù)研發(fā)運(yùn)營方面不為人知的秘密。
擔(dān)任本次活動主持人的是CSDN&《程序員》雜志總編劉江。他主要介紹了CSDN舉辦TUP活動的宗旨。
CSDN&《程序員》雜志總編劉江致開場詞
騰訊通平臺部高級技術(shù)總監(jiān)莊泗華演講
莊泗華表示QQ現(xiàn)在面臨7億活躍賬戶,每日1.4億用戶同時(shí)在線。QQ過萬臺IM服務(wù)器和百億級的關(guān)系鏈對數(shù)每天接受千億級的服務(wù)請求考驗(yàn)。在這些苛刻的數(shù)字面前騰訊要保證99.99%的可用性。當(dāng)然團(tuán)隊(duì)在QQ在線從10萬到1.4億的整個(gè)過程也經(jīng)歷了很多破折,同時(shí)從十萬級、百萬級、千萬級最終到億級在線騰訊也吸取了很多教訓(xùn)。這也說明了騰訊對海量服務(wù)的理解是長期積累的結(jié)果。
第一代架構(gòu)難以支持百萬級在線
莊泗華在演講中提到了騰訊的第一代架構(gòu)。他表示當(dāng)達(dá)到一百萬在線時(shí),老架構(gòu)會有各方面的瓶頸出現(xiàn)。以接入服務(wù)器的內(nèi)存為例,單個(gè)在線用戶的存儲量約為2KB,索引和在線狀態(tài)50字節(jié)。好友表400個(gè)好友 * 5字節(jié)/好友等于2000字節(jié)。大致來說,2G內(nèi)存只能支持一百萬在線用戶。與此同時(shí),還有CPU/網(wǎng)卡包量和流量/交換機(jī)流量等瓶頸。其他服務(wù)器也面臨類似情況。單臺服務(wù)器支撐不下所有在線用戶/注冊用戶。第一代架構(gòu)已無以為繼。
莊泗華認(rèn)為十萬級到百萬級在線的關(guān)鍵技術(shù)是高性能和實(shí)現(xiàn)7乘24小時(shí)連續(xù)服務(wù)。實(shí)現(xiàn)高性能的關(guān)鍵因素包括絕不使用企業(yè)級解決方案、邏輯層多進(jìn)程、萬有一失的無鎖設(shè)計(jì)、用戶態(tài)IPC、MySQL分庫分表以及好友表自寫文件存儲。而通過大系統(tǒng)小做、平滑重構(gòu)、核心數(shù)據(jù)放入共享內(nèi)存、接入層與邏輯層分離以及命令分發(fā)動態(tài)配置化可保證QQ后臺實(shí)現(xiàn)7乘24小時(shí)連續(xù)服務(wù)。
第二代架構(gòu)難以支持千萬級在線
同樣第二代架構(gòu)也存在一些問題。包括同步流量太大、狀態(tài)同步服務(wù)器遇到單機(jī)瓶頸、所有在線用戶的在線狀態(tài)信息量太大、單臺接入服務(wù)器存不下等問題。并且當(dāng)在線數(shù)進(jìn)一步增加,單臺狀態(tài)同步服務(wù)器不能滿足需求,單臺狀態(tài)同步服務(wù)器支撐不了所有在線用戶,單臺接入服務(wù)器也支撐不了所有在線用戶的在線狀態(tài)信息。
通過深入分析,騰訊發(fā)現(xiàn)后臺機(jī)器越來越多,單機(jī)死機(jī)/故障就會經(jīng)常出現(xiàn)。同時(shí)每周新代碼的發(fā)布也導(dǎo)致BUG不斷出現(xiàn),嚴(yán)重影響服務(wù)。監(jiān)控機(jī)制的相對原始導(dǎo)致報(bào)警設(shè)置不全。最后當(dāng)運(yùn)維操作通過vim或者mysql進(jìn)行時(shí)也非常容易失誤。
莊泗華表示想要解決這些問題就需要對現(xiàn)有架構(gòu)進(jìn)行改造。這包括對外提供高可用性的服務(wù)、對內(nèi)提供高可運(yùn)維性的系統(tǒng)。同時(shí)灰度發(fā)布、運(yùn)營監(jiān)控、容災(zāi)以及運(yùn)維自動化/半自動化也是解決千萬級在線所面臨問題的關(guān)鍵技術(shù)。
億級在線時(shí)代的到來
IM億級在線存儲系統(tǒng)架構(gòu)
隨著億時(shí)代在線到來,騰訊也面臨了新的問題。通過對原有系統(tǒng)持續(xù)完善已經(jīng)很難支撐億級在線。
莊泗華表示億時(shí)代在線的四個(gè)關(guān)鍵特性:高性能、高可用性、高可運(yùn)維性和高靈活性。由于互聯(lián)網(wǎng)行業(yè)要求每個(gè)月出一個(gè)新版本。所以必須提供高靈活性的業(yè)務(wù)支持。作為硬件層面來說,高可運(yùn)維性則需要物理架構(gòu)詳細(xì)到機(jī)架、并具備故障分析智能化、運(yùn)維操作組件化和負(fù)載自動轉(zhuǎn)移等特性的支持。而要保證系統(tǒng)的高性能,自寫存儲層是至關(guān)重要的因素。莊泗華還表示在線量每提升一個(gè)量級,技術(shù)難度也會提升一個(gè)量級。
最后莊泗華認(rèn)為互聯(lián)網(wǎng)行業(yè)有自己的技術(shù)規(guī)律,需要做自己的技術(shù)積累。而騰訊IM服務(wù)的未來戰(zhàn)略就是全球化分布、高效率的研發(fā)以及監(jiān)控告警的智能化。
專家與與會者交流環(huán)節(jié)
現(xiàn)場聽眾向?qū)<姨釂?/p>
莊泗華回答現(xiàn)場聽眾的問題
活動現(xiàn)場 呼叫中心
[注]CSDN稍后會把本次活動的視頻和PPT公布,敬請期待。
講師介紹
莊泗華 騰訊通平臺部高級技術(shù)總監(jiān)、騰訊T4級技術(shù)專家、騰訊軟件開發(fā)通道分會會長。中科院計(jì)算技術(shù)研究所碩士 2004年畢業(yè)加入騰訊,是騰訊培養(yǎng)出的第一位T4專家級畢業(yè)生。一直致力于QQ IM后臺海量服務(wù)系統(tǒng)的研發(fā)和運(yùn)營工作。負(fù)責(zé)過QQ群聊系統(tǒng)、QQ接入與基礎(chǔ)通信服務(wù)系統(tǒng)等后臺系統(tǒng)的研發(fā)和運(yùn)營,見證了QQ在線從800萬到1.4億的整個(gè)過程
關(guān)于TUP:
TUP是由全球最大的中文IT技術(shù)社區(qū)CSDN和最具影響力的IT技術(shù)期刊《程序員》發(fā)起組織的線下活動,以業(yè)界知名專家講座和論壇形式在北京、上海等主要城市定期舉行,主要針對IT產(chǎn)品研發(fā)相關(guān)的技術(shù)、設(shè)計(jì)、運(yùn)營、運(yùn)維、管理專業(yè)人士,目的是與技術(shù)界人士共同關(guān)注IT產(chǎn)品研發(fā)背后的成敗經(jīng)驗(yàn),關(guān)注技術(shù)、用戶體驗(yàn)和產(chǎn)品設(shè)計(jì),信仰開放、創(chuàng)新、交流和社區(qū)。
更多行業(yè)資訊:下一個(gè)開發(fā)平臺會是什么?
-
杭州網(wǎng)站設(shè)計(jì)公司:品牌網(wǎng)站開發(fā)助力企業(yè)成長
日期:2024-12-20瀏覽次數(shù):807次
-
杭州網(wǎng)站建設(shè)公司:商城網(wǎng)站建設(shè)的六大關(guān)鍵步驟
日期:2024-12-18瀏覽次數(shù):855次
-
杭州網(wǎng)站制作:醫(yī)院網(wǎng)站設(shè)計(jì)與域名備案的復(fù)雜性探討
日期:2024-12-18瀏覽次數(shù):847次
-
杭州網(wǎng)站制作公司:打造安全可靠的醫(yī)院網(wǎng)站
日期:2024-12-11瀏覽次數(shù):1012次
-
杭州網(wǎng)站設(shè)計(jì)公司:數(shù)據(jù)庫在高端網(wǎng)站制作中的關(guān)鍵作用
日期:2024-12-11瀏覽次數(shù):984次
相關(guān)新聞
整合同類新聞,相關(guān)新聞一手掌握
-
駐馬店企業(yè),如何做一個(gè)有美感的網(wǎng)站
日期:2023-02-14瀏覽次數(shù):1566次
-
駐馬店企業(yè)為什么要做網(wǎng)站建設(shè)
日期:2023-02-14瀏覽次數(shù):1679次
-
駐馬店做網(wǎng)站:如何設(shè)計(jì)一個(gè)漂亮的網(wǎng)站
日期:2020-09-11瀏覽次數(shù):2020次
-
駐馬店網(wǎng)站制作:網(wǎng)站設(shè)計(jì)的思考之確定網(wǎng)站的欄目和版塊
日期:2020-09-11瀏覽次數(shù):2069次
最新新聞
與互聯(lián)網(wǎng)同行,實(shí)時(shí)掌握網(wǎng)建行業(yè)最新動態(tài)
-
杭州網(wǎng)站設(shè)計(jì):專注軟硬結(jié)合基礎(chǔ)技術(shù) 速位互動如何撬動交互未來
日期:2011-05-30瀏覽次數(shù):7118次
-
谷歌結(jié)束天對Chrome瀏覽器搜索排名懲罰期
日期:2012-03-26瀏覽次數(shù):9398次
-
杭州APP開發(fā)未來的市場前景如何?
日期:2020-05-25瀏覽次數(shù):4647次
-
公益類APP開發(fā)思路
日期:2021-03-05瀏覽次數(shù):2692次
-
杭州app開發(fā),一款好的小說app需要具備什么?
日期:2022-11-18瀏覽次數(shù):2709次
隨機(jī)新聞
新聞新動態(tài),您需要的新聞管家
洞悉市場趨勢演變讓傳播回歸社會
免費(fèi)獲取網(wǎng)站建設(shè)與網(wǎng)絡(luò)推廣方案報(bào)價(jià)
-
關(guān)于我們
杭州帷拓科技有限公司,是一家新型的全案網(wǎng)絡(luò)開發(fā)公司,作為以互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網(wǎng)絡(luò)技術(shù)服務(wù)供應(yīng)商,帷拓科技致力于全面分析市場環(huán)境、衡量與預(yù)測市場需求、整合區(qū)別于行業(yè)競爭對手的絕對優(yōu)勢,結(jié)合品牌理念深度挖掘項(xiàng)目優(yōu)勢和產(chǎn)品價(jià)值,提升客戶品牌認(rèn)知、認(rèn)可度。
-
我們的客戶
帷拓科技?xì)v經(jīng)十年沉淀,與國內(nèi)外上千家客戶達(dá)成合作關(guān)系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學(xué)校、健康中國杭州峰會、科雷機(jī)電等,帷拓科技始終堅(jiān)持“帷有專業(yè),才能拓展無限”的服務(wù)理念,堅(jiān)持“認(rèn)真堅(jiān)持細(xì)節(jié)”的優(yōu)質(zhì)服務(wù)理念,不斷完善自身,成就企業(yè),最終實(shí)現(xiàn)共贏。
-
我們的業(yè)務(wù)
帷拓科技主營業(yè)務(wù)范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開發(fā)、小程序開發(fā)、商城網(wǎng)站建設(shè)、公眾號運(yùn)營以及數(shù)字營銷等,涵蓋了服務(wù)、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個(gè)客戶量身定制項(xiàng)目整體服務(wù)方案,以敏銳的市場洞察力、創(chuàng)新的市場策劃能力,全面把握市場變化,為客戶實(shí)現(xiàn)從企業(yè)到消費(fèi)者的價(jià)值轉(zhuǎn)換。