1億在線背后的技術挑戰(zhàn)是什么?
分享 2011.11.01 瀏覽次數:7120次
智慧騰訊 夢想互聯——1億在線背后的技術挑戰(zhàn)
標簽:杭州網站建設 杭州網站制作 杭州網站設計
由CSDN、《程序員》、騰訊共同舉辦的TUP第十六期:智慧騰訊 夢想互聯——1億在線背后的技術挑戰(zhàn)活動于10月31日在北京航空航天大學學術交流廳舉行。同時本次活動邀請到了騰訊通平臺部高級技術總監(jiān)、騰訊T4級技術專家、騰訊軟件開發(fā)通道分會會長莊泗華先生。
眾所周知海量互聯網服務能力是世界公認的技術難題。經過十多年的發(fā)展,騰訊在海量互聯網服務方面已有不少技術積累。莊泗華先生在本次演講中以QQ IM后臺服務為例,重現了QQ在線用戶從百萬級到億級的整個過程中遇到的技術挑戰(zhàn),并與與會者分享了眾多在海量互聯網后臺服務研發(fā)運營方面不為人知的秘密。
擔任本次活動主持人的是CSDN&《程序員》雜志總編劉江。他主要介紹了CSDN舉辦TUP活動的宗旨。
CSDN&《程序員》雜志總編劉江致開場詞
騰訊通平臺部高級技術總監(jiān)莊泗華演講
莊泗華表示QQ現在面臨7億活躍賬戶,每日1.4億用戶同時在線。QQ過萬臺IM服務器和百億級的關系鏈對數每天接受千億級的服務請求考驗。在這些苛刻的數字面前騰訊要保證99.99%的可用性。當然團隊在QQ在線從10萬到1.4億的整個過程也經歷了很多破折,同時從十萬級、百萬級、千萬級最終到億級在線騰訊也吸取了很多教訓。這也說明了騰訊對海量服務的理解是長期積累的結果。
第一代架構難以支持百萬級在線
莊泗華在演講中提到了騰訊的第一代架構。他表示當達到一百萬在線時,老架構會有各方面的瓶頸出現。以接入服務器的內存為例,單個在線用戶的存儲量約為2KB,索引和在線狀態(tài)50字節(jié)。好友表400個好友 * 5字節(jié)/好友等于2000字節(jié)。大致來說,2G內存只能支持一百萬在線用戶。與此同時,還有CPU/網卡包量和流量/交換機流量等瓶頸。其他服務器也面臨類似情況。單臺服務器支撐不下所有在線用戶/注冊用戶。第一代架構已無以為繼。
莊泗華認為十萬級到百萬級在線的關鍵技術是高性能和實現7乘24小時連續(xù)服務。實現高性能的關鍵因素包括絕不使用企業(yè)級解決方案、邏輯層多進程、萬有一失的無鎖設計、用戶態(tài)IPC、MySQL分庫分表以及好友表自寫文件存儲。而通過大系統(tǒng)小做、平滑重構、核心數據放入共享內存、接入層與邏輯層分離以及命令分發(fā)動態(tài)配置化可保證QQ后臺實現7乘24小時連續(xù)服務。
第二代架構難以支持千萬級在線
同樣第二代架構也存在一些問題。包括同步流量太大、狀態(tài)同步服務器遇到單機瓶頸、所有在線用戶的在線狀態(tài)信息量太大、單臺接入服務器存不下等問題。并且當在線數進一步增加,單臺狀態(tài)同步服務器不能滿足需求,單臺狀態(tài)同步服務器支撐不了所有在線用戶,單臺接入服務器也支撐不了所有在線用戶的在線狀態(tài)信息。
通過深入分析,騰訊發(fā)現后臺機器越來越多,單機死機/故障就會經常出現。同時每周新代碼的發(fā)布也導致BUG不斷出現,嚴重影響服務。監(jiān)控機制的相對原始導致報警設置不全。最后當運維操作通過vim或者mysql進行時也非常容易失誤。
莊泗華表示想要解決這些問題就需要對現有架構進行改造。這包括對外提供高可用性的服務、對內提供高可運維性的系統(tǒng)。同時灰度發(fā)布、運營監(jiān)控、容災以及運維自動化/半自動化也是解決千萬級在線所面臨問題的關鍵技術。
億級在線時代的到來
IM億級在線存儲系統(tǒng)架構
隨著億時代在線到來,騰訊也面臨了新的問題。通過對原有系統(tǒng)持續(xù)完善已經很難支撐億級在線。
莊泗華表示億時代在線的四個關鍵特性:高性能、高可用性、高可運維性和高靈活性。由于互聯網行業(yè)要求每個月出一個新版本。所以必須提供高靈活性的業(yè)務支持。作為硬件層面來說,高可運維性則需要物理架構詳細到機架、并具備故障分析智能化、運維操作組件化和負載自動轉移等特性的支持。而要保證系統(tǒng)的高性能,自寫存儲層是至關重要的因素。莊泗華還表示在線量每提升一個量級,技術難度也會提升一個量級。
最后莊泗華認為互聯網行業(yè)有自己的技術規(guī)律,需要做自己的技術積累。而騰訊IM服務的未來戰(zhàn)略就是全球化分布、高效率的研發(fā)以及監(jiān)控告警的智能化。
專家與與會者交流環(huán)節(jié)
現場聽眾向專家提問
莊泗華回答現場聽眾的問題
活動現場 呼叫中心
[注]CSDN稍后會把本次活動的視頻和PPT公布,敬請期待。
講師介紹
莊泗華 騰訊通平臺部高級技術總監(jiān)、騰訊T4級技術專家、騰訊軟件開發(fā)通道分會會長。中科院計算技術研究所碩士 2004年畢業(yè)加入騰訊,是騰訊培養(yǎng)出的第一位T4專家級畢業(yè)生。一直致力于QQ IM后臺海量服務系統(tǒng)的研發(fā)和運營工作。負責過QQ群聊系統(tǒng)、QQ接入與基礎通信服務系統(tǒng)等后臺系統(tǒng)的研發(fā)和運營,見證了QQ在線從800萬到1.4億的整個過程
關于TUP:
TUP是由全球最大的中文IT技術社區(qū)CSDN和最具影響力的IT技術期刊《程序員》發(fā)起組織的線下活動,以業(yè)界知名專家講座和論壇形式在北京、上海等主要城市定期舉行,主要針對IT產品研發(fā)相關的技術、設計、運營、運維、管理專業(yè)人士,目的是與技術界人士共同關注IT產品研發(fā)背后的成敗經驗,關注技術、用戶體驗和產品設計,信仰開放、創(chuàng)新、交流和社區(qū)。
更多行業(yè)資訊:下一個開發(fā)平臺會是什么?
- PREV:下一個開發(fā)平臺會是什么?
- NEXT:杭州網站設計-如何做中國式產品管理
-
杭州網站設計公司:品牌網站開發(fā)助力企業(yè)成長
日期:2024-12-20瀏覽次數:823次
-
杭州網站建設公司:商城網站建設的六大關鍵步驟
日期:2024-12-18瀏覽次數:865次
-
杭州網站制作:醫(yī)院網站設計與域名備案的復雜性探討
日期:2024-12-18瀏覽次數:857次
-
杭州網站制作公司:打造安全可靠的醫(yī)院網站
日期:2024-12-11瀏覽次數:1022次
-
杭州網站設計公司:數據庫在高端網站制作中的關鍵作用
日期:2024-12-11瀏覽次數:992次
相關新聞
整合同類新聞,相關新聞一手掌握
-
保險顧問APP開發(fā)提高效率支持
日期:2021-03-04瀏覽次數:1874次
最新新聞
與互聯網同行,實時掌握網建行業(yè)最新動態(tài)
-
汕尾網站設計:如何體現網站設計商業(yè)價值
日期:2020-09-14瀏覽次數:2034次
-
杭州網站優(yōu)化的流量文章怎么寫
日期:2021-01-06瀏覽次數:4383次
-
從開發(fā)到上線的杭州定制app
日期:2021-07-06瀏覽次數:3881次
-
哪些杭州app開發(fā)的步驟是必不可少的呢?
日期:2021-09-16瀏覽次數:3849次
-
杭州醫(yī)院門戶網站制作價格分析
日期:2022-04-13瀏覽次數:3114次
隨機新聞
新聞新動態(tài),您需要的新聞管家
洞悉市場趨勢演變讓傳播回歸社會
免費獲取網站建設與網絡推廣方案報價
-
關于我們
杭州帷拓科技有限公司,是一家新型的全案網絡開發(fā)公司,作為以互聯網高端網站建設、APP開發(fā)、小程序開發(fā)為核心的專業(yè)網絡技術服務供應商,帷拓科技致力于全面分析市場環(huán)境、衡量與預測市場需求、整合區(qū)別于行業(yè)競爭對手的絕對優(yōu)勢,結合品牌理念深度挖掘項目優(yōu)勢和產品價值,提升客戶品牌認知、認可度。
-
我們的客戶
帷拓科技歷經十年沉淀,與國內外上千家客戶達成合作關系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動、浙江5G產業(yè)聯盟、浙江省社科院、綠城足球俱樂部、娃哈哈雙語學校、健康中國杭州峰會、科雷機電等,帷拓科技始終堅持“帷有專業(yè),才能拓展無限”的服務理念,堅持“認真堅持細節(jié)”的優(yōu)質服務理念,不斷完善自身,成就企業(yè),最終實現共贏。
-
我們的業(yè)務
帷拓科技主營業(yè)務范圍包含互聯網高端網站建設、APP開發(fā)、小程序開發(fā)、商城網站建設、公眾號運營以及數字營銷等,涵蓋了服務、房產、數碼、服裝、物流貿易等行業(yè),根據品牌現狀,為每個客戶量身定制項目整體服務方案,以敏銳的市場洞察力、創(chuàng)新的市場策劃能力,全面把握市場變化,為客戶實現從企業(yè)到消費者的價值轉換。