【杭州網(wǎng)站設(shè)計(jì)】高性能集群計(jì)算(HPCC)能取代Hadoop嗎?
分享 2011.07.02 瀏覽次數(shù):8347次
LexisNexis公司將發(fā)布一款開(kāi)源的數(shù)據(jù)處理方案,LexisNexis公司宣稱(chēng)其處理工作負(fù)載的能力要優(yōu)于Hadoop。該技術(shù)被稱(chēng)為HPCC系統(tǒng),該系統(tǒng)在10年前幫助LexusNexis公司的Risk Solutions分析大量的客戶(hù)數(shù)據(jù)。并在金融業(yè)和其他重要的行業(yè)中應(yīng)用??磥?lái)HPCC(High-Performance Cluster Computing 高性能集群計(jì)算)似乎有能力成為替代Hadoop的解決方案。
據(jù)LexisNexis Risk Solutions部門(mén)CTO Armando Escalante表示,LexisNexis公司決定發(fā)布HPCC系統(tǒng),目前的狀況是Hadoop技術(shù)已經(jīng)成為處理海量數(shù)據(jù)的首選。Armando Escalante表示Hadoop雖然在海量數(shù)據(jù)處理方面走在前邊,但他認(rèn)為HPCC系統(tǒng)更為優(yōu)越。
但重要的是,Hadoop的開(kāi)源模式吸引了大量相關(guān)人員對(duì)其進(jìn)行開(kāi)發(fā)和創(chuàng)新。Armando Escalante解釋說(shuō),如果公司想要繼續(xù)保持HPCC的影響力就需要通過(guò)一個(gè)新社區(qū)提供應(yīng)用和好的創(chuàng)意。
Hadoop是許多年前由當(dāng)時(shí)的Yahoo員工Doug Cutting在A(yíng)pache軟件基金會(huì)創(chuàng)建的項(xiàng)目。Hadoop現(xiàn)已成為網(wǎng)絡(luò)公司的重要工具。包括Yahoo、Facebook,并幫助他們處理不斷增長(zhǎng)的非結(jié)構(gòu)化數(shù)據(jù)。Hadoop催生了一批用于商業(yè)的基于分布式技術(shù)的產(chǎn)品,包括Cloudera,EMC和IBM等公司。
HPCC如何工作
Hadoop依靠?jī)蓚€(gè)核心組件來(lái)存儲(chǔ)和處理海量數(shù)據(jù)——Hadoop分布式文件系統(tǒng)和Hadoop Mapreduce。Cloudant公司CEO Mike Miller認(rèn)為MapReduce在編寫(xiě)并行處理工作流時(shí)依然相對(duì)復(fù)雜,HPCC旨在通過(guò)ECL(Enterprise Control Language)改善這一局面。
Escalante表示ECL是一種聲明式并以數(shù)據(jù)為中心的語(yǔ)言,它剝離了大量MapReduce必要的工作。對(duì)于某些千行代碼的MapReduce任務(wù)ECL只需要99行。此外,他還表示ECL對(duì)集群中節(jié)點(diǎn)的數(shù)量沒(méi)有要求,系統(tǒng)會(huì)自動(dòng)將數(shù)據(jù)分布式的存放在當(dāng)前節(jié)點(diǎn)之中。從技術(shù)上講,HPCC還可以運(yùn)行在單一的虛擬機(jī)上。HPCC基于C++,如同Google最早的Mapreduce,這使得HPCC天生在效率上就優(yōu)于基于Java開(kāi)發(fā)的Hadoop。
HPCC提供兩種數(shù)據(jù)處理和服務(wù)的方式——Thor Data Refinery Cluster和Roxy Rapid Data Delivery Cluster。Escalante表示如此命名是因?yàn)槠淠芟馮hor(北歐神話(huà)中司雷、戰(zhàn)爭(zhēng)及農(nóng)業(yè)的神)一樣解決困難的問(wèn)題,Thor主要用來(lái)分析和索引大量的Hadoop數(shù)據(jù)。而Roxy則更像一個(gè)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù),甚至還可以處理Web前端的服務(wù)。
雖然沒(méi)有深入探討HPCC存儲(chǔ)組件的細(xì)節(jié),但Escalante表示HPCC基于分布式文件系統(tǒng),并可支持各種off-node存儲(chǔ)架構(gòu)和本地的SSD。
Escalante認(rèn)為為了確保LexisNexis產(chǎn)品質(zhì)量,應(yīng)采用“eating its own dogfood”(指軟件公司強(qiáng)調(diào)自己的軟件產(chǎn)品首先應(yīng)內(nèi)部使用,如果希望顧客購(gòu)買(mǎi)公司的產(chǎn)品,公司內(nèi)部也應(yīng)該愿意使用它們)做法。HPCC開(kāi)發(fā)團(tuán)隊(duì)還聘請(qǐng)了Hadoop專(zhuān)家?guī)椭鷻z驗(yàn)其產(chǎn)品是否有問(wèn)題疏漏。HPCC還構(gòu)建了一個(gè)轉(zhuǎn)換器,用于遷移Hadoop Pig編寫(xiě)的應(yīng)用并轉(zhuǎn)換為ECL。
HPCC具有競(jìng)爭(zhēng)力嗎?
一個(gè)關(guān)鍵的問(wèn)題是HPCC是否能吸引到業(yè)界的構(gòu)建者和用戶(hù),這將有助于提升其在海量數(shù)據(jù)領(lǐng)域的話(huà)語(yǔ)權(quán)。Escalante認(rèn)為HPCC能夠成功,因?yàn)镠PCC已經(jīng)證明了自己,它已處理LexisNexis Risk Solutions的35000個(gè)數(shù)據(jù)源。同時(shí)HPCC還可以每秒處理5000次的和支付客戶(hù)打交道的交易事物。
Hadoop已經(jīng)證明了自己,其潛在的巨大核心業(yè)務(wù)每天都在增長(zhǎng),現(xiàn)在企業(yè)和組織在海量數(shù)據(jù)上依托于Hadoop。但Hadoop并不滿(mǎn)足這些成就。這使得微軟也在海量數(shù)據(jù)的競(jìng)爭(zhēng)中推出了自己的分布式計(jì)算技術(shù)Dryad。(李智/譯)
原文鏈接:GIGAOM
杭州網(wǎng)站設(shè)計(jì)公司 杭州網(wǎng)站建設(shè)公司 杭州網(wǎng)站制作公司 杭州網(wǎng)站設(shè)計(jì) 杭州網(wǎng)站建設(shè) 杭州網(wǎng)站制作 杭州精品網(wǎng)站制作 杭州精典網(wǎng)站制作
-
杭州網(wǎng)站設(shè)計(jì)公司:品牌網(wǎng)站開(kāi)發(fā)助力企業(yè)成長(zhǎng)
日期:2024-12-20瀏覽次數(shù):820次
-
杭州網(wǎng)站建設(shè)公司:商城網(wǎng)站建設(shè)的六大關(guān)鍵步驟
日期:2024-12-18瀏覽次數(shù):865次
-
杭州網(wǎng)站制作:醫(yī)院網(wǎng)站設(shè)計(jì)與域名備案的復(fù)雜性探討
日期:2024-12-18瀏覽次數(shù):854次
-
杭州網(wǎng)站制作公司:打造安全可靠的醫(yī)院網(wǎng)站
日期:2024-12-11瀏覽次數(shù):1018次
-
杭州網(wǎng)站設(shè)計(jì)公司:數(shù)據(jù)庫(kù)在高端網(wǎng)站制作中的關(guān)鍵作用
日期:2024-12-11瀏覽次數(shù):990次
相關(guān)新聞
整合同類(lèi)新聞,相關(guān)新聞一手掌握
-
襄陽(yáng)企業(yè)網(wǎng)站建設(shè)權(quán)威性的兩大體現(xiàn)要素
日期:2023-02-10瀏覽次數(shù):1759次
-
做網(wǎng)站,2023襄陽(yáng)扁平化網(wǎng)站設(shè)計(jì)三大核心優(yōu)勢(shì)
日期:2023-02-10瀏覽次數(shù):1726次
-
襄陽(yáng)網(wǎng)站建設(shè)是否真的重要?
日期:2020-10-09瀏覽次數(shù):2026次
-
襄陽(yáng)網(wǎng)頁(yè)設(shè)計(jì)之規(guī)范和忌諱
日期:2020-10-09瀏覽次數(shù):2020次
最新新聞
與互聯(lián)網(wǎng)同行,實(shí)時(shí)掌握網(wǎng)建行業(yè)最新動(dòng)態(tài)
-
杭州原生APP開(kāi)發(fā)的成本為何這么貴?
日期:2020-05-07瀏覽次數(shù):5345次
-
杭州高端網(wǎng)站設(shè)計(jì),如何優(yōu)化圖像?
日期:2020-05-19瀏覽次數(shù):4468次
-
遂寧網(wǎng)頁(yè)設(shè)計(jì):企業(yè)網(wǎng)頁(yè)設(shè)計(jì)過(guò)程中需要注意的12個(gè)常見(jiàn)問(wèn)題?
日期:2020-11-11瀏覽次數(shù):1951次
-
杭州定制app開(kāi)發(fā),價(jià)格多少、報(bào)價(jià)依據(jù)如何?
日期:2021-04-27瀏覽次數(shù):4482次
-
怎么看杭州開(kāi)發(fā)小程序公司是否靠譜?
日期:2021-08-19瀏覽次數(shù):3795次
隨機(jī)新聞
新聞新動(dòng)態(tài),您需要的新聞管家
洞悉市場(chǎng)趨勢(shì)演變讓傳播回歸社會(huì)
免費(fèi)獲取網(wǎng)站建設(shè)與網(wǎng)絡(luò)推廣方案報(bào)價(jià)
-
關(guān)于我們
杭州帷拓科技有限公司,是一家新型的全案網(wǎng)絡(luò)開(kāi)發(fā)公司,作為以互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開(kāi)發(fā)、小程序開(kāi)發(fā)為核心的專(zhuān)業(yè)網(wǎng)絡(luò)技術(shù)服務(wù)供應(yīng)商,帷拓科技致力于全面分析市場(chǎng)環(huán)境、衡量與預(yù)測(cè)市場(chǎng)需求、整合區(qū)別于行業(yè)競(jìng)爭(zhēng)對(duì)手的絕對(duì)優(yōu)勢(shì),結(jié)合品牌理念深度挖掘項(xiàng)目?jī)?yōu)勢(shì)和產(chǎn)品價(jià)值,提升客戶(hù)品牌認(rèn)知、認(rèn)可度。
-
我們的客戶(hù)
帷拓科技?xì)v經(jīng)十年沉淀,與國(guó)內(nèi)外上千家客戶(hù)達(dá)成合作關(guān)系,其中穩(wěn)定合作的公司有:浙江華為、浙江移動(dòng)、浙江5G產(chǎn)業(yè)聯(lián)盟、浙江省社科院、綠城足球俱樂(lè)部、娃哈哈雙語(yǔ)學(xué)校、健康中國(guó)杭州峰會(huì)、科雷機(jī)電等,帷拓科技始終堅(jiān)持“帷有專(zhuān)業(yè),才能拓展無(wú)限”的服務(wù)理念,堅(jiān)持“認(rèn)真堅(jiān)持細(xì)節(jié)”的優(yōu)質(zhì)服務(wù)理念,不斷完善自身,成就企業(yè),最終實(shí)現(xiàn)共贏(yíng)。
-
我們的業(yè)務(wù)
帷拓科技主營(yíng)業(yè)務(wù)范圍包含互聯(lián)網(wǎng)高端網(wǎng)站建設(shè)、APP開(kāi)發(fā)、小程序開(kāi)發(fā)、商城網(wǎng)站建設(shè)、公眾號(hào)運(yùn)營(yíng)以及數(shù)字營(yíng)銷(xiāo)等,涵蓋了服務(wù)、房產(chǎn)、數(shù)碼、服裝、物流貿(mào)易等行業(yè),根據(jù)品牌現(xiàn)狀,為每個(gè)客戶(hù)量身定制項(xiàng)目整體服務(wù)方案,以敏銳的市場(chǎng)洞察力、創(chuàng)新的市場(chǎng)策劃能力,全面把握市場(chǎng)變化,為客戶(hù)實(shí)現(xiàn)從企業(yè)到消費(fèi)者的價(jià)值轉(zhuǎn)換。