无码乱肉视频免费大全合集,亚洲第一A在线观看网站,黄网站色视频免费无风险,免费国产黄网在线观看

Google在2004年創(chuàng)造了MapReduce，MapReduce集群可包括數以千計的并行操作的計算機。同時MapReduce允許程序員在如此龐大的集群中快速的轉換數據并執(zhí)行數據。

從MapReduce到Hadoop，這其中經歷了一個有趣的轉變。MapReduce最初是幫助搜索引擎公司應對萬維網所帶來的創(chuàng)建索引時產生的大量數據。Google最初也招募了一些硅谷的精英，并雇用了大批的工程師來完善MapReduce。并快速將技術應用在相關的行業(yè)之中，如金融、零售等。Goolge曾拿出MapReduce的部分相關信息與Nutch團隊分享，以開發(fā)開源版本“Hadoop”。但Yahoo則將Nutch收入到旗下。Yahoo在2007年將其發(fā)展成Hadoop開源項目。Hadoop現在越來越多的用于大數據的大規(guī)模并行數據處理引擎。

現今大家都熱衷于大數據領域。開源的項目如Apache Hive、Pig。以及像MapR和Hadapt這樣的創(chuàng)業(yè)公司。眾所周知，如果MapReduce和Hadoop中用來進行數據分析的應用編寫起來過于復雜的話，那么就需要優(yōu)秀程序員處理，這并不利于MapReduce技術的發(fā)展。所以現今所有Hadoop供應商都亟待解決的一個問題就是如何將 MapReduce變得更易于使用。

企業(yè)大數據與敏捷大數據

從IT角度來看，信息結構類型大致經歷了三次浪潮。必須注意這一點，新的浪潮并沒取代舊浪潮，它們仍在不斷發(fā)展，三種數據結構類型一直存在，只是其中一種結構類型往往主導于其他結構：

結構化信息——這種信息可以在關系數據庫中找到，多年來一直主導著IT應用。這是關鍵任務OLTP系統業(yè)務所依賴的信息，另外，還可對結構數據庫信息進行排序和查詢；

半結構化信息——這是IT的第二次浪潮，包括電子郵件，文字處理文件以及大量保存和發(fā)布在網絡上的信息。半結構化信息是以內容為基礎，可以用于搜索，這也是谷歌存在的理由；

非結構化信息——該信息在本質形式上可認為主要是位映射數據。數據必須處于一種可感知的形式中（諸如可在音頻、視頻和多媒體文件中被聽或被看）。許多大數據都是非結構化的，其龐大規(guī)模和復雜性需要高級分析工具來創(chuàng)建或利用一種更易于人們感知和交互的結構。

而面對網絡中三種類型信息的挑戰(zhàn)，大數據的發(fā)展趨勢逐漸明朗。在今年9月于紐約召開的O‘Reilly Strata大會上就將發(fā)展趨勢概括為企業(yè)大數據和敏捷大數據。企業(yè)大數據是最具挑戰(zhàn)性的問題，也是企業(yè)盈利的需要解決的問題。而敏捷大數據是另外一個需要關注的問題。如Greenplum和Aster等在企業(yè)BI領域都有涉足。

如果事實證明大數據必須購買企業(yè)級的產品，那么就意味著大數據會花大本錢。但這并非絕對，通過使用大數據敏捷技術，各種規(guī)模的企業(yè)都可以控制成本，從大數據中獲益。至關重要的是盡可能降低成本并最大化的了解大數據集，一旦數據被轉化為可用便具有對業(yè)務的洞察力，然后以各種方式將問題匯總，并發(fā)揮企業(yè)技術的優(yōu)勢解決問題。

MapReduce易用性是其發(fā)展最大障礙

MapReduce系統獲得成功的原因之一是它為編寫需要大規(guī)模并行處理的代碼提供了簡單的編程模式。它受到了Lisp的函數編程特性和其他函數式語言的啟發(fā)。MapReduce和云計算非常相配。MapReduce的關鍵特點是它能夠對開發(fā)人員隱藏操作并行語義 — 并行編程的具體工作方式。

但現今，MapReduce很難成為商務人士討論大數據的方式。因為要使用MapReduce至少需要以下四種技能。

1.將商業(yè)問題轉換為可分析解決的問題

2.將可分析解決的問題轉換為MapReduce模型

3.調試、編碼、優(yōu)化MapReduce以處理數據的能力

4.具備Hadoop和MapReduce的豐富經驗，并具備調試部署在Hadoop上代碼的能力

在大數據時代下，使用傳統的數據庫進行查詢、排序、定義、和提取數據時顯得有些力不從心。而處理大數據業(yè)務的本質（如MapReduce）需要更多的技能。但大批雇傭這些高技能人才是不現實的。

SQL與MapReduce 傳統與現代的結合

SQL對于編程專家和業(yè)務分析師用來查詢數據來說是非常熟悉的模式。而MapReduce的魅力在于有能力處理程序方案中相對復雜的搜索查詢。如果將兩者結合起來會帶來什么樣的變化？

Aster已經提供了一種被稱為SQL-MapReduce的框架，這個框架可以使數據科學家和商業(yè)分析師對復雜的信息進行快速調查分析，允許一組關聯計算機(計算機群集)使用軟件語言(如 Java、C#、Python、C++ 和 R)并行進行程序表達，然后通過標準SQL 激活(調用)使用。

而Greenplum提供支持SQL和MapReduce并行處理功能，并能以較低的成本處理TB量級到PB量級企業(yè)數據。Greenplum整合了MapReduce和SQL技術，并且將直接在Greenplum的并行數據流引擎（位于Greenplum數據引擎的中心）內部直接執(zhí)行 MapReduce和SQL。Greenplum MapReduce可以使程序員對儲存在Greenplum數據引擎內部和外部的PB量級規(guī)模的數據集進行分析。帶來的好處是應對不斷增長的標準編程模型來滿足關系數據庫的可靠性和熟悉性。

同時像微軟這樣的領導廠商也參與其中。微軟已經推出了Hadoop與SQL Server的連接工具，客戶將能夠在Hadoop、SQL Server和并行數據倉換環(huán)境下相互交換數據。與此同時，微軟還與Hortonworks展開深度合作。其目的就是為了將Hortonworks在 Hadoop領域的專長以及微軟產品易用化的特性有機的結合起來，并簡化下載、安裝和配置等幾個Hadoop的相關技術。

未來隨著SQL和MapReduce技術結合的不斷完善，MapReduce將變得更容易使用，并廣泛的受到關注。相信我，時間會證明一切。

標簽：杭州網站建設 SQL 呼叫中心