分布式計算之并行計算

1、并行計算

并行計算或稱平行計算是相對串行計算來講的它是1種1次可履行多個指令的算法目的是提高計算速度及通過擴大問題求解范圍解決大型而復雜的計算問題所謂并行計算可分為時間上的并行和空間上的并行 時間上的并行就是指流水線技術而空間上的并行則是指用多個處理器并發的履行計算。這個是多核處理器環境下的并行計算的定義，從宏觀上來看，這個屬于計算機利用服務器的垂直擴大，在這里我們就不展開討論了。

散布式計算上的并行計算，首先要把任務進行拆分，對不同的任務要進行不同的拆分，拆分落后行計算，終究的計算數據進行匯總。

還是到年底了，要做很多的報表，領導把需要的報表安排下來，我和我的團隊去做統計。異步計算其實不能減少領導拿到終究結果的時間；我們要想辦法，我作為調度系統，把需要的報表進行分拆，發現需要8組數據，我安排8位帥哥去獲得這些數據，這8位攻城獅把數據提供給我，我依照規則把報表完成，并提供給領導。這個大概就是1個簡單的并行計算模型了。

拆分和合并，是在散布式計算中的偉大的思想，這個也是Map/Reduce的思想。

2、Map/Reduce

Map/Reduce，它認為所有的計算任務都可以經歷從拆分到匯總的兩個進程，也就是說，只要用Map和Reduce就能夠描寫所有的計算任務，就好比用0和1就可以存儲所有的數據1樣。

MapReduce通過把大工作分成不同的小工作再分發給不同的工作者來實現數據的可靠性。每個單獨的工作者處理分發的工作，然后把結果和狀態返回給父節點。如果1個節點失效了，主節點會發現和記錄這個失效的節點，把分配給這個節點的工作再分發給別的節點。

3、Map/Reduce履行進程：

1.Master 把輸入文件分成M 份，通常16M

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈