【CSDN在線培訓(xùn)Q/A】解析大數(shù)據(jù)分析服務(wù)

7月10日，亞馬遜AWS 產(chǎn)品拓展經(jīng)理莊富任在主題為“解析大數(shù)據(jù)分析服務(wù)”的在線培訓(xùn)中，為我們講述了如何利用AWS Kinesis 實現(xiàn)實時數(shù)據(jù)流采集和處理, 并配合AWS Hadoop EMR集群分析非結(jié)構(gòu)化數(shù)據(jù), 以及數(shù)據(jù)倉庫Redshift 進行高效結(jié)構(gòu)化數(shù)據(jù)分析,并結(jié)合客戶案例為例說明這些服務(wù)的實際應(yīng)用場景。

訂閱“AWS中文技術(shù)社區(qū)”微信公眾號，實時掌握AWS技術(shù)及產(chǎn)品消息！

AWS中文技術(shù)社區(qū)為廣大開發(fā)者提供了一個Amazon Web Service技術(shù)交流平臺，推送AWS最新資訊、技術(shù)視頻、技術(shù)文檔、精彩技術(shù)博文等相關(guān)精彩內(nèi)容，更有AWS社區(qū)專家與您直接溝通交流！快加入AWS中文技術(shù)社區(qū)，更快更好的了解AWS云計算技術(shù)。

為了幫助大家更好的復(fù)習(xí)本次培訓(xùn)的相關(guān)內(nèi)容，了解AWS云平臺數(shù)據(jù)分析服務(wù)的使用技巧及相關(guān)資訊，CSDN整理了本次培訓(xùn)最后的QA如下：

Q1：亞馬遜推薦將最佳實踐存放在S3，這會不會失去數(shù)據(jù)本地性，例如以前的服務(wù)器數(shù)據(jù)和計算是在一起，現(xiàn)在數(shù)據(jù)與計算分開是不是意味著處理數(shù)據(jù)的時候會有延遲？

答：對于AWS來講，S3與EC2、EMR和Glacier都是在同一個可用區(qū)，那么每一個服務(wù)都是用高速網(wǎng)絡(luò)連接在一起，用戶幾乎感覺不到在做I /O或者是數(shù)據(jù)的吞吐量的瓶頸，所以這上面不會存在任何的瓶頸。

Q2：如何將業(yè)務(wù)數(shù)據(jù)導(dǎo)入到AWS云上？

答：這是用戶常問的一個問題，任何一個處理大數(shù)據(jù)的人都會遇到這個問題，無論用戶是在云計算上還是自己購買存儲設(shè)備，都會遇到數(shù)據(jù)載入的問題。

對于AWS云來講，亞馬遜提供很多不同的工具，第一個最簡單的就是用互聯(lián)網(wǎng)，只要用戶的互聯(lián)網(wǎng)出口帶寬是足夠的，因為不同公司的出口帶寬也都不同，但只要出口帶寬能保證，就能進入互聯(lián)網(wǎng)，就不會有瓶頸。另外，S3提供了一個切片工具，比如一個文件有100M，切片工具可以將其切成10個小文件，上傳到互聯(lián)網(wǎng)，然后S3會自動將文件進行聚合，這是其中的一個方式。第二個方式是專線傳輸，如果用戶的數(shù)據(jù)很大，達到PB級別的話，就可以通過專線傳輸?shù)紸WS云。

Q3:如何保證數(shù)據(jù)的安全性？數(shù)據(jù)保密性達到什么程度？

答：從分析層面來看，第一，數(shù)據(jù)上傳到AWS云上是一個網(wǎng)絡(luò)的傳輸過程，其中當(dāng)然有一些加密的工具，用戶可以將數(shù)據(jù)進行加密來保存，數(shù)據(jù)的傳輸是一個加密的過程，只要數(shù)據(jù)傳輸?shù)紸WS云，亞馬遜當(dāng)然也提供一些在存儲方面的加密工具，用戶可以根據(jù)需要進行加密。

重點是只要用戶的數(shù)據(jù)上傳到AWS，那么亞馬遜都不會去看或者是移動用戶的數(shù)據(jù)，總之亞馬遜能夠保證不移動或是查看用戶的數(shù)據(jù)。

Q4：PB級的數(shù)據(jù)處理是否推薦MySQL？

答：如果用戶知道MPP數(shù)據(jù)的發(fā)展或是關(guān)系型數(shù)據(jù)庫到所謂的以列存儲的MPP數(shù)據(jù)倉庫的演進，都應(yīng)該知道這些都是為了取代關(guān)系型數(shù)據(jù)庫的，所以如果說是PB級的數(shù)據(jù)分析，我認(rèn)為并不那么適合用MySQL。

Q5：RedShift是否可以達到像EMR水平擴展的性能？

答：可以的，EMR沒有限制說用戶需要幾臺機器，你要100臺或者1000臺都沒有問題，因為對于Hadopp這個框架來講就可以達到這么多，對于Redshift數(shù)據(jù)倉庫來講，目前是可以達到100個節(jié)點，亞馬遜有一個不斷的演進，目前PB級適用于大部分的實例，擴充到100個或200個節(jié)點的時候，亞馬遜會不斷去做一個產(chǎn)品的評估，事實上MPP級數(shù)據(jù)，數(shù)據(jù)倉庫就足夠用戶使用。

如您需要了解AWS最新資訊或是技術(shù)文檔可訪問AWS中文技術(shù)社區(qū)；如您有更多的疑問請在AWS技術(shù)論壇提出，稍后會有專家進行答疑。

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機掃描二維碼進行捐贈