如何利用Signiant SkyDrop進行數據大遷移？

在媒體行業，Signiant已經聞名于大型文檔的遷移。一些廣播公司，影視公司，游戲公司等類似的公司使用Signiant Media Shuttle，Signiant Media Exchange 和 Signiant Manager+Agents這樣的工具來提高大型文檔傳送的流程速度。通過分析在云中擴張的工作負載，以達到將大型文檔傳輸的解決方案應用于大數據的數據傳輸。

Signiant SkyDrop

Signiant的SkyDrop是一項為AWS用戶提供大量數據移入Amazon S3的新興服務，這項服務使AWS用戶不用再擔心附加的云基礎設施管理。SkyDrop是一項混合的軟件即服務（SaaS），這意味著Signiant管理服務器端。Amazon Elastic Cloud Compute（AmazonEC2）實例在SkyDrop服務器運行，Amazon Simple Storage Service（Amazon S3）傳輸組建，但最終用戶運行的是一個輕的，客戶端代理的程序。用戶僅僅需要安裝一個AWS認證的本地客戶端，并設置要使用的Amazon S3桶，然后再將文件移入監控文件夾。對于頻繁將大數據工作負載移入Amazon S3的用戶，相比于Amazon EMR和Amazon Redshift，SkyDrop更加容易上手。

當用戶使用Signiant的SkyDrop向Amazon S3傳送文件時，其后臺在高容量傳輸周期中自動縮放。SkyDrop的后臺跨多個AWS可用區域，在多個Amazon EC2平臺中負載平衡，所以這樣不通過復雜設定的服務變得非常可靠。

就像在之前討論的解決方法一樣，Signiant的加速文件傳輸協議使用混合TCP和UDP，對遠距離大文檔的傳輸來說，Signiant可以最小化廣域網延遲所產生的影響，從而導致相對來說較快的轉移速度。Signiant宣傳道其傳輸速率比FTP快200倍。重要的是，Signiant文檔傳輸協議同時支持2項功能，而這在Tsunami UDP中不支持：AES-256位加密和智能傳輸重試。如果傳輸數據被任何原因中斷，傳輸將會從中斷的地方重啟（運用大量文檔重啟算法）。如果文檔已經存在于Amazon S3并且未被改變，SkyDrop將不會更新文檔。

Signiant SkyDrop同時支持使用清單進行批量文檔傳輸，所以用戶可以有效地轉移大量微小文檔。用戶需要事先在大量小文檔中匯總壓縮數據，這是為了通過緊密匹配文檔與默認HDFS區塊大小來優化大數據性能。如果用戶的數據是通過GZIP等類似的形式壓縮，那么數據將不可分離并且允許多個映射并行處理設定數據，這提高了大數據的性能。或者，用戶只是將不同文件錄入的數據載入Amazon Redshift表中。

一旦文檔到達以AWS為基礎的Signiant SkyDrop后端，HTTPS使用多部分上傳API，使文檔被安全地轉移到Amazon S3上。

SkyDrop帶有一個Windows或Mac的圖形客戶端，命令行接口，還具有多種提供一個SDK的編程語言。

設置Signiant SkyDrop

1 通過AWS Marketplace登錄Signiant SkyDrop

2 在需要上傳文檔的Amazon S3桶中創建一個有讀/寫權限的IAM用戶。

3 安裝SkyDrop客戶端并添加剛剛創建的用戶名加上上傳文檔的Amazon S3的桶。

4 將文檔拖入在SkyDrop中配置的指定保密文件夾中。片刻后，它會出現在Amazon S3上。

設置命令行界面（CLI）

1 通過加添加用戶憑據配置SkyDropCLI，針對亞馬遜S3存儲和關鍵config.cfg文件。

2 使用CLI命令傳輸單個文件，只需使用-d上傳參數。在下面的例子中Matt用位于us-east-1的m3.xlarge Amazon EC2實例在沒有干擾的情況下運行，這都基于AWS的Amazon LinuxAMI。Matt傳輸一個1 GiB的未壓縮文件，并用dd以美國標準升成到Amazon S3的桶。重要的是，這個文件位于EC2實例存儲，從而使亞馬遜的彈性塊存儲（Amazon EBS）的吞吐量不會成為一個扭曲測試的瓶頸。在這種情況下的平均傳輸速率大約是630Mbps。

skydrop -d upload /media/ephemeral0/test-1GiB.img

一個更復雜的文檔傳輸可能涉及大量的文檔中列表，在清單中，每行一個文檔：

skydrop -d upload @mainfest. txt -z -i

在這種情況下，使用交互移動（-i）以看到實時文件傳輸的統計數據，并在傳輸結束時生成詳細的傳輸統計數據（-Z）。

結論

Signiant的SkyDrop是一種高速的將大數據移入云端的簡便方法。因為它是SaaS的解決方案，它很容易使用，用戶不必擔心需要部署和維護一個高度可用和高性能的文件傳輸系統架構。SkyDrop使用Signiant的加速文件傳輸協議，它轉移到了Amazon EC2為基礎的后端，然后優化轉移到Amazon S3，這樣用戶就可以顯著減少數據移入云中的速度。最后，SkyDrop在交通和智能文檔傳送中重試，而加密意味著用戶可以安全可靠地傳送文檔。

原文鏈接： http://blogs.aws.amazon.com/bigdata/post/Tx2QZODBZN1RD1I/Moving-Big-Data-Into-the-Cloud-using-Signiant-SkyDrop

如您需要了解AWS最新資訊或是技術文檔可訪問AWS中文技術社區；如您有更多的疑問請在AWS技術論壇提出，稍后會有專家進行答疑。 

訂閱“AWS中文技術社區”微信公眾號，實時掌握AWS技術及產品消息！

AWS中文技術社區為廣大開發者提供了一個Amazon Web Service技術交流平臺，推送AWS最新資訊、技術視頻、技術文檔、精彩技術博文等相關精彩內容，更有AWS社區專家與您直接溝通交流！快加入AWS中文技術社區，更快更好的了解AWS云計算技術。

                                                                                                            （譯者/李雪 責編/王玉平） 

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈