您當前位置：首頁 > 互聯網 > CSDN在線培訓――詳解Hadoop作業平臺宙斯Zeus QA回顧！

CSDN在線培訓――詳解Hadoop作業平臺宙斯Zeus QA回顧！

來源：程序員人生發布時間：2014-10-21 08:00:01 閱讀次數：2719次

2014年7月1日星期二，CSDN在線培訓“詳解Hadoop作業平臺宙斯Zeus”已經結束了，本次講師楊飛給我們分享了很多Zeus系統相關的知識，今天給大家分享一下直播時的相關QA！

宙斯是一個完整的Hadoop的作業平臺，從Hadoop任務的調試運行到生產任務的周期調度宙斯支持任務的整個生命周期。從功能上來說，支持：

宙斯開源，不僅僅是開源技術，更是開源產品！

Hadoop MapReduce任務的調試運行
Hive任務的調試運行
Shell任務的運行
Hive元數據的可視化查詢與數據預覽
Hadoop任務的自動調度
完整的文檔管理

以下是QA原文：

這個跟TWS調度是不是有些像？
答：對<span style="font-size: 12px;">TWS</span>不是很了解，具體不太請求，跟oozie比較像<br>
Zeus也是Apache的開源組件嗎?代碼托管到哪了？
答：不是Apache的，是阿里的，Github地址為https://github.com/alibaba/zeus

Master掛掉之后worker還會繼續執行作業嗎?
答：Worker會殺死自身的任務，然后連接到新的Master

Zookeeper在里面起什么作用?
答：主要是做任務失敗通知，不是必須的

taobao不用這個了嗎？github上都一年沒更新了?Zeus在阿里主要做那塊任務?
答：淘寶據我了解一直在使用，代碼現在確實沒有更新，所有有新版zeus2:https://github.com/michael8335/zeus2

好像淘寶有個開源項目tbschedule任務調度系統，和這個有什么區別？
答：tbschedule也是一個批處理調度引擎，但zeus更專注與hadoop

Worker競爭分布式鎖，會不會死鎖呢？
答：不會，原子操作

可以舉一個Zeus實際的應用實例嗎？
答：很多公司都用來做Hadoop集群調度，最常用的就是MR和Hive

如果使用用Zeus還是Zues2好？
答：這個還是根據實際情況來，如果是Hadoop1，最好直接用Zeus，如果是Hadoop2，個人建議使用Zeus2

當前正在執行的所有worker的任務清單，存儲在哪里？如果當前master宕機，新的master怎么能取到、并重新下發任務？
答：任務每個關鍵點都會記錄在數據庫中，新Master直接從數據庫中就可以獲得

新的Master怎么知道之前所有正在執行的任務，然后下發？
答：新Master可以從數據庫的任務歷史表中獲取正在執行的任務

Zeus對算法的管理與調度，支持樣本數據的模擬結果嗎？因為算法場景和效率區別還是比較大得
答：Zeus只是一個工作流引擎，具體的算法是自己的job實現

Zeus在淘寶應用規模有多大？請老師再介紹一下宙斯誕生發展的背景過程.
答：這個應用規模不便說，背景主要是為了給hadoop集群提供友好的調度管理


Zeus和azkaban和oozie做一下比較?
答：都是Hadoop集群的工作流引擎

使用宙斯的任務調度跑HiveQL有時會遇到找不到Hive表或者找不到jar包的情況，但是手動執行重跑又可以執行了，請問這個是怎么回事？
答：這個是環境變量沒有配置正確的原因

Zeus支持Yarn嗎？想問一下宙斯1現在存在哪些bug？
答：Zeus1不支持，Zeus2支持，具體的BUG可以到https://github.com/michael8335/zeus2 wiki中查看

宙斯的Master和Yarn的Resource Manager有啥聯系嗎？
答：沒有

公司在用宙斯任務調度時不時的有任務進入任務隊列不執行的情況，然后就只能重啟宙斯，這也是宙斯1的Bug吧？
答：這個得具體分析，可以私下聯系我

請問現在可以對接到Hadoop2.4版本嗎？什么時候支持Hive0.13
答：沒有，暫時沒有必要