| Apache DolphinScheduler是一個分布式去中心化,易擴展的可視化DAG工作流任務調度系統,致力于解決數據處理流程中錯綜復雜的依賴關系,使調度系統在數據處理流程中開箱即用。 ![]() DolphinScheduler特色高可靠性 去中心化的多Master和多Worker, 自身支持HA功能, 采用任務隊列來避免過載,不會造成機器卡死 簡單易用 DAG監控界面,所有流程定義都是可視化,通過拖拽任務定制DAG,通過API方式與第三方系統對接, 一鍵部署 豐富的使用場景 支持暫停恢復操作. 支持多租戶,更好的應對大數據的使用場景. 支持更多的任務類型,如 spark, hive, mr, python, sub_process, shell 高擴展性 支持自定義任務類型,調度器使用分布式調度,調度能力隨集群線性增長,Master和Worker支持動態上下線 ![]() DolphinScheduler功能介紹1、以DAG圖的方式將Task按照任務的依賴關系關聯起來,可實時可視化監控任務的運行狀態 2、支持豐富的任務類型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等 3、支持工作流定時調度、依賴調度、手動調度、手動暫停/停止/恢復,同時支持失敗重試/告警、從指定節點恢復失敗、Kill任務等操作 4、支持工作流優先級、任務優先級及任務的故障轉移及任務超時告警/失敗 5、支持工作流全局參數及節點自定義參數設置 6、支持資源文件的在線上傳/下載,管理等,支持在線文件創建、編輯 7、支持任務日志在線查看及滾動、在線下載日志等 8、實現集群HA,通過Zookeeper實現Master集群和Worker集群去中心化 9、支持對Master/Worker cpu load,memory,cpu在線查看 10、支持工作流運行歷史樹形/甘特圖展示、支持任務狀態統計、流程狀態統計 11、支持補數 12、支持多租戶 13、支持國際化 14、還有更多等待伙伴們探索 使用編程語言寫的程序,由于每條指令都對應計算機一個特定的基本動作,所以程序占用內存少、執行效率高。 |