軟件介紹Linkis是一個打通了多個計算存儲引擎,如Spark、TiSpark、Hive、Python和HBase等,Linkis基于微服務架構,提供了金融級多租戶隔離、資源管控、權限隔離等企業級特性,支持統一變量、UDF、函數、用戶資源文件管理,具備高并發、高性能、高可用的大數據作業/請求全生命周期管理能力。
軟件特色 1、統一作業執行服務:一個分布式的REST/WebSocket服務,用于接收用戶提交的各種腳本請求。 目前支持的計算引擎有:Spark、Python、TiSpark、Hive和Shell等。 支持的腳本語言有:SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等; 2、資源管理服務: 支持實時管控每個系統和用戶的資源使用情況,限制系統和用戶的資源使用量和并發數,并提供實時的資源動態圖表,方便查看和管理系統和用戶的資源; 目前已支持的資源類型:Yarn隊列資源、服務器(CPU和內存)、用戶并發個數等。 3、應用管理服務:管理所有系統的所有用戶應用,包括離線批量應用、交互式查詢應用和實時流式應用,為離線和交互式應用提供強大的復用能力,并提供應用全生命周期管理,自動釋放用戶多余的空閑應用; 4、統一存儲服務:通用的IO架構,能快速對接各種存儲系統,提供統一調用入口,支持所有常用格式數據,集成度高,簡單易用; 5、統一上下文服務:統一用戶和系統資源文件(JAR、ZIP、Properties等),用戶、系統、計算引擎的參數和變量統一管理,一處設置,處處自動引用; 6、物料庫:系統和用戶級物料管理,可分享和流轉,支持全生命周期自動管理; 7、元數據服務:實時的庫表結構和分區情況展示。 功能介紹 1. Linkis管理臺 用戶可以查看和管理自己的Job 用戶可以查看和管理自己的引擎 用戶可以查看Yarn的資源使用情況和用戶資源使用排名 用戶可以配置引擎的啟動參數 用戶可以設置變量 2. 支持標簽功能 支持給EngineManager打標簽 啟動引擎時,支持為引擎打標簽 支持通過標簽訪問目標引擎 3. AppGovernance應用治理實現 系統級、用戶級應用全生命周期管理,包括離線批量、交互式查詢和實時流式應用 為離線和交互式應用提供復用能力和智能切換能力 智能限流、應用智能保護 4. 支持Flink和Spark Structured Streaming |