• 產品介紹
  • 神通K-Fusion是神通BI的ETL組件,輔助用戶從企業原有信息係統架構那些分散的、異構的數據源中抽取目標數據,進行可定製的清洗、轉換、集成,並加載到企業統一建設的數據倉庫中,最終為OLAP、數據挖掘等商業智能活動奠定良好的數據基礎。


    數據抽取及加載:K-Fusion從多種數據源中抽取數據,並將經過數據轉換之後的結果集加載到目標數據庫中,支持的數據源包括關係型數據庫(包括國產數據庫)、多維數據庫、平麵文件和網絡文件等共計40餘種。
    數據轉換:對抽取的數據進行值映射,字段選擇、拆分、計算,設置字段值,增加序列、常量、校驗,添加XML與XSL轉換,行扁平化、列規範化,行轉列,去除重複行,行排序、分組等操作,實現對數據的預處理。
    增量ETL:通過全表比對、基於數據源標識字段的CDC、基於觸發器CDC和基於數據庫日誌分析的CDC等機製來定期識別出數據源的增量數據,對這些數據進行抽取、轉換和加載,以減小服務器壓力,提升數據處理速度。

  • 關鍵特征
  • 性能監控和提升機製:K-Fusion提供了流程和節點兩個級別的性能監控日誌功能,能夠以不同的粒度記錄每次流程執行過程中重要信息,例如讀、寫、輸入、輸出、更新、刪除的數據行數,節點的每秒處理的數據行數、整個流程每秒處理的數據行數;並且對信息進行可視化以便用戶快速定位性能瓶頸。實現了多種用於流程性能提升的機製,例如在流程處理過程中對數據進行分片處理,並通過設置流程處理節點的冗餘實現對這些分片數據的並行處理和負載均衡;對大文本的讀寫實現並行化;對常用的關係型數據庫目的端進行Bulk Insert方式的批量數據加載。通過以上機製,顯著降低大數據量情況的抽取、轉換和加載時間,提高了用戶數據集成工作的效率。

    流程控製能力和異常處理完善:K-Fusion支持對多個ETL流程間相對執行順序的控製,除了提供了流程串行的方式外,提供了多流程的並行執行方式以獲得執行效率的最大化,另外還可延遲或者中斷指定節點或者子流程的執行。對流程執行過程中可能存在的異常,支持異常處理流程的自定義,例如定製“日誌記錄”、“郵件通知”或“異常數據歸檔”,以提高實際部署環境中,用戶ETL流程的容錯性。

  • 解決方案
京ICP備09058266號-5 北京AG航天軟件技術有限公司版權所有 網站管理郵箱:market@bj-perfect.com