聯邦學習開源框架FATE LTS版本發佈,接入全新客戶端套件助力高效開發

聯邦學習開源框架FATE LTS版本發佈,接入全新客戶端套件助力高效開發

(原標題:聯邦學習開源框架FATE LTS版本發佈,接入全新客戶端套件助力高效開發)

企業發展到一定階段,各事業部之間的數據往往都各自存儲,各自定義。每個事業部的數據就像一個個孤島一樣,無法進行連接互動。又或者不同機構組織間,受隱私保護條例法律的約束,無法進行關聯交互,這樣的情況稱爲“數據孤島”。


聯合國貿發會議:RCEP將大大推動區域外資增長

爲了連接不同組織機構間的數據,使數據得到更大的應用價值,微衆銀行人工智能部提出了基於“聯邦學習”的系統性的通用解決方案,並在2019年開源了全球首個工業級開源框架——FATE。

經歷了近兩年的沉澱,FATE在近期發佈了首個長效穩定版本v1.5(下稱LTS)。這兩年期間,FATE在開源倉庫GitHub上,FATE團隊累計合入提交代碼7600+次,根據調研需求完成上百項不同用戶場景的功能新增與迭代。通過開源社區大量不同行業領域的用戶,不同應用場景的生產環境反饋積累,FATE得到了全面的完善提升。

據官方團隊介紹,此次版本規劃將會持續維護兩年以上,爲商業化應用提供穩定基礎,未來將持續探索多方聯合建模,數據應用的更多可能性。同時經歷過系統框架層重構後,不僅在性能表現上有長足的進步,1.5LTS版本還具備優秀的靈活擴展性,用戶可以便捷按需取用不同模塊,進行二次開發。

文創讓文物活起來

以下爲FATE v1.5 LTS版本各模塊的詳細介紹:

FederatedML:性能再翻番,覆蓋更全面的聯邦算法,提升工業實用性

作爲長效版本,我們吸取了來自衆多行業的社區用戶生產經驗,爲了兼顧不同領域的場景,我們加入了更多的算法、協議等,如新增縱向聯邦FastSecureBoost、縱向聯邦SecureBoost的complete secure機制、DataStatistic、縱向KMeans、評分卡,以及Oblivious Transfer協議和RandomIterativeAffine同態加密協議。

除此以外,針對已有算法進行升級與優化,如縱向FTL的全新重構,使得性能比上一版本呈指數級的提升;縱向聯邦SecureBoost直方圖統計過程使用矩陣運算對高維稀疏數據優化;縱向聯邦SecureBoost預測性能優化,預測交互次數降低爲樹最大深度,在100顆樹下能達到32倍的性能提升;縱向特徵選擇全新升級,增加SecureBoost特徵重要度&特徵PSI指標過濾器;縱向聯邦特徵分箱計算邏輯優化,性能提升30%-50%;縱向GLM計算邏輯優化,性能提升10%+。更多的提升體驗,歡迎前往github.com/FederatedAI獲取體驗。

平行奔馳GLS580國六預定性能動力配置

FATE-Flow:易擴展,高可用

FATE-Flow是聯邦學習框架FATE的作業調度系統,實現聯邦學習作業生命週期的完整管理,其中包括數據輸入、訓練作業調度、指標追蹤、模型中心等功能。

此次版本更新,核心的調度能力升級,支持組件多輸出、組件任務並行和組件任務重跑;資源調度能力升級,依據不同計算引擎,支持調整核數、內存、工作節點數粒度。除此以外,還新增了DSL v2、模型註冊中心,以及適配各種數據源的數據讀取組件,大大地提升了易用性。

FATE-Client:全新的fate調用方式

TikTok在中東北非地區發起“復工計劃” 爲小企業提供支持

FATE-Client包括Pipeline、Flow CLI v2和Flow SDK,通過發佈pypi包的形式,用戶通過pip指令可以直接安裝和使用,這個fate 第一次提供這樣的調用方式,簡化用戶使用pipeline或者fate cli指令的流程。

FATE-Test:自動化、自動化、自動化,重要的事情說三遍

FATE-Test模塊是fate-1.5版本的新特色,目前提供全面迴歸fate算法庫所有功能,以及常用的建模算法中心化訓練與FATE聯邦訓練的正確性對比,及算子調用和傳輸時間統計。

將來,FATE-Test模塊會集成更多新的功能,比如大數據壓力測試、多任務併發等等,自動化測試是未來的終極目標。

奧迪A3兩廂報價 價格新政策 底價等您拿

FATE-Board:數據與交互解耦,效率與流暢度提升

FATEBoard是聯邦學習建模的可視化工具,旨在幫助用戶簡單而高效地理解模型與探索模型,從而更有效地調試和改善模型效果。

這次豐富的更新,提供更多新增算法模型的可視化,並提升已有算法模型的可視化,同時圖形界面的可操作空間也有提升,如任務重試以及從FATEBoard下載算法組件的模型和數據等。

以上爲FATE各個模塊的詳細介紹。此次更新,FATE系統整體的結構彈性化是一重要的優化。全新的架構,支持了不同的計算、存儲、傳輸引擎結合,以及新增的Spark、HDFS、RabbitMQ引擎,新增的數據表管理功能,儲存引擎統一的API,都在幫助不同行業領域用戶,按需取用FATE不同的功能模塊。

中超進球效率榜:韋世豪90分鐘1.05球第1 巴坎布第2

據介紹,新增的能力有許多是來自於開源社區中的體驗反饋,也因爲不斷反饋到不斷實現的正循環,FATE開源社區已經壯大至超過500家企業與220所高校等科研機構的開發團隊參與共建。

大衆寶來最新價格 ‘懂’你預算更懂你的心

這次FATE LTS的版本,除了總結這近千個合作伙伴的業務場景經驗,給予穩定工業生產的版本更新以外。團隊將會挖掘未來商業化的可能性,如近期開源的聯邦學習雲服務——FATE Cloud,該模塊使FATE可實現多雲管理,形成了一種安全的聯邦數據網絡。旨在爲跨機構間、機構內部不同組織間提供安全可靠、合規的數據合作網絡構建解決方案,提供企業級的聯邦學習生產力應用解決方案。開源倉庫位於GitHub/FederatedAI/FATE-Cloud,歡迎前往獲取。

不僅如此,聯邦學習在不同領域不斷地進行多方位的商業化探索,如不久前剛結束的《 2020異構計算:聯邦學習新算力革命》研討會上,微衆AI團隊就與英偉達、英特爾等多家業內知名廠商一同探討聯邦學習硬件加速的未來,聯邦學習領域AI加速卡的到來,未來可期。

詳情可查閱FATE官網項目貢獻者指南。