簡單7步驟，在7小時內訓練出神經網絡模型

分享文章:

IBM Spectrum Conductor Deep Learning Impact (DLI)

2017年12月5日，IBM 發表了在深度學習相關領域中令人振奮的新工具—IBM Spectrum Conductor Deep Learning Impact。連同當日一起發表，專為AI 設計的Power9處理器，我們非常期待軟硬體結合會擦出什麼火花！

IBM Spectrum Conductor Deep Learning Impact（DLI）是一個深度學習的開發平台。它的目標是降低傳統使用人工智慧的門檻，提高神經網絡模型的開發效率。DLI基於多種標準的深度學習框架如Caffe、TensorFlow來輔助使用者設計並優化神經網絡模型，更專精在超級參數調優、電腦視覺模型、分散式訓練。DLI在開發和優化神經網絡的過程中提供完整的生命週期管理。

在使用IBM Spectrum Conductor Deep Learning Impact 執行深度學習任務之前，首先你應該選擇使用Caffe 或TensorFlow 架構。接著，建立相對應的資料組和訓練模型。深度學習的過程中，你可以調整超級參數（Hyperparametrs），並透過儀表板資訊來比較每一次的訓練，得到最佳化的訓練結果。

利用 IBM Spectrum Conductor Deep Learning Impact 的模型訓練流程

1. 框架選擇 Decide on a framework
   使用 IBM Spectrum Conductor Deep Learning Impact 1.1.0 來訓練深度學習模型前，你必須選擇一個深度學習框架。
2. 資料模型建立 Create a dataset
   在 IBM Spectrum Conductor Deep Learning Impact 1.1.0 中建立一個資料模型，IBM Spectrum Conductor Deep Learning Impact 可以支援LMDB, TFRecord 等格式的資料模型，包含訓練資料、試驗資料、及驗證資料。
   • 訓練資料: 用來做學習的資料
   • 試驗資料: 在訓練過程中用來試驗模型的資料
   • 驗證資料: 在模型訓練完成後，用來驗證模型準確率的資料
3. 創建一個訓練模型 Create a training model
   可支援 Caffe 和 TensorFlow 模型。
4. 模型訓練 Train a model
   完成模型創建後，你可以開始訓練了！在每次訓練之前你可以調整模型中的資料權重，或設定超級參數（Hyperparameter）。
   DLI 中具備的「自動超參建議」，利用演算法推理出較好的參數調整方式，正確的調整超級參數可以讓模型準確率提高10%。超參調優不再需要倚靠經驗豐富的資料科學家、或是長時間的嘗試與錯誤。
   Deep Learning Insight 還能以視覺化的圖表呈現每次訓練的各項指標，讓你可以比較每次參數調整後的影響，進而有規劃的進行下一次訓練。另外自動參數建議更是能讓過去為期兩到三個月的參數調整過程濃縮為二到三天，大幅提升訓練效率。
5. 模型驗證 Validate a trained model
   訓練成功後，利用驗證資料來驗證你的模型。
6. 模型上線 Create an inference model
   在叢集管理控制台上建立一個推理模型。
7. 開始你的AI應用 Start an inference job
   完成建立模型之後，你可以在 DLI 中執行運算並得到模型預測結果。

Deep Learning Impact 深度學習平台，化簡資料科學家繁複的深度學習過程為7步驟，提高人工開發效率；再搭載擁有獨家CPU:GPU NVLink、專為企業級 AI 運算而設計的 PowerAI 伺服器，硬體加速深度學習過程。

DLI更是完整支援分散式深度學習（Distributed Deep Learning, DDL），5% 極低的耗損率更是遠低於x86的20%，只需使用4顆GPU便可完成原先需5 顆GPU以上的AI 工作量，將通常為期二至三個月的深度學習過程濃縮為7小時。

Deep Learning Impact 加上 PowerAI，集結軟硬體優勢，大幅降低開發流程和硬體運算的時間，讓深度學習極具效率。