深度神經網路 成AI發展重點 – i創科技

深度神經網路 成AI發展重點


發展人工智慧,已被許多先進國家列為基本經濟、科技政策,台灣亦不想落於人後。在日前的台北國際電腦展,副總統陳建仁便已揭櫫,因應全球產業競爭、科技變革的挑戰,台灣將朝「數位國家」目標戮力前進,積極衝刺機器人、人工智慧等領域。不久的將來,人工智慧(AI)將成為帶動科技前進、社會變革的主要力量。在人工智慧相關技術中,機器學習(machine learning)堪稱核心技術;而在機器學習領域,「深度神經網路」(deep neural networks,DNN)演算法將可望躍居研發重點。

愈來愈熱門的深度學習(deep learning),運用的正是深度神經網路技術。這兩年大出風頭、掀起人工智慧熱潮的AlphaGo,成功的關鍵除了巨量的訓練樣本、迅捷準確的計算能力,還有精巧的深度神經網路設計,才能在短時間內持續精進棋藝,敗盡世界圍棋群豪。

技術問世已逾一甲子

簡而言之,深度神經網路是一種模仿生物神經系統的數學模型,其特點在於,讓所研發的程式,具備自主學習的能力,讓人工智慧從理論變為現實。台灣現正積極研發深度神經網路技術,未來將可應用於法律文件分析、專利申請分析、醫療記錄分析等商業應用,期待在全球下一波人工智慧應用浪潮中,扮演關鍵角色。

其實,深度神經網路技術早已問世,迄今已逾60年,途中曾歷經兩度興衰。早在20世紀50年代,Frank Rosenblatt便已發明模仿生物神經網路的感知器,但其構造頗為素樸,無法執行較複雜的多層次演算,技術發展進入停滯期。

一直到了20世紀80年代,技術發展終於再上層樓,可稱為第1次復興。只是,第1次復興僅維持約10年,深度神經網路技術發展再次陷於沉寂;到了2005年正式邁入第2次復興後,迄今仍方興未艾,更形成兵家必爭之地。

深度神經網路的第2次復興,乃由Geoffrey Hinton、Yann Lecun、Yoshua Bengio等人所發動。近年來,深度神經網路技術功能日趨強大,已愈來愈接近人類圖像識別的能力;以執圖像識別技術牛耳的ImageNet為例,其分類錯誤率已從昔日的25.8%,降至3.57%,進步幅度令人驚豔。

機器學習的基礎,分為監督學習(supervised learning)、非監督學習(unsupervised learning)2大類,其亦是研發深度神經網路技術的關鍵。兩者的差別在於,非監督學習是運用演算法,從大量數據中找出模式,並根據模式為數據進行分類;監督學習則是在輸入數據時加上註記,並設定學習模型、優化目標,以訓練其對應多變量、非線性的優化途徑。

發展深度神經網路技術的主要挑戰,包括如何打造深度神經網路技術的訓練模型,降低深度神經網路技術應用時的功耗,與向使用者清楚、完整解釋運作原理,並擴大深度神經網路技術應用範疇。打造深度神經網路技術訓練模型的困難在於,如何取得高品質的訓練數據,與在為數據進行註記時,兼顧正確性、多樣性,並且建立半自動的訓練數據蒐集、註記機制。

工研院積極投入研發

在可見的未來,蒐集深度神經網路訓練資料,將成資料庫最主要的工作;與深度神經網路相關的設備,勢必將成必要設備。深度神經網路設備應具有的功能,當是讓客戶節省最大限度的時間。

NVIDIA所推出的DGX-1,即是深度神經網路設備,其為當下先進的深度學習系統之一,可協助客戶縮短訓練時間、建立更大型的模型,並取得更精確的結果,其效能相當於250台伺服器,如Intel x86;其價格不斐,單價為12.9萬美元。

近年來,工研院亦積極研發深度神經網路設備,成績相當亮眼。工研院研發的深度神經網路設備,配備工研院的深度神經網路IDE(Integrated Drive Electronics,集成驅動器電子裝置),計算能力等同於10台DGX-1,可為工研院所有深度神經網路研究項目,提供訓練的能量。

工研院研發的深度神經網路設備,亦可視為物美價廉的GPU(graphics processing unit,圖形處理器),比當下引領風騷的NVIDIA的GTX 1080 Ti顯示卡、Tesla P100計算卡,功能還更勝一籌,可將GPU之間的資料傳輸極大化,還可同時處理多種資料。

深度神經網路的運作原理,在於讓資料發揮最大限度的價值,降低每個輸入數據的總計算量,並減少簡單、已被看見數據的計算量。由於深度神經網路模型相當龐大,為加快運作速度,壓縮勢在必行;壓縮勢必簡化結構,簡化結構的原則,在於將深度神經網路的組件進行排序,並修整重要性較低的項目。

若要深入認識深度神經網路,就得先了解矩陣(martix)相關理論、計算方式,因為矩陣正是深度神經網路的基本運作單位。其實,矩陣一直是資訊科技發展的基石,從早期Apple的64K MAC電腦,到當下Google的開源人工智慧軟體TensorFlow,根基都是矩陣。

商機應用豐厚

可預見的是,在未來數年,深度神經網路將成全球資訊產業、研究機構研發的重點,與之相關的衍生應用,無不充滿潛力、商機豐厚。與資料分析、綜合相關的業務,如法律文件分析、專利申請分析、醫療記錄分析等,可望成為優先採用深度神經網路技術的領域,為相關產業節省可觀的人力、時間,且更為精準;深度神經網路也可能應用於自動駕駛,徹底改變運輸產業結構、風貌。

在15年前,GPU的設計競爭相當激烈;但在今日,深度神經網路的設計之爭,激烈程度有過之而無不及,決定設計優劣、良莠的,自是負責資料轉換的編譯器(compiler)。近年來,深度神經網路系統仍不斷推陳出新,如GoogLeNet、Residual Net,競爭激烈程度將有增無減。

關於深度神經網路技術,工研院預期將可達到的成果,包括可分辨簡單、困難的訓練資料,減少資料處理時間,並確認訓練過程先後順序,最大限度降低資料處理所導致的故障,與開發、優化各種功能。

深度神經網路模仿的生物神經系統,多數為人類的大腦;因為人類大腦構造之精密、複雜,遠遠超過其他生物神經系統。不過,科學家對人類大腦的理解,仍相當有限;因此,深度神經網路圖像辨識能力、衍生應用,距令人滿意還有不短的距離,尚有相當大的發展空間,值得繼續開拓、鑽研。

(本文經闕志克授權轉載,工商時報《深度神經網路 成AI發展重點》)

Facebook留言

則留言



======================================================
如需轉載、引用本篇文章,請先與我們連絡呦!

每一個 都是支持「工業技術研究院」持續創作的能量!感謝您!! ======================================================




關於作者


闕志克
現任工研院資訊與通訊研究所所長、台灣雲端產業協會秘書長,為美國柏克萊大學電腦科學博士。曾任賽門鐵克美國總部核心研究實驗室總監及美國紐約州立石溪大學計算機科學系教授,發表超過200篇學術論文且多次獲得國際性最佳論文獎殊榮,在國內外資通訊科技學術與產業界極富盛名。

你可能有興趣的文章