百度為何開源深度機器學(xué)習(xí)平臺？
194
2021-09-07
通過這一開源平臺，世界各地的開發(fā)者們可以免費獲得更優(yōu)質(zhì)和更容易使用的分布式機器學(xué)習(xí)算法源碼，從而大幅降低開發(fā)和部署分布式機器學(xué)習(xí)系統(tǒng)及相關(guān)應(yīng)用的門檻。包括今日頭條、汽車之家等在內(nèi)的多家公司已經(jīng)通過該開放平臺受益。
作為在人工智能布局較早的玩家，百度擁有領(lǐng)先業(yè)界的實力。從2013年百度深度學(xué)習(xí)研究院（IDL）的創(chuàng)建及2014年Andrew Ng的加盟至今，百度DMLC分布式深度機器學(xué)習(xí)開源項目（簡稱“深盟”）已在深度學(xué)習(xí)的多個應(yīng)用領(lǐng)域做過探索，上線了如xgboost（速度快效果好的Boosting模型）、CXXNET（極致的C++深度學(xué)習(xí)庫）、Minerva（高效靈活的并行深度學(xué)習(xí)引擎）以及Parameter Server（一小時訓(xùn)練600T數(shù)據(jù)）等產(chǎn)品，在語音識別、OCR識別、人臉識別以及計算效率提升上發(fā)布了多個成熟產(chǎn)品。
而具有一系列領(lǐng)先優(yōu)勢的百度卻選擇開源其深度機器學(xué)習(xí)平臺，為何交底自己的核心技術(shù)？
深思之下，卻是在面對業(yè)界無奈時的遠見之舉。
擁抱世界：開源的魅力
開源，顧名思義，就是開放自己的源代碼給別人查閱和使用，盡管看起來很傻，然而諸多歷史事實卻告訴我們擁抱世界也能讓世界擁抱你。
Android的逆襲就是明證，在iOS侵占絕大多數(shù)智能手機操作系統(tǒng)的時代誕生，Google選擇開源，讓早已在蘋果面前沒有機會的業(yè)界見到了希望，至今Android已擁有過半的市場份額，以至于在移動互聯(lián)網(wǎng)大行其道的今天，Google可以憑借它與旗下產(chǎn)品的整合打造屬于自己的強大生態(tài)系統(tǒng)。相比之下，生而嬌貴的Windows mobile的故事夠令人發(fā)醒的，終于微軟也不得不寄人籬下地去兼容Android和iOS平臺應(yīng)用。此外，作為微軟最主要的應(yīng)用程序框架，微軟對.net寄予厚望，希望它的開源可以來到所有平臺，進而重現(xiàn)JAVA的光輝歷史。這也證明了即使強大如微軟也無法憑借一己之力讓其產(chǎn)品得到世界的擁抱。
眾人拾材火焰高：用平臺籠絡(luò)世界的力量
要實現(xiàn)人工智能，機器必須具備自主學(xué)習(xí)能力，深度學(xué)習(xí)作為機器學(xué)習(xí)領(lǐng)域的重大突破，可以完成具有高度抽象特征的人工智能任務(wù)，如自然語言理解等復(fù)雜場景，因而備受業(yè)界追捧。當然，機器學(xué)習(xí)領(lǐng)域并不只是有深度學(xué)習(xí)這一種算法的存在，然而深度學(xué)習(xí)卻有著顯著的優(yōu)勢：在數(shù)據(jù)集足夠大的情況下，深度學(xué)習(xí)擁有最好的預(yù)測能力。盡管在算法的選擇上仍然存在“殺雞焉用宰牛刀”的爭論，但深度學(xué)習(xí)算法為人工智能領(lǐng)域注入的強大能力卻是其他算法無以比擬的；同時，隨著深度學(xué)習(xí)技術(shù)的成熟，諸多傳統(tǒng)機器學(xué)習(xí)算法的淘汰幾乎是必然的。然而正如前述，深度學(xué)習(xí)對大量數(shù)據(jù)的需求及其本身的復(fù)雜性仍然是其發(fā)展壯大路上的最大阻礙，也是業(yè)界的無奈所在。
百度在此領(lǐng)域發(fā)力較早，且在諸多方向上進行了深入的研究，利用深入學(xué)習(xí)結(jié)合自身搜索引擎的大數(shù)據(jù)讓機器翻譯及自然語言等技術(shù)實現(xiàn)了新的飛躍。然而在面向更廣大更具體的應(yīng)用場景時，任何一個公司都難以滿足所有需求。借鑒歷史，開放共贏不僅可以把事情做的，也讓業(yè)界和生態(tài)系統(tǒng)得到健康發(fā)展。
百度此次開源也是完全奔著建平臺去的。完全采用C++語言搭建核心，為平臺的穩(wěn)定高效運行奠定了基礎(chǔ)；覆蓋了三類最常用的機器學(xué)習(xí)算法，包括用于點擊預(yù)測的稀疏線性模型、用于排序的決策樹模型以及深入學(xué)習(xí)，滿足了最廣大的需求；重點開發(fā)的“蟲洞”項目將自動構(gòu)建深盟所有項目，為所有組件提供一致的數(shù)據(jù)流支持且提供包括Amazon EC2，Microsoft Azure, Google Compute Engine在內(nèi)的云計算平臺兼容支持，降低平臺的準入門檻。
開源并入駐Github也進一步強調(diào)了其開放的心態(tài)和對平臺的信心。一系列的動作都是希望讓開發(fā)者可以獲得更優(yōu)質(zhì)更容易使用的深入學(xué)習(xí)算法源碼，降低開發(fā)和部署深入學(xué)習(xí)系統(tǒng)及相關(guān)應(yīng)用的門檻，進而利用世界的力量壯大自身。
面對可預(yù)料的爆發(fā)，技術(shù)一定程度上漸發(fā)成熟，但也因為各自的技術(shù)基因和路線差異，面臨著極大的分裂傾向。開放的心態(tài)擁抱世界，打造機器學(xué)習(xí)領(lǐng)域的國際標準，百度的此舉既是對前期研究投入的回收保障，更是攜手籠絡(luò)友商，確保自身的話語權(quán)所在。
