深度神經(jīng)網(wǎng)絡(luò) 文章進(jìn)入深度神經(jīng)網(wǎng)絡(luò)技術(shù)社區(qū)

新型光芯片可執(zhí)行深度神經(jīng)網(wǎng)絡(luò)關(guān)鍵計(jì)算

財(cái)聯(lián)社12月3日電，2日發(fā)表在《自然·光子學(xué)》雜志上的論文稱，美國(guó)麻省理工學(xué)院科學(xué)家開發(fā)出一種全集成光芯片。它能以光學(xué)方式執(zhí)行深度神經(jīng)網(wǎng)絡(luò)所需的所有關(guān)鍵計(jì)算，為制造能實(shí)時(shí)學(xué)習(xí)的高速處理器打開了大門。這種新型光芯片能夠在不到半納秒的時(shí)間內(nèi)，完成機(jī)器學(xué)習(xí)分類任務(wù)的關(guān)鍵計(jì)算，性能與傳統(tǒng)硬件相當(dāng)。該芯片由相互連接的模塊組成，形成一個(gè)光學(xué)神經(jīng)網(wǎng)絡(luò)，并采用商業(yè)代工工藝制造，這有助于技術(shù)的擴(kuò)展和與電子產(chǎn)品集成。
關(guān)鍵字：新型光芯片深度神經(jīng)網(wǎng)絡(luò) 關(guān)鍵計(jì)算

比人腦突觸快百萬(wàn)倍！新型可編程電阻器誕生

人的大腦能夠同時(shí)學(xué)習(xí)和記憶大量信息而又不需要太多能量的能力，很多研究機(jī)構(gòu)都希望制造出類似于大腦甚至超越大腦的計(jì)算機(jī)。在人腦中，學(xué)習(xí)是由神經(jīng)元之間的連接（突觸）的增強(qiáng)和減弱而發(fā)生的。深度神經(jīng)網(wǎng)絡(luò)一直采用這種策略，實(shí)現(xiàn)模擬機(jī)器學(xué)習(xí)。美國(guó)麻省理工學(xué)院近日開發(fā)出一種由無(wú)機(jī)材料制成的電阻器，它將人工模擬突觸的運(yùn)行速度大大提高，比以前的版本快100萬(wàn)倍，也比人腦中的突觸快約100萬(wàn)倍。這些可編程電阻器不僅提高了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的速度，同時(shí)也降低了執(zhí)行訓(xùn)練所需的成本和能量，這可以幫助科學(xué)家更快地開發(fā)深度學(xué)習(xí)模型。這一技術(shù)的
關(guān)鍵字：美國(guó) 材料深度神經(jīng)網(wǎng)絡(luò)

直覺(jué)有害！Facbook最新研究：易于解釋的神經(jīng)元會(huì)誤導(dǎo)DNN的學(xué)習(xí)

　　編譯|蔣寶尚　　關(guān)于AI是什么，學(xué)界和業(yè)界已經(jīng)給出了非常多的定義，但是對(duì)于AI理解，探討尚不足。換句話說(shuō)，計(jì)算機(jī)科學(xué)家解釋深度神經(jīng)網(wǎng)絡(luò)（DNNs）的能力大大落后于我們利用其取得有用結(jié)果的能力?！　‘?dāng)前理解深度神經(jīng)網(wǎng)絡(luò)的常見做法是在單個(gè)神經(jīng)元特性上“折騰”。例如，激活識(shí)別貓圖像的神經(jīng)元，而關(guān)閉其他神經(jīng)元的“控制變量法”。這種方法的學(xué)術(shù)術(shù)語(yǔ)叫做“類選擇性”?！　∮捎谥庇^和易理解，“類選擇性”在學(xué)界廣泛應(yīng)用。誠(chéng)然，在訓(xùn)練過(guò)程中，這類可解釋的神經(jīng)元確實(shí)會(huì)“選擇性地”出現(xiàn)在各種不同任務(wù)網(wǎng)絡(luò)中。例如，預(yù)測(cè)產(chǎn)品評(píng)論
關(guān)鍵字： DNN 深度神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)

為什么深度學(xué)習(xí)如此容易被愚弄？AI研究員正努力修復(fù)神經(jīng)網(wǎng)絡(luò)缺陷

　　來(lái)源：nature　　編譯：張大筆茹、小七　　假設(shè)一輛自動(dòng)駕駛汽車看到停車標(biāo)志時(shí)并沒(méi)有減速，而是加速駛?cè)肓朔泵Φ氖致房?，從而?dǎo)致了交通事故。事故報(bào)告顯示，停車標(biāo)志的表面粘了四個(gè)小的矩形標(biāo)志。這說(shuō)明一些微小擾動(dòng)就能愚弄車載人工智能（AI），使其將“停止”一詞誤讀為“限速45”?！　∧壳?，此類事件還未發(fā)生，但是人為擾動(dòng)可能影響AI是非?，F(xiàn)實(shí)的。研究人員已經(jīng)展示了如何通過(guò)粘貼紙來(lái)欺騙AI系統(tǒng)誤讀停車標(biāo)志，或者通過(guò)在眼鏡或帽子上粘貼印刷圖案來(lái)欺騙人臉識(shí)別系統(tǒng)，又或者通過(guò)在音頻中插入白噪聲使語(yǔ)音識(shí)別系統(tǒng)產(chǎn)生錯(cuò)
關(guān)鍵字： DNN 深度神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)

DNNBrain：北師大團(tuán)隊(duì)出品的用于映射深層神經(jīng)網(wǎng)絡(luò)到大腦的工具箱

導(dǎo)讀深度神經(jīng)網(wǎng)絡(luò)(DNN)通過(guò)端到端的深度學(xué)習(xí)策略在許多具有挑戰(zhàn)性的任務(wù)上達(dá)到了人類水平的性能。深度學(xué)習(xí)產(chǎn)生了具有多層抽象層次的數(shù)據(jù)表示;然而，它沒(méi)有明確地提供任何關(guān)于DNNs內(nèi)部運(yùn)作的解釋，換句話說(shuō)它的內(nèi)部運(yùn)作是一個(gè)黑盒子。深度神經(jīng)網(wǎng)絡(luò)的成功吸引了神經(jīng)科學(xué)家，他們不僅將DNN應(yīng)用到生物神經(jīng)系統(tǒng)模型中，而且還采用了認(rèn)知神經(jīng)科學(xué)的概念和方法來(lái)理解DNN的內(nèi)部表示。盡管可以使用諸如PyTorch和TensorFlow之類的通用深度學(xué)習(xí)框架來(lái)進(jìn)行此類跨學(xué)科研究，但是使用這些框架通常需要高級(jí)編程專家和全面的數(shù)學(xué)知
關(guān)鍵字： DNN 深度神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí) 腦機(jī)接口

CNN(卷積神經(jīng)網(wǎng)絡(luò))、RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))、DNN(深度神經(jīng)網(wǎng)絡(luò))的內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)的區(qū)別

先說(shuō)DNN，從結(jié)構(gòu)上來(lái)說(shuō)他和傳統(tǒng)意義上的NN（神經(jīng)網(wǎng)絡(luò)）沒(méi)什么區(qū)別，但是神經(jīng)網(wǎng)絡(luò)發(fā)展時(shí)遇到了一些瓶頸問(wèn)題。一開始的神經(jīng)元不能表示異或運(yùn)算，科學(xué)家通過(guò)增加網(wǎng)絡(luò)層數(shù)，增加隱藏層可以表達(dá)。并發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對(duì)現(xiàn)實(shí)的表達(dá)能力。但是隨著層數(shù)的增加會(huì)出現(xiàn)局部函數(shù)越來(lái)越容易出現(xiàn)局部最優(yōu)解的現(xiàn)象，用數(shù)據(jù)訓(xùn)練深層網(wǎng)絡(luò)有時(shí)候還不如淺層網(wǎng)絡(luò)，并會(huì)出現(xiàn)梯度消失的問(wèn)題。我們經(jīng)常使用sigmoid函數(shù)作為神經(jīng)元的輸入輸出函數(shù)，在BP反向傳播梯度時(shí)，信號(hào)量為1的傳到下一層就變成0.25了，到最后面幾層基本無(wú)法達(dá)到調(diào)節(jié)參數(shù)
關(guān)鍵字： DNN 深度神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí) CNN RNN

深度神經(jīng)網(wǎng)絡(luò)（DNN）模型與前向傳播算法

　　深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，以下簡(jiǎn)稱DNN）是深度學(xué)習(xí)的基礎(chǔ)，而要理解DNN，首先我們要理解DNN模型，下面我們就對(duì)DNN的模型與前向傳播算法做一個(gè)總結(jié)?！　?.從感知機(jī)到神經(jīng)網(wǎng)絡(luò)　　在感知機(jī)原理小結(jié)中，我們介紹過(guò)感知機(jī)的模型，它是一個(gè)有若干輸入和一個(gè)輸出的模型，如下圖:　　輸出和輸入之間學(xué)習(xí)到一個(gè)線性關(guān)系，得到中間輸出結(jié)果：　　z=∑i=1mwixi+bz=∑i=1mwixi+b　　接著是一個(gè)神經(jīng)元激活函數(shù):　　sign(z)={?11z<0z≥0sign(z)={
關(guān)鍵字： DNN 深度神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)

什么是DNN？它對(duì)AI發(fā)展意味著什么

為了讓AI加速器在最短延遲內(nèi)達(dá)到最佳精準(zhǔn)度，特別是在自動(dòng)駕駛車中，TFLOP已經(jīng)成為許多所謂大腦芯片的關(guān)鍵指針，然而，有專家認(rèn)為這種野蠻處理方式并不可持續(xù)…… 為了讓人工智能(AI)加速器在最短延遲內(nèi)達(dá)到最佳精準(zhǔn)度，特別是在自動(dòng)駕駛車(AV)中，TFLOP(兆次浮點(diǎn)運(yùn)算)已經(jīng)成為許多所謂大腦芯片的關(guān)鍵指針。這場(chǎng)競(jìng)賽的選手包括Nvidia的Xavier、Mobileye的EyeQ5、特斯拉(Tesla)的全自動(dòng)駕駛(FSD)計(jì)算機(jī)芯片，以及NXP-Kalray芯片。然而，有專家認(rèn)為這種野蠻處理方式
關(guān)鍵字： DNN 深度神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)

深度學(xué)習(xí)干貨｜基于Tensorflow深度神經(jīng)網(wǎng)絡(luò)(DNN)詳解

深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks，簡(jiǎn)稱DNN)是深度學(xué)習(xí)的基礎(chǔ)，想要學(xué)好深度學(xué)習(xí)，首先我們要理解DNN模型。DNN的基本結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)是基于感知機(jī)的擴(kuò)展，而DNN可以理解為有很多隱藏層的神經(jīng)網(wǎng)絡(luò)。多層神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)DNN其實(shí)也基本一樣，DNN也叫做多層感知機(jī)(MLP)。DNN按不同層的位置劃分，神經(jīng)網(wǎng)絡(luò)層可以分為三類，輸入層，隱藏層和輸出層，如下圖示例，一般來(lái)說(shuō)第一層是輸入層，最后一層是輸出層，而中間的層數(shù)都是隱藏層。網(wǎng)絡(luò)結(jié)構(gòu)層與層之間是全連接的，也就是說(shuō)，第i層的任意一個(gè)神經(jīng)
關(guān)鍵字： DNN 深度神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)

特斯拉收購(gòu)初創(chuàng)公司專注自動(dòng)駕駛“深度神經(jīng)網(wǎng)絡(luò)”

據(jù)外媒報(bào)道，特斯拉收購(gòu)計(jì)算機(jī)視覺(jué)初創(chuàng)公司DeepScale的交易開始收獲回報(bào)，通過(guò)收購(gòu)?fù)暾麍F(tuán)隊(duì)開始為這家電動(dòng)汽車制造商提供新的專利。
關(guān)鍵字：特斯拉 “深度神經(jīng)網(wǎng)絡(luò)” 自動(dòng)駕駛

IBM的8位浮點(diǎn)精度深度神經(jīng)網(wǎng)絡(luò)模型解析

　　在12月初舉辦的NeurIPS會(huì)議上，IBM展示了一款新型人工智能芯片?！　BM的研究人員聲稱，他們已開發(fā)出一個(gè)更加高效的模型用于處理神經(jīng)網(wǎng)絡(luò)，該模型只需使用8位浮點(diǎn)精度進(jìn)行訓(xùn)練，推理(inferencing)時(shí)更是僅需4位浮點(diǎn)精度。該研究的成果已于2018年12月初在國(guó)際電子元件會(huì)議(International Electron Devices Meeting，IEDM)和神經(jīng)信息處理系統(tǒng)大會(huì)(Conference on NeuralInformation Processing Syste
關(guān)鍵字： IBM 深度神經(jīng)網(wǎng)絡(luò)

人類和DNN的目標(biāo)識(shí)別穩(wěn)健性比較

　　深度神經(jīng)網(wǎng)絡(luò)在很多任務(wù)上都已取得了媲美乃至超越人類的表現(xiàn)，但其泛化能力仍遠(yuǎn)不及人類。德國(guó)蒂賓根大學(xué)等多所機(jī)構(gòu)近期的一篇論文對(duì)人類和 DNN 的目標(biāo)識(shí)別穩(wěn)健性進(jìn)行了行為比較，并得到了一些有趣的見解。機(jī)器之心對(duì)該論文進(jìn)行了編譯介紹?！　≌　∥覀兺ㄟ^(guò) 12 種不同類型的圖像劣化(image degradation)方法，比較了人類與當(dāng)前的卷積式深度神經(jīng)網(wǎng)絡(luò)(DNN)在目標(biāo)識(shí)別上的穩(wěn)健性。首先，對(duì)比三種著名的 DNN(ResNet-152、VGG-19、GoogLeNet)，我們發(fā)現(xiàn)不管對(duì)圖像進(jìn)行怎樣的操
關(guān)鍵字： DNN 深度神經(jīng)網(wǎng)絡(luò)

人工智能與語(yǔ)音識(shí)別技術(shù)

隨著深度神經(jīng)網(wǎng)絡(luò)在大規(guī)模語(yǔ)音識(shí)別任務(wù)上獲得顯著效果提升，大數(shù)據(jù)的不斷完善和漣漪效應(yīng)的提出，在近十年，中國(guó)的人工智能也得到了快速發(fā)展。作為國(guó)內(nèi)智能語(yǔ)音與人工智能產(chǎn)業(yè)領(lǐng)導(dǎo)者的科大訊飛率先將遞歸神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到真實(shí)在線系統(tǒng)中，并提出了全新的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)FSMN——訊飛構(gòu)型。
關(guān)鍵字：深度神經(jīng)網(wǎng)絡(luò) 遞歸神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò) 訊飛構(gòu)型 201604

共13條 1/1 1

深度神經(jīng)網(wǎng)絡(luò)介紹

您好，目前還沒(méi)有人創(chuàng)建詞條深度神經(jīng)網(wǎng)絡(luò)!
歡迎您創(chuàng)建該詞條，闡述對(duì)深度神經(jīng)網(wǎng)絡(luò)的理解，并與今后在此搜索深度神經(jīng)網(wǎng)絡(luò)的朋友們分享。創(chuàng)建詞條

深度神經(jīng)網(wǎng)絡(luò) 文章 進(jìn)入深度神經(jīng)網(wǎng)絡(luò)技術(shù)社區(qū)

深度神經(jīng)網(wǎng)絡(luò)介紹

熱門主題

深度神經(jīng)網(wǎng)絡(luò) 文章進(jìn)入深度神經(jīng)網(wǎng)絡(luò)技術(shù)社區(qū)