傳感器 動作識別：【歡芯？培訓(xùn)】碳化硅半導(dǎo)體技術(shù)精英課程火熱報名
作者：DIGITIMES陳明陽
韓國科學(xué)技術(shù)院(KAIST)計算機科學(xué)系的Sungho Jo教授與首爾國立大學(xué)的Seunghwan Ko教授領(lǐng)導(dǎo)的研究團隊開發(fā)配戴在手腕、基于深度學(xué)習(xí)的單股電子皮膚傳感器貼片，可隔空實時監(jiān)測與譯碼人類5根手指的復(fù)雜動作。
研究團隊指出他們的系統(tǒng)可擴展適用于人體其他部分，目前已能從骨盆位置監(jiān)測步態(tài)動作，未來人體只需部署小型傳感器網(wǎng)便能追蹤全身動作，將可實現(xiàn)從遠端間接衡量人體動作，并應(yīng)用于穿戴式擴增實境(AR)與虛擬實境(VR)系統(tǒng)，更可望成為健康監(jiān)測、動作追蹤、軟性機器人發(fā)展的轉(zhuǎn)折點。
傳統(tǒng)動作監(jiān)測須部署多個傳感器網(wǎng)完整涵蓋目標(biāo)區(qū)的曲線表面，新的皮膚傳感器使用經(jīng)快速情境學(xué)習(xí)(RSL)強化的深度神經(jīng)網(wǎng)絡(luò)，確保無論置于皮膚表層任何位置都能穩(wěn)定運作。此外新皮膚傳感器的建構(gòu)以鐳射取代傳統(tǒng)基于晶圓的制作方式，可望成為動作追蹤感測的新典范。
RSL從手腕的任意位置收集手部動作數(shù)據(jù)，再據(jù)以自動訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，并能實時以虛擬的3D手部影像，在熒幕上同步模擬展示識別到的原始手指動作。研究團隊設(shè)計的新感測系統(tǒng)，透過運用鐳射在金屬薄膜上引發(fā)納米級粒子裂縫的方式，來提升傳感器的靈敏度，并支援感測與分辨多手指動作所產(chǎn)生的訊號。
研究團隊發(fā)現(xiàn)在部署傳感器監(jiān)測多支手指動作時，選定單一區(qū)域會比在每一塊關(guān)節(jié)與肌肉上配置個別傳感器更有效率，因此成功的關(guān)鍵首先是將皮膚傳感器部署于每支手指的動作訊號共同匯聚的單一區(qū)域，再從混雜的訊號中區(qū)分出個別手指的動作數(shù)據(jù)。此外并采用單通道傳感器監(jiān)測復(fù)雜的手部動作，以極大化使用者手指的可用性與活動性。
研究團隊表示開發(fā)新的皮膚傳感器主要聚焦于2項工作，首先是分析傳感器收集到的訊號模式，以獲得含有時間性傳感器行為的隱性空間；接著則是將隱性矢量對應(yīng)到手指動作的度量空間，以實時、正確識別個別手指的動作。
舉報/反饋
傳感器 動作識別：一種識別揮手動作的傳感器的制作方法
本發(fā)明涉及一種傳感器，更具體地說是指一種識別揮手動作的傳感器。
背景技術(shù)：
隨著經(jīng)濟和技術(shù)的發(fā)展，尤其是智能化的普及，智能家居解決方案應(yīng)運而生，智能家居是又物聯(lián)網(wǎng)應(yīng)用實例，目前5g開始布局，未來是物聯(lián)網(wǎng)的世界，物聯(lián)網(wǎng)用得最多的就是傳感器，在智能家居方案里有紅外探頭、可燃氣體探測器、煙霧探測器、門磁、窗磁、智能遙控器、語音遙控等，語音遙控近兩年興起的熱門技術(shù)，搜索語音遙控相關(guān)的專利有300項之多。語音遙控的優(yōu)點是非常智能，缺點都要求非常高的計算能力，所以付出成本相當(dāng)高。
對于很多家電來說，控制就是很簡單的動作：開和關(guān)，比如空調(diào)開和關(guān)，照明燈的開和關(guān)等，另外在人活動不方便的場合，比如醫(yī)院，本發(fā)明使病人很方便呼叫服務(wù)。因此本發(fā)明就是發(fā)明一種傳感器，用一種算法只檢測揮揮手的動作，對揮揮手產(chǎn)生信號，而人動無信號。成本低又簡單的一種輸入傳感器，以滿足智能家居、醫(yī)院等的需求。
技術(shù)實現(xiàn)要素：
本發(fā)明提供一種識別揮手動作的傳感器。
為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：
一種識別揮手動作的傳感器，包括人和手，超聲波發(fā)射和接收傳感器，處理器芯片，超聲波發(fā)射電路模塊，超聲波接收信號處理模塊，聯(lián)接主設(shè)備模塊，電源模塊;超聲波發(fā)射電路模塊和超聲波發(fā)射傳感器相連;超聲波接收傳感器和超聲波接收信號處理模塊相連接；處理器芯片和超聲波發(fā)射電路模塊、超聲波接收信號處理模塊、聯(lián)接主設(shè)備模塊、電源模塊相連接。
更進一步地，遙控信號是人的揮手動作，不需要其它任何實物。
更進一步地，所述的超聲波發(fā)射和接收傳感器，發(fā)射和接收傳感器安裝在同一面并相距一定間隔，盡最大可能接收從發(fā)射傳感器人體反射回來的信號。
更進一步地，其特征在于，所述的處理器芯片，控制超聲波的信號發(fā)射，通過內(nèi)部ad采樣超聲波接收信號處理模塊的信號后，分析信號幅度、頻率、揮手動作特征信號，綜合距離等因素運算并識別出揮揮手的動作，區(qū)分人體運動的動作，只對揮揮手動作產(chǎn)生反應(yīng)；微處理器芯片把成功識別后的揮揮手動作傳送到主設(shè)備；處理器芯片對裝置的電源進行管理，減少功耗，獲得足夠長的使用時間。
更進一步地，所述的超聲波接收信號處理模塊，包括信號放大、整流整流后分高頻和低頻兩路帶通濾波器濾波，濾波加放大后給微處理器芯片運算并分析出揮手的動作,帶通濾波器可以是模擬濾波器或者數(shù)字濾波器。
更進一步地，所述的電源模塊，由聯(lián)接主設(shè)備模塊提供的低壓電源升壓，升壓的電壓給超聲波發(fā)射供電，也可由主設(shè)備模塊直接提供高壓電源，保證發(fā)射功率，使遙控距離足夠遠。
更進一步地，聯(lián)接主設(shè)備模塊包括有線和無線連接，有線可以通過串口、i2c等方式與主設(shè)備連接，無線包括紅外，藍牙、2.4g、wifi、433m與315m及5g等物聯(lián)網(wǎng)的無線通信方式，實現(xiàn)揮揮手的感應(yīng)動作傳送給主設(shè)備的目的，聯(lián)接主設(shè)備模塊提供工作電源。
一種識別揮手動作的傳感器，還包括人體熱釋電紅外傳感器，感應(yīng)人體紅外信號，當(dāng)人在時，傳感器裝置，人不在時，傳感器休眠，大大節(jié)省功耗。
下面結(jié)合附圖和具體實施例對本發(fā)明作進一步描述。
附圖說明
圖1為本發(fā)明一種識別揮手動作的傳感器的方框圖。
圖2為本發(fā)明的揮手識別流程圖
圖3、圖4、圖5為本發(fā)明一種識別揮手動作的傳感器實施例的原理圖。
附圖標(biāo)記
u4處理器芯片
u1運放1
u2運放2
u6升壓ic
q4三極管
q7n溝道m(xù)os管
q9p溝道m(xù)os管
sl1接收傳感器
sl2發(fā)射傳感器
j2主機接口。
具體實施方式
為了更充分理解本發(fā)明的技術(shù)內(nèi)容，下面結(jié)合具體實施例對本發(fā)明的技術(shù)方案進一步介紹和說明，但不局限于此。
如圖3、圖4、圖5所示，本發(fā)明一種識別揮手動作的傳感器，包括超聲波發(fā)射傳感器sl2和超聲波接收傳感器sl1，處理器芯片u4，超聲波發(fā)射電路模塊由q4、q7、q9組成，由升壓icu6提供高壓電壓，超聲波接收信號處理模塊由u1、u2組成。
超聲波發(fā)射傳感器sl2由u6產(chǎn)生的高壓電壓發(fā)射強超聲信號，由超聲波接收傳感器sl1接收信號后由運放u2放大并整流，一路經(jīng)帶通濾波連接到處理器芯片u4，一路經(jīng)u1帶通濾波器連接到微處理器u4，微處理器u4通過內(nèi)部ad采樣超聲波接收信號處理模塊的信號后，分析信號幅度和頻率，綜合距離等按圖二流程運算并識別出揮揮手的動作，區(qū)分人體運動的動作，揮揮手動作識別正確后由主機接口發(fā)送到主設(shè)備接收。
在其它實施例中，u1u2也可數(shù)字濾波器來實現(xiàn)。
綜上所述，本發(fā)明一種識別揮手動作的傳感器，通過對反射回來的超聲波的信號處理識別揮揮手的信號特征，區(qū)分和人體運動特征，從而只對揮揮手產(chǎn)生信號，對物聯(lián)網(wǎng)提供非常實用的傳感器。
上述僅以實施例來進一步說明本發(fā)明的技術(shù)內(nèi)容，以便于讀者更容易理解，但不代表本發(fā)明的實施方式僅限于此，任何依本發(fā)明所做的技術(shù)延伸或再創(chuàng)造，均受本發(fā)明的保護。本發(fā)明的保護范圍以權(quán)利要求書為準(zhǔn)。
技術(shù)特征：
技術(shù)總結(jié)
本發(fā)明公開了一種識別揮手動作的傳感器，包括人和手，超聲波發(fā)射和接收傳感器，處理器芯片，超聲波發(fā)射電路模塊，超聲波接收信號處理模塊，聯(lián)接主設(shè)備模塊，電源模塊;超聲波發(fā)射電路模塊和超聲波發(fā)射傳感器相連;超聲波接收傳感器和超聲波接收信號處理模塊相連接；處理器芯片和超聲波發(fā)射電路模塊、超聲波接收信號處理模塊、聯(lián)接主設(shè)備模塊、電源模塊相連接。本發(fā)明發(fā)明了一種傳感器，這種傳感器只識別揮手的動作，而人動無反應(yīng)，作為智能設(shè)備的輸入，可以實現(xiàn)遙控照明燈、空調(diào)、開關(guān)、插座、窗簾、醫(yī)院的病人呼叫信號等，可以實現(xiàn)一種低成本的無實體遙控器的遙控裝置，很適合物聯(lián)網(wǎng)的需求。
技術(shù)研發(fā)人員：劉曙生
受保護的技術(shù)使用者：深圳市空中秀科技有限公司
技術(shù)研發(fā)日：2019.05.10
技術(shù)公布日：2019.08.02
傳感器 動作識別：基于IndRNN的手機傳感器動作識別
基于IndRNN的手機傳感器動作識別
近日，來自山東大學(xué)和電子科技大學(xué)的研究者提出了基于IndRNN模型利用手機傳感器實現(xiàn)動作識別的網(wǎng)絡(luò)，該模型解決了現(xiàn)有RNN模型的梯度消失和梯度爆炸問題，一定程度上實現(xiàn)了動作識別的用戶獨立性，同時在2020年的SHL(Sussex-Huawei)移動挑戰(zhàn)賽中取得了亞軍。相比于冠軍采用的混合模型和其他團隊采用的半監(jiān)督學(xué)習(xí)等方法，IndRNN僅憑借單一模型，在未知數(shù)據(jù)上預(yù)測的標(biāo)簽的準(zhǔn)確率位列第二名，展示出了模型的優(yōu)良性能。
SHL Challenge論文
IndRNN (Independently Recurrent Neural Network)
IndRNN在2018年被提出之后，在圖像分類、視頻編碼、基于骨骼節(jié)點的動作識別等任務(wù)上都表現(xiàn)優(yōu)異。我們利用IndRNN作為基本模型，研究基于手機傳感器數(shù)據(jù)的動作識別，取得同領(lǐng)域較高準(zhǔn)確率，再次證明了IndRNN模型的性能的優(yōu)越性。之所以選取IndRNN，是因為它具有以下優(yōu)勢：
與傳統(tǒng)RNN或常用的LSTM或GRU相比，更大程度解決了梯度消失和梯度爆炸問題可以與非飽和激活函數(shù)，如ReLU一起工作，并且仍然可以被嚴(yán)格訓(xùn)練可以構(gòu)建比現(xiàn)有RNN更深層次的網(wǎng)絡(luò)減少每步的計算量比普遍使用的LSTM計算速度快10倍以上
形式：
簡單RNN：
h
t
=
σ
(
W
x
t
+
U
h
t
?
1
+
b
)
egin{aligned} oldsymbol{h}_{t}=sigmaleft(oldsymbol{W} oldsymbol{x}_{t}+ extcolor{#ff0000}{Uoldsymbol{h}_{t-1}}+oldsymbol{b}
ight) end{aligned}
ht?=σ(Wxt?+Uht?1?+b)?
IndRNN：
h
t
=
σ
(
W
x
t
+
u
⊙
h
t
?
1
+
b
)
egin{aligned} oldsymbol{h}_{t}=sigmaleft(oldsymbol{W} oldsymbol{x}_{t}+ extcolor{#ff0000}{uodot oldsymbol{h}_{t-1}}+oldsymbol{b}
ight) end{aligned}
ht?=σ(Wxt?+u⊙ht?1?+b)?
可以看到，簡單RNN和LSTM 隱藏層計算公式紅色的部分是對遞歸輸入進行權(quán)值乘法處理。這使得神經(jīng)元相互依賴或相互糾纏，因此很難解釋每個神經(jīng)元的活動。而IndRNN使用element-wise（按位相乘）處理循環(huán)的輸入或以前的隱藏狀態(tài)，使神經(jīng)元是相互獨立。對于第n個神經(jīng)元，對遞歸輸入的處理是一個標(biāo)量乘法。
下圖展示了RNN和IndRNN之間的區(qū)別。在RNN中，由于遞歸權(quán)矩陣的存在，神經(jīng)元相互糾纏，而在IndRNN中，神經(jīng)元仍然是獨立的，然后在下一層進行融合。
RNN與IndRNN神經(jīng)元連接方式的對比，左圖為RNN，右圖為IndRNN，圖片來自于S. Li, W. Li and C. Cook and Y. Gao. 2019. Deep Independently Recurrent Neural Network (IndRNN). arXiv.cs.CV1910..
由于我們的模型可以通過ReLU進行魯棒的訓(xùn)練，可以將它們堆疊在一起構(gòu)建深層結(jié)構(gòu)的網(wǎng)絡(luò)或者構(gòu)建殘差神經(jīng)網(wǎng)絡(luò)（Residual Neural Network）和密集神經(jīng)網(wǎng)絡(luò)(Dense Nerual Network)。可以像在CNN中同樣地使用批量歸一化（Batch Normalization）。它還可以擴展為卷積形式，其中使用卷積操作處理輸入。傳統(tǒng)上，RNN被理解為隨時間推移的多層神經(jīng)網(wǎng)絡(luò)（MLP），其中參數(shù)隨時間推移而共享。在這里，IndRNN展示了一個新的視角，即使用輸入權(quán)值和循環(huán)權(quán)值隨著時間的推移獨立地聚合空間模式。
Longer and Deeper RNN - IndRNN，圖片來自于S. Li, W. Li, C. Cook and Y. Gao. 2019. Deep Independently Recurrent Neural Network (IndRNN). arXiv.cs.CV1910..
任務(wù)描述
近年來隨著可穿戴設(shè)備的發(fā)展，利用其中的傳感器數(shù)據(jù)進行動作識別的領(lǐng)域越來越熱門。在最近幾年發(fā)表的論文中，在現(xiàn)有比較常用的手機傳感器數(shù)據(jù)集上已經(jīng)實現(xiàn)了較高的準(zhǔn)確率。然而在廣為人知的數(shù)據(jù)集中，幾乎都將多名用戶的數(shù)據(jù)混合，且忽略了手機在用戶身上放置位置對于準(zhǔn)確率的影響。
SHL數(shù)據(jù)集填充了數(shù)據(jù)集在上述方面的空白，為利用機器學(xué)習(xí)從手機傳感器中識別用戶的移動和運輸方式的方向提出了新的研究問題與挑戰(zhàn)。
SHL數(shù)據(jù)集視頻介紹
首先，我們對SHL數(shù)據(jù)集進行簡單介紹，利用3名用戶（用戶1、用戶2和用戶3）放在身體四個部位（手、胸前、臀部、背包）的數(shù)據(jù)安卓手機中的7個傳感器提供的20軸的數(shù)據(jù)實現(xiàn)8種動作分類問題（靜止、走、跑、騎自行車、乘坐公交車、乘坐汽車、乘坐火車及乘坐地鐵，分別標(biāo)記為1-8），其中不僅有人自發(fā)的運動，還包含了機械驅(qū)動的運動，為識別增添了挑戰(zhàn)。
傳感器類別及介紹如下：
加速度計（Accelerometer）: x, y, z in m/s2陀螺儀（Gyroscope）: x, y, z in rad/s磁力計（Magnetometer）: x, y, z in μT四分儀（Orientation）: quaternions in the form of w, x, y, z vector重力計（Gravity）: x, y, z in m/s2線性加速度計（Linear acceleration）: x, y, z in m/s2壓力計（Pressure）：Ambient pressure in hPa
該研究主要側(cè)重于實現(xiàn)利用手機傳感器實現(xiàn)動作識別過程中的用戶獨立性。數(shù)據(jù)集分為訓(xùn)練集、驗證集及測試集，分別包含59天、6天和40天的數(shù)據(jù)（由數(shù)據(jù)集大小可以看出提供的每天的數(shù)據(jù)的時間長度不同）。所有數(shù)據(jù)被分割為5s的窗口，采樣率為100Hz。為了探索實現(xiàn)用戶獨立性的方法，在集合的用戶分配上，訓(xùn)練集和驗證集僅包含了用戶1的四個位置數(shù)據(jù)，驗證集包含用戶2和3的四個位置的數(shù)據(jù)，而測試集僅包含用戶2和3四個位置之一的數(shù)據(jù)（位置未知）。此外，為了實現(xiàn)分類的實時性，窗口被打亂，且保證了相鄰兩幀在時間上不連續(xù)。
盡管在利用手機傳感器數(shù)據(jù)進行動作識別的領(lǐng)域已經(jīng)取得了不錯的成果，該任務(wù)提出了在實際生活場景中進一步細化的問題-如何實現(xiàn)用戶的獨立性，即在利用與預(yù)測數(shù)據(jù)來源不匹配的數(shù)據(jù)訓(xùn)練模型，如何在預(yù)測數(shù)據(jù)上獲得更高的準(zhǔn)確率？該任務(wù)的難點可以解釋為以下問題：
不同用戶的影響：不同用戶由于運動量與生活習(xí)慣存在差異，放置在其身上的手機收集到的傳感器數(shù)據(jù)也會有所不同。訓(xùn)練集來源于用戶1，而測試集和驗證集的數(shù)據(jù)來源于用戶2和3的混合數(shù)據(jù)，如何盡量消除差異，使預(yù)測時的準(zhǔn)確率與訓(xùn)練時的準(zhǔn)確率盡量接近？
三名用戶的數(shù)據(jù)標(biāo)簽組成，可以看出有明顯差異，圖片來自H. Gjoreski, M. Ciliberto, L. Wang, F. J. O. Morales, S. Mekki, S. Valentin, D. Roggen. “The University of Sussex-Huawei Locomotion and Transportation Dataset for Multimodal Analytics with Mobile Devices.” IEEE Access 6 (2018): -.
位置的影響：由提供的數(shù)據(jù)集可知，測試集來源于用戶3的一個未知的位置，而訓(xùn)練集和驗證集都包含了所有的位置。因此，應(yīng)如何對于訓(xùn)練集和驗證集數(shù)據(jù)進行選取？
手機放置的位置及數(shù)據(jù)收集的界面，圖片來自H. Gjoreski, M. Ciliberto, L. Wang, F. J. O. Morales, S. Mekki, S. Valentin, D. Roggen. “The University of Sussex-Huawei Locomotion and Transportation Dataset for Multimodal Analytics with Mobile Devices.” IEEE Access 6 (2018): -.
技術(shù)方案
預(yù)處理
數(shù)據(jù)分割（Segmentation）
首先，為了使我們的模型充分學(xué)習(xí)到長時和短時特征，我們對所給窗口進行了進一步的分割。將5s的窗口分割為21個1s的窗口，重疊率為80%。
分割圖示，圖片來源于L. Zheng, S. Li, Y. Gao, “Application of IndRNN for Human Activity Recognition-The Sussex-Huawei Locomotion-Transportation Challenge”
去旋轉(zhuǎn)化（De-rotation）
鑒于數(shù)據(jù)采集于手機傳感器，采用的坐標(biāo)為手機自身的三軸坐標(biāo)系，不僅包含了用戶運動造成的數(shù)據(jù)變化，還包括了手機自身翻轉(zhuǎn)等運動造成的數(shù)據(jù)變化。因此，把手機坐標(biāo)系中的數(shù)據(jù)轉(zhuǎn)移到地球坐標(biāo)系是很有必要的。經(jīng)過調(diào)研，加速度計和陀螺儀受影響較大，參考了安卓手機轉(zhuǎn)換坐標(biāo)系常用方法，我們這兩個坐標(biāo)系中的數(shù)據(jù)轉(zhuǎn)換到北天東（NED）坐標(biāo)系。具體操作為利用四分儀構(gòu)建轉(zhuǎn)換矩陣，將待轉(zhuǎn)換的三軸坐標(biāo)系數(shù)據(jù)與旋轉(zhuǎn)矩陣
R
N
B
R_{N B}
RNB?相乘，得到轉(zhuǎn)換后的坐標(biāo)。
R
N
B
=
[
1
?
2
(
q
y
2
+
q
z
2
)
2
(
q
x
q
y
?
q
w
q
z
)
2
(
q
x
q
z
+
q
w
q
y
)
2
(
q
x
q
y
+
q
w
q
z
)
1
?
2
(
q
x
2
+
q
z
2
)
2
(
q
y
q
z
?
q
w
q
x
)
2
(
q
x
q
z
?
q
w
q
y
)
2
(
q
y
q
z
+
q
w
q
x
)
1
?
2
(
q
x
2
+
q
y
2
)
]
egin{aligned} R_{N B}=left[egin{array}{ccc}1-2left(q_{y}^{2}+q_{z}^{2}
ight) & 2left(q_{x} q_{y}-q_{w} q_{z}
ight) & 2left(q_{x} q_{z}+q_{w} q_{y}
ight) 2left(q_{x} q_{y}+q_{w} q_{z}
ight) & 1-2left(q_{x}^{2}+q_{z}^{2}
ight) & 2left(q_{y} q_{z}-q_{w} q_{x}
ight) 2left(q_{x} q_{z}-q_{w} q_{y}
ight) & 2left(q_{y} q_{z}+q_{w} q_{x}
ight) & 1-2left(q_{x}^{2}+q_{y}^{2}
ight)end{array}
ight] end{aligned}
RNB?=?1?2(qy2?+qz2?)2(qx?qy?+qw?qz?)2(qx?qzqw?qy?)?2(qx?qyqw?qz?)1?2(qx2?+qz2?)2(qy?qz?+qw?qx?)?2(qx?qz?+qw?qy?)2(qy?qzqw?qx?)1?2(qx2?+qy2?)?
[
x
y
z
]
N
=
R
N
B
[
x
y
z
]
B
egin{aligned} left[egin{array}{l}x y zend{array}
ight]_{N}=R_{N B}left[egin{array}{l}x y zend{array}
ight]_{B} end{aligned}
?xyzN?=RNBxyzB
特征提取（Feature Extraction）
在將數(shù)據(jù)輸入網(wǎng)絡(luò)學(xué)習(xí)特征前，我們手動提取了一些重要的時域特征，如下表所示。由于智能手機傳感器采集的信號具有很強的周期性，F(xiàn)FT幅度譜是提取這些信號一般短時特征的合適選擇。由于幅度譜的對稱性，F(xiàn)FT變化之后的信號只需保留一半。
提取FFT幅度譜，圖片來源于L. Zheng, S. Li, Y. Gao, “Application of IndRNN for Human Activity Recognition-The Sussex-Huawei Locomotion-Transportation Challenge”
Time Domain FeaturesNumbers of parametersDescriptionMean9The average value of the data for each axis in the windowNumbers above Mean9The numbers of values above the mean of the windowNumbers below Mean9The numbers of values below the mean of the windowStandard Deviation9Standard deviation of each axis in the windowVariance9The square of the standard deviation of each axis in the windowMinimum Value9The minimum value of the data for each axis in the windowMaximum Value9The maximum value of the data for each axis in the windowSkewness9The degree of distortion of each axis from the symmetrical bell curve in the windowKurtosis9The weight of the distribution tails for each axis in the windowPer Sample Normalized Pressure1The normalized pressure of each sampleEnergy9The area under the squared magnitude of each axis in the window
然而，通過觀察不同標(biāo)簽的FFT幅度譜，我們發(fā)現(xiàn)還是有些差異，于是又提取了FFT幅度譜的一些統(tǒng)計特征。
Frequency Domain (FFT) FeaturesNumbers of ParametersDescriptionMean9The average value of the FFT componentsStandard Deviation9Standard deviation of FFT componentsEnergy9The sum of the square of FFT components
特征提取的整體流程圖如下
最終，我們選取了其中在預(yù)訓(xùn)練中表現(xiàn)較好的特征（表中加粗標(biāo)記），將其拼接確定為正式訓(xùn)練所用的特征。
位置識別（Location Recognition）
為了消除測試集位置未知對結(jié)果的影響，我們提出了在訓(xùn)練前事先訓(xùn)練位置的想法，即根據(jù)位置賦予數(shù)據(jù)全新的標(biāo)-Bag標(biāo)記為1，Hips標(biāo)記為2，Torso標(biāo)記為3，Hand標(biāo)記為4，將提取到的特征輸入我們的網(wǎng)絡(luò)（下文講解）先構(gòu)建一個位置預(yù)測模型。混淆矩陣如下。
雖然不能完全將四種位置分辨清楚，但有趣的是，若將Bag和Hand結(jié)合，Hips和Torso結(jié)合，可以得到準(zhǔn)確率大于99%的混淆矩陣。
我們用得到的模型去預(yù)測測試集的數(shù)據(jù)，得到的結(jié)果顯示測試集屬于Hips+Torso的組合。后續(xù)位置預(yù)測實驗中，我們觀察到特定位置的數(shù)據(jù)作為訓(xùn)練集時沒有所有位置作為訓(xùn)練集表現(xiàn)好，且不論用Torso還是Hips驗證，對于最終得到的模型沒有區(qū)別，所以即使沒有確定具體位置，并不影響訓(xùn)練結(jié)果。
Dense IndRNN模型
針對上述具體任務(wù)，我們使用的是Dense IndRNN結(jié)構(gòu)。訓(xùn)練流程圖如下
訓(xùn)練中具體的參數(shù)可參考我們的比賽論文。
后處理
因為訓(xùn)練集由用戶1的數(shù)據(jù)構(gòu)成，而測試集由用戶2和3的數(shù)據(jù)構(gòu)成，為了盡可能實現(xiàn)用戶獨立性，我們引入了遷移學(xué)習(xí)（Transfer Learning），即將一部分驗證集的數(shù)據(jù)輸入先前的網(wǎng)絡(luò)繼續(xù)訓(xùn)練對模型進行微調(diào)，另一部分用來驗證。常用的遷移學(xué)習(xí)將數(shù)據(jù)一分為二，一半用作訓(xùn)練，另一半驗證。
在實驗中，我們發(fā)現(xiàn)驗證集的標(biāo)簽有分布不均的問題。參考了數(shù)據(jù)集構(gòu)建者的描述，受限制于驗證集的大小，數(shù)據(jù)收集的過程會造成此問題。
因此，我們首先將按照標(biāo)簽將數(shù)據(jù)進行分組，在相同比例的位置進行切割，再將數(shù)據(jù)進行拼接。然而，受限制于驗證集的大小，當(dāng)我們分別用前一半或后一半數(shù)據(jù)訓(xùn)練，另一半數(shù)據(jù)驗證的時候，準(zhǔn)確率相差較大。為了平衡準(zhǔn)確率，也為了充分利用驗證集數(shù)據(jù)，于是我們提出了構(gòu)建兩個遷移學(xué)習(xí)的模型，在最終預(yù)測測試集數(shù)據(jù)時將兩個模型進行融合，得到最終預(yù)測結(jié)果。
結(jié)果：
在遷移學(xué)習(xí)之前，我們的模型在驗證集上達到了81.58%的準(zhǔn)確率。由表可看出，與CNN類似，Dense結(jié)構(gòu)比直接每層相連表現(xiàn)更好。
遷移學(xué)習(xí)和模型融合之后，模型的準(zhǔn)確率上升了超過5%的準(zhǔn)確率，證明用戶的遷移學(xué)習(xí)對于消除利用手機傳感器數(shù)據(jù)進行動作識別任務(wù)中的用戶依賴性有作用。
UbiComp SHL Challenge 2020 的結(jié)果在6月25日截止提交，根據(jù)評價指標(biāo)F1-score排名。比賽的前三名于9月舉行的UbiComp 2020的HASCA workshop揭曉。IndRNN在測試集上F1-score達到79.0%，摘得挑戰(zhàn)賽亞軍，展示出了所構(gòu)建模型的優(yōu)良性能。
挑戰(zhàn)賽官網(wǎng)：
思考
一個容易被忽視的問題：學(xué)習(xí)率過小導(dǎo)致的過擬合
最終結(jié)果顯示我們的模型表現(xiàn)出了過擬合，我們猜想是選取的學(xué)習(xí)率過小，導(dǎo)致在訓(xùn)練集和驗證集上顯示的準(zhǔn)確率高于測試集。一般人們認為學(xué)習(xí)率只是在梯度下降過程中訓(xùn)練模型的參數(shù)，與過擬合沒有必然的聯(lián)系。而一般來說學(xué)習(xí)率足夠小的話，所得到的結(jié)果都是類似的。網(wǎng)絡(luò)上一些博客提出的防止過擬合的建議也主要集中在：
數(shù)據(jù)增強提前停止（Early stopping）增加噪聲簡化網(wǎng)絡(luò)結(jié)構(gòu)Dropout貝葉斯方法
然而，很少有人提及控制學(xué)習(xí)率的問題。猜想這是由于大部分現(xiàn)有文章的數(shù)據(jù)集是研究者進行劃分，在訓(xùn)練后，可以通過觀察最終在測試集上面預(yù)測結(jié)果選取最優(yōu)學(xué)習(xí)率。然而，真正遇到現(xiàn)實中的問題，即測試集沒有標(biāo)簽時，模型還是有可能出現(xiàn)過擬合的問題，需要研究者多積累經(jīng)驗，選取更加適合的學(xué)習(xí)率。
學(xué)習(xí)率的選取對模型Loss的影響
總結(jié)
來自電子科技大學(xué)和山東大學(xué)的團隊利用比現(xiàn)有RNN更加長且更深層次的網(wǎng)絡(luò)-IndRNN進行基于手機傳感器數(shù)據(jù)的動作識別的任務(wù)。該模型在訓(xùn)練過程中表現(xiàn)優(yōu)良，結(jié)合遷移學(xué)習(xí)和模型融合的后處理，一定程度上實現(xiàn)了利用手機傳感器數(shù)據(jù)進行動作識別的用戶獨立性。同時，IndRNN團隊摘得UbiComp SHL Challenge 2020的亞軍，再度體現(xiàn)IndRNN性能的優(yōu)越性，希望該方案對大家有參考價值。
參考文獻
[1] B. Zhao, S. Li, and Y. Gao. 2020. IndRNN based long-term temporal recognition in the spatial and frequency domain. In Adjunct Proceedings of the 2020 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2020 ACM International Symposium on Wearable Computers (UbiComp-ISWC '20). Association for Computing Machinery, New York, NY, USA, 368–372.
[2] S. Li, W. Li, C. Cook, C. Zhu, and Y. Gao. 2018. Independently Recurrent Neural Network (IndRNN): Building a Longer and Deeper Rnn. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 5457–5466.
[3] S. Li, W. Li and C. Cook and Y. Gao. 2019. Deep Independently Recurrent Neural Network (IndRNN). arXiv.cs.CV1910..
[4] L. Zheng, S. Li, C. Zhu, and Y. Gao. 2019. Application of IndRNN for human activity recognition: the Sussex-Huawei locomotion-transportation challenge. In Adjunct Proceedings of the 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019 ACM International Symposium on Wearable Computers (UbiComp/ISWC '19 Adjunct). Association for Computing Machinery, New York, NY, USA, 869–872.
[5] L. Wang, H. Gjoreski, M. Ciliberto, P. Lago, K. Murao, T. Okita,and D. Roggen. “Summary of the Sussex-Huawei locomotion-transportation recognition challenge 2020”, Proceedings of the 2020 ACM International Joint Conference and 2020 International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers, 2020.
[6] H. Gjoreski, M. Ciliberto, L. Wang, F. J. O. Morales, S. Mekki, S. Valentin, D. Roggen. “The University of Sussex-Huawei Locomotion and Transportation Dataset for Multimodal Analytics with Mobile Devices.” IEEE Access 6 (2018): -.
傳感器 動作識別：有什么傳感器可以實現(xiàn)體感手勢動作的識別？
硬創(chuàng)商城
采購服務(wù)熱線：400-830-1766
型號
描述
供應(yīng)商/品質(zhì)保證
價格（含增值稅）
SI1144-AAGX-GMR
Silicon Labs
需提供NDA保密協(xié)議后才可發(fā)貨
NDA?
Sensor
SI1144;SI1144-AAGX;SI1144-AAGX-GM系列
HRM focused module w Green LED, and algorithm
最小包裝量：2,500
2,500
世強先進（深圳）科技股份有限公司
原廠認證
世強代理
供貨保障
世強自營
一支起訂
價格￥
41.6238
現(xiàn)貨10
可售量
10
發(fā)貨地廣東
預(yù)計交期
1. 預(yù)計交期為預(yù)估時間，不含國家法定節(jié)假日，不作為訂單或合同約定內(nèi)容。
2. 受限于發(fā)貨時間和商品物流運輸時間。
3. 商品運輸過程中如遇不可抗拒力因素，如地震、水災(zāi)、旱災(zāi)、疫情等，交期可能有所延長。
預(yù)計交期?
約3個工作日
最少1
小量快購
批量詢價
交期查詢
免費樣品
期貨訂購
MLXRTF-BAA-000-SP
Melexis
新款產(chǎn)品中盡量不要使用該元件
停產(chǎn)?
3D OPTICAL SENSORS;三維光學(xué)傳感器（TOF）;Time-of-Flight Sensor Array
MLX;MLXRTF-BAA-000;MLXRTF-BAA;MLXRTF系列
Automotive ToF Sensor, without cover tape
Glass BGA Package, 44pins
最小包裝量：50
50
世強先進（深圳）科技股份有限公司
原廠認證
世強代理
世強自營
一支起訂
價格￥
278.2919
現(xiàn)貨1
可售量
1
發(fā)貨地廣東
預(yù)計交期
1. 預(yù)計交期為預(yù)估時間，不含國家法定節(jié)假日，不作為訂單或合同約定內(nèi)容。
2. 受限于發(fā)貨時間和商品物流運輸時間。
3. 商品運輸過程中如遇不可抗拒力因素，如地震、水災(zāi)、旱災(zāi)、疫情等，交期可能有所延長。
預(yù)計交期?
約3個工作日
最少1
小量快購
批量詢價
交期查詢
期貨訂購
MLXRLA-ABA-000-SP
Melexis
Time-of-Flight Companion Chip
MLXRLA-ABA-000;MLXRLA-ABA;MLXRLA;MLX系列
Automotive ToF Companion Chip
QFN
最小包裝量：10
10
世強先進（深圳）科技股份有限公司
原廠認證
世強代理
世強自營
一支起訂
價格￥
150.7894
現(xiàn)貨7
可售量
7
發(fā)貨地廣東
預(yù)計交期
1. 預(yù)計交期為預(yù)估時間，不含國家法定節(jié)假日，不作為訂單或合同約定內(nèi)容。
2. 受限于發(fā)貨時間和商品物流運輸時間。
3. 商品運輸過程中如遇不可抗拒力因素，如地震、水災(zāi)、旱災(zāi)、疫情等，交期可能有所延長。
預(yù)計交期?
約3個工作日
最少1
小量快購
批量詢價
交期查詢
免費樣品
期貨訂購
EFM8LB11F32ES0-C-QFN32R
Silicon Labs
8位MCU
EFM8 Laser Bee;EFM8LB1;EFM8;EFM8LB1x-QFN32系列
8051,72 MHz, Up to 64 kB flash,Up to 4352 bytes RAM(including 256 bytes standard 8051 RAM and 4096 bytes on-chip XRAM),8-bit Laser Bee MCU
QFN32
最小包裝量：2,500
2,500
世強先進（深圳）科技股份有限公司
原廠認證
世強代理
供貨保障
世強自營
一支起訂
價格￥
9.2361
現(xiàn)貨231,370
可售量
231,370
發(fā)貨地廣東
預(yù)計交期
1. 預(yù)計交期為預(yù)估時間，不含國家法定節(jié)假日，不作為訂單或合同約定內(nèi)容。
2. 受限于發(fā)貨時間和商品物流運輸時間。
3. 商品運輸過程中如遇不可抗拒力因素，如地震、水災(zāi)、旱災(zāi)、疫情等，交期可能有所延長。
預(yù)計交期?
約3個工作日
最少1
小量快購
批量詢價
交期查詢
免費樣品
期貨訂購
RS9116W-SB00-QMS-B2A
Silicon Labs
Connectivity SoC
RS9116系列
RS9116 n-link? and WiSeConnect? Single Chip Wi-Fi? and Dual-mode
Bluetooth? 5 Wireless Connectivity Solutions
84-QFN-7x7
最小包裝量：260
260
世強先進（深圳）科技股份有限公司
原廠認證
世強代理
供貨保障
世強自營
一支起訂
價格￥
68.3296
現(xiàn)貨225,717
可售量
225,717
發(fā)貨地廣東
預(yù)計交期
1. 預(yù)計交期為預(yù)估時間，不含國家法定節(jié)假日，不作為訂單或合同約定內(nèi)容。
2. 受限于發(fā)貨時間和商品物流運輸時間。
3. 商品運輸過程中如遇不可抗拒力因素，如地震、水災(zāi)、旱災(zāi)、疫情等，交期可能有所延長。
預(yù)計交期?
約3個工作日
最少1
小量快購
批量詢價
交期查詢
免費樣品
期貨訂購
CF921C0920GGMR
Silicon Labs
8位MCU
CF921;CF921C0920;CF921C0920GGM系列
2kB/4kB RAM, 10bADC, DC-DC, 0.9V, QFN24。與標(biāo)準(zhǔn)型號C8051F921-GMR可pin to pin 替換。
最小包裝量：1,500
1,500
世強先進（深圳）科技股份有限公司
限量優(yōu)惠售完即止
原廠認證
世強代理
世強自營
一支起訂
限量折扣
價格￥
7.2386
現(xiàn)貨185,910
可售量
185,910
發(fā)貨地廣東
預(yù)計交期
1. 預(yù)計交期為預(yù)估時間，不含國家法定節(jié)假日，不作為訂單或合同約定內(nèi)容。
2. 受限于發(fā)貨時間和商品物流運輸時間。
3. 商品運輸過程中如遇不可抗拒力因素，如地震、水災(zāi)、旱災(zāi)、疫情等，交期可能有所延長。
預(yù)計交期?
約3個工作日
最少1
小量快購
批量詢價
交期查詢
免費樣品
期貨訂購
EFM8BB21F16G-C-QSOP24R
Silicon Labs
8 BIT MCU
EFM8BB2;EFM8BB21F16G;EFM8BB21F16G-C;EFM8BB21F16G-C-QSOP24系列
8051,50MHz,16kB flash,2.25kB RAM,8-bit,Busy Bee MCU,替代型號為:EFM8BB52F16G-C-TSSOP28R
QSOP24
最小包裝量：2,500
2,500
世強先進（深圳）科技股份有限公司
原廠認證
世強代理
選型推薦
供貨保障
世強自營
一支起訂
價格￥
5.2167
現(xiàn)貨177,941
可售量
177,941
發(fā)貨地廣東
預(yù)計交期
1. 預(yù)計交期為預(yù)估時間，不含國家法定節(jié)假日，不作為訂單或合同約定內(nèi)容。
2. 受限于發(fā)貨時間和商品物流運輸時間。
3. 商品運輸過程中如遇不可抗拒力因素，如地震、水災(zāi)、旱災(zāi)、疫情等，交期可能有所延長。
預(yù)計交期?
約3個工作日
最少1
小量快購
批量詢價
交期查詢
免費樣品
期貨訂購
SI4432-B1-FMR
Silicon Labs
Transceiver
SI4432;SI4432-B1系列
+20dBm Si4432 EZRadioPRO Transceiver (rev B1)
最小包裝量：2,500
2,500
世強先進（深圳）科技股份有限公司
原廠認證
世強代理
選型推薦
供貨保障
世強自營
一支起訂
價格￥
44.0422
現(xiàn)貨167,605
可售量
167,605
發(fā)貨地廣東
預(yù)計交期
1. 預(yù)計交期為預(yù)估時間，不含國家法定節(jié)假日，不作為訂單或合同約定內(nèi)容。
2. 受限于發(fā)貨時間和商品物流運輸時間。
3. 商品運輸過程中如遇不可抗拒力因素，如地震、水災(zāi)、旱災(zāi)、疫情等，交期可能有所延長。
預(yù)計交期?
約3個工作日
最少1
小量快購
批量詢價
交期查詢
免費樣品
期貨訂購
C8051F410-GQR
Silicon Labs
8位MCU
C8051;C8051F410;C8051F410-GQ系列
50 MIPS,32KB,12ADC, smaRTClock,32Pin MCU (lead free)
QFP32
最小包裝量：500
500
世強先進（深圳）科技股份有限公司
原廠認證
世強代理
選型推薦
供貨保障
世強自營
一支起訂
價格￥
70.5531
現(xiàn)貨130,795
可售量
130,795
發(fā)貨地廣東
預(yù)計交期
1. 預(yù)計交期為預(yù)估時間，不含國家法定節(jié)假日，不作為訂單或合同約定內(nèi)容。
2. 受限于發(fā)貨時間和商品物流運輸時間。
3. 商品運輸過程中如遇不可抗拒力因素，如地震、水災(zāi)、旱災(zāi)、疫情等，交期可能有所延長。
預(yù)計交期?
約3個工作日
最少1
小量快購
批量詢價
交期查詢
免費樣品
期貨訂購
C8051F310-GQR
Silicon Labs
8位MCU
C8051;C8051F310;C8051F310-GQ系列
16KB,10ADC,32Pin MCU (lead free)
QFP32
最小包裝量：500
500
世強先進（深圳）科技股份有限公司
原廠認證
世強代理
選型推薦
供貨保障
世強自營
一支起訂
價格￥
51.9955
現(xiàn)貨115,834
可售量
115,834
發(fā)貨地廣東
預(yù)計交期
1. 預(yù)計交期為預(yù)估時間，不含國家法定節(jié)假日，不作為訂單或合同約定內(nèi)容。
2. 受限于發(fā)貨時間和商品物流運輸時間。
3. 商品運輸過程中如遇不可抗拒力因素，如地震、水災(zāi)、旱災(zāi)、疫情等，交期可能有所延長。
預(yù)計交期?
約3個工作日
最少1
小量快購
批量詢價
交期查詢
免費樣品
期貨訂購
