不需要鼠標(biāo)、鍵盤(pán)，甚至接觸，計(jì)算機(jī)會(huì)“看到”你想告訴它的一切—在微軟的“未來(lái)科技”布局里，識(shí)別空中手書(shū)是一幕關(guān)于人機(jī)互動(dòng)的奇幻片段。
在2054年的華盛頓，湯姆·克魯斯飾演的安德頓戴著他有觸點(diǎn)的手套，邊打電話邊用雙手令人眼花繚亂地在透明顯示器上操作程序和窗口，酷勁十足。即使不是科幻迷和游戲迷，也會(huì)有很多人憧憬電影《少數(shù)派報(bào)告》里科幻般的生活。
事實(shí)上，你很有可能比湯姆·克魯斯更酷：當(dāng)你在空中對(duì)著機(jī)器比劃的時(shí)候，已經(jīng)不再是“對(duì)牛彈琴”。微軟亞洲研究院的識(shí)別空中手書(shū)技術(shù)使得計(jì)算機(jī)、智能家電、游戲機(jī)能夠認(rèn)識(shí)我們所比劃的文字，識(shí)別內(nèi)容包括了漢字、日文、韓文，數(shù)字和英文單字。就像“我來(lái)比劃你來(lái)猜”游戲，不同的是，猜測(cè)我們比劃內(nèi)容的對(duì)方，現(xiàn)在變成了和人一樣“聰明”的機(jī)器。識(shí)別空中手書(shū)技術(shù)，只需要一臺(tái)普通的電腦、一個(gè)攝像頭、一個(gè)游戲機(jī)手柄，就可以實(shí)現(xiàn)，脫離鼠標(biāo)、鍵盤(pán)，甚至代替像iPhone那樣觸控技術(shù)的人機(jī)互動(dòng)。
如果說(shuō)鍵盤(pán)鼠標(biāo)輸入和手寫(xiě)觸控分別代表人機(jī)交互的兩個(gè)階段，那么，識(shí)別空中手書(shū)可以說(shuō)使這種交互進(jìn)入了3.0時(shí)代。“對(duì)于這項(xiàng)基礎(chǔ)的創(chuàng)新技術(shù)，想到在上面開(kāi)發(fā)出的無(wú)數(shù)最具有想象力的應(yīng)用就令人激動(dòng)。這也是作為研究員最值得期待的時(shí)刻。沒(méi)有人能預(yù)見(jiàn)，軟件開(kāi)發(fā)商和應(yīng)用微軟平臺(tái)的開(kāi)發(fā)人員會(huì)在識(shí)別空中手書(shū)技術(shù)上面開(kāi)發(fā)怎樣的應(yīng)用。可以說(shuō)，能想多遠(yuǎn)就有多遠(yuǎn)。”微軟亞洲研究院語(yǔ)音組主任研究員霍強(qiáng)在說(shuō)這些話的時(shí)候，識(shí)別空中手書(shū)項(xiàng)目的主要負(fù)責(zé)人馬磊正在旁邊拿著一顆橘子給記者演示微軟的“軟”字。
IT的太極之舞
讓機(jī)器“懂得”人類(lèi)的想法并“表達(dá)”出來(lái)，并不容易。傳統(tǒng)的使用鍵盤(pán)輸入和現(xiàn)在智能手機(jī)上流行的觸控輸入，把信息明確地“灌輸”給計(jì)算機(jī)。然而，空中手寫(xiě)識(shí)別技術(shù)，更像是中國(guó)傳統(tǒng)的太極拳法，動(dòng)作不僅像太極拳一樣行云流水，而且能夠“手隨心動(dòng)”。
識(shí)別空中手書(shū)項(xiàng)目組設(shè)計(jì)了兩種解決方案來(lái)做演示：最廉價(jià)的方式是使用一個(gè)網(wǎng)絡(luò)攝像頭來(lái)觀察用戶(hù)手的運(yùn)動(dòng)；或者使用一種帶有被稱(chēng)作“陀螺儀”和“加速度儀”的傳感器的設(shè)備來(lái)捕捉用戶(hù)手的運(yùn)動(dòng)。當(dāng)用戶(hù)手的運(yùn)動(dòng)被捕捉到之后，對(duì)其進(jìn)行補(bǔ)償，增強(qiáng)后，手寫(xiě)識(shí)別模塊就能認(rèn)出用戶(hù)在空中寫(xiě)的文字。
“機(jī)器從捕捉、映射、識(shí)別到顯示，整個(gè)過(guò)程涉及兩方面的技術(shù)。一是動(dòng)態(tài)運(yùn)動(dòng)物體捕捉；二是手寫(xiě)識(shí)別。”馬磊向記者介紹道。選擇一個(gè)能夠與周?chē)h(huán)境的顏色區(qū)分開(kāi)來(lái)的物體，放在視頻捕捉框的中心位置，按動(dòng)游戲手柄的按鈕開(kāi)始準(zhǔn)備書(shū)寫(xiě)。在這個(gè)對(duì)運(yùn)動(dòng)物體的捕捉過(guò)程中，就要教會(huì)計(jì)算機(jī)該捕捉的目標(biāo)物體，計(jì)算機(jī)知道了所選擇的運(yùn)動(dòng)目標(biāo)，周?chē)h(huán)境里其他物體的運(yùn)動(dòng)就不會(huì)產(chǎn)生干擾。
目標(biāo)物體在空中運(yùn)動(dòng)的過(guò)程中，產(chǎn)生了一個(gè)三維的圖像軌跡，映射到二維的攝像機(jī)里的是一個(gè)平面化的軌跡圖形，這個(gè)平面化的運(yùn)動(dòng)軌跡要求對(duì)模糊、抖動(dòng)都能很好的處理。而當(dāng)計(jì)算機(jī)獲得了清晰的運(yùn)動(dòng)軌跡后，后臺(tái)的手寫(xiě)識(shí)別就可以進(jìn)行分析，從而得到用戶(hù)想要書(shū)寫(xiě)的文字。“這個(gè)看似簡(jiǎn)單的圖像分析和文字識(shí)別在相應(yīng)的領(lǐng)域里都做了幾十年，絕對(duì)可以稱(chēng)得上是高科技。”霍強(qiáng)對(duì)記者說(shuō)，“比如數(shù)字3，會(huì)有像‘了’等相近的文字，這無(wú)疑增加了識(shí)別的難度。”最后的識(shí)別結(jié)果綜合了機(jī)器對(duì)書(shū)寫(xiě)動(dòng)作和圖像結(jié)果的分析，“形狀信息很重要，首先要像；另一方面，動(dòng)態(tài)信息也是個(gè)很重要的參考。”
馬磊對(duì)記者表示，空中手寫(xiě)識(shí)別與在手寫(xiě)板書(shū)寫(xiě)不同在于，手寫(xiě)板一筆一劃，折點(diǎn)尖銳。而空中寫(xiě)字需要一筆完成，沒(méi)有虛實(shí)的概念，不會(huì)提筆。在空中書(shū)寫(xiě)的過(guò)程中，“類(lèi)似于中國(guó)的太極，相對(duì)圓滑，行云流水。在速度變成零的時(shí)候不可能出現(xiàn)相應(yīng)的折點(diǎn)，需要對(duì)這種字體情況進(jìn)行特殊處理。”
交互的未來(lái)
蓋茨曾說(shuō)，人與計(jì)算機(jī)的交互將變得越來(lái)越像人與人之間的互動(dòng)。蘋(píng)果公司的iPhone手機(jī)和任天堂的Wii游戲機(jī)，在用戶(hù)互動(dòng)界面的出色表現(xiàn)獲得了消費(fèi)者的青睞。而微軟的下一代操作系統(tǒng)Windows7，作為自然的用戶(hù)界面，也內(nèi)置了觸摸支持功能；微軟智能觸控桌面電腦Microsoft Surface，看上去更像是一張多功能的桌面屏幕。
談到識(shí)別空中手書(shū)這項(xiàng)技術(shù)的最初想法，微軟亞洲研究院首席研究員兼語(yǔ)音組負(fù)責(zé)人宋平表示，“這個(gè)想法是為了解決在沒(méi)有鍵盤(pán)或手寫(xiě)板的特定環(huán)境里如何用手勢(shì)輸入字符的問(wèn)題。識(shí)別空中手書(shū)從技術(shù)和提升用戶(hù)體驗(yàn)方面都是一項(xiàng)很杰出的創(chuàng)新。我相信這項(xiàng)創(chuàng)新將有可能被應(yīng)用到微軟目前和未來(lái)的很多產(chǎn)品及服務(wù)中。”
而從研發(fā)的角度，脫離了鍵盤(pán)鼠標(biāo)的識(shí)別空中手書(shū)技術(shù)將想象力更拉近一步，抑或是對(duì)未來(lái)主流交互式體驗(yàn)的提前預(yù)演。而這，將為微軟在人機(jī)交互體驗(yàn)上培養(yǎng)越來(lái)越多的“手語(yǔ)者”。
對(duì)于識(shí)別空中手書(shū)在未來(lái)應(yīng)用的三個(gè)場(chǎng)景，馬磊向記者介紹道，在交互式游戲環(huán)境下，用戶(hù)在空中輸入一些文字，如名字，答案，甚至是解密類(lèi)游戲的符號(hào)，以獲取不同的游戲體驗(yàn)；而在可聯(lián)網(wǎng)設(shè)備上，比如網(wǎng)絡(luò)電視（IPTV）和Xbox，甚至還有智能家電，需要輸入文字信息時(shí)用遠(yuǎn)距離“比劃”都很方便。比如在網(wǎng)絡(luò)電視上搜索視頻，在Xbox上搜索游戲動(dòng)畫(huà)等等；而對(duì)于家長(zhǎng)來(lái)說(shuō)，采用手勢(shì)這種寓教于樂(lè)的方式，更適合好動(dòng)且喜歡視覺(jué)沖擊的小孩。由于遠(yuǎn)距離輸入更能體現(xiàn)脫離鍵盤(pán)鼠標(biāo)輸入信息的優(yōu)勢(shì)，未來(lái)，微軟亞洲研究院希望識(shí)別空中手書(shū)技術(shù)能夠?yàn)橛脩?hù)解決更多的實(shí)際問(wèn)題，能夠使能其他有趣有意義的事情發(fā)生。而且，將不限定只用一個(gè)跟蹤點(diǎn)，未來(lái)將會(huì)有多個(gè)跟蹤點(diǎn)來(lái)應(yīng)用到微軟地圖搜索服務(wù)的查找、縮放等。
“我們做研發(fā)的目的是為了提升用戶(hù)體驗(yàn)，微軟亞洲研究院在與產(chǎn)品部門(mén)的互動(dòng)和溝通過(guò)程中，來(lái)共同探討把這些創(chuàng)新技術(shù)應(yīng)用到產(chǎn)品里或者技術(shù)轉(zhuǎn)移出去的時(shí)間。但是，作為一個(gè)研究人員，能夠讓千家萬(wàn)戶(hù)應(yīng)用到自己的創(chuàng)新想法是最令我們激動(dòng)的事情。”霍強(qiáng)對(duì)記者說(shuō)。
霍強(qiáng)和馬磊最近剛從微軟雷德蒙總部回來(lái)，他們?cè)谖④浹芯吭阂荒暌欢鹊募夹g(shù)節(jié)上展示了識(shí)別空中手書(shū)技術(shù)，吸引了包括微軟產(chǎn)品部門(mén)，微軟全球其它研究院同事以及媒體的關(guān)注。著名博客人Chris Pirillo 在他博客中寫(xiě)道：“雖然這個(gè)軟件目前還只是個(gè)技術(shù)原型，沒(méi)有被應(yīng)用，但是我很看好它，這是一項(xiàng)驚人的研究。你能想像這個(gè)軟件什么時(shí)候能被應(yīng)用嗎？我們所有的Xbox迷都拭目以待吧！”
這些充滿(mǎn)無(wú)限可能性的基礎(chǔ)創(chuàng)新是最具能量的。它本身可能不是一個(gè)成熟的應(yīng)用，但是一旦與現(xiàn)實(shí)生活中有趣的想法相結(jié)合，就可以催生出無(wú)數(shù)的精彩成果。微軟擅長(zhǎng)于調(diào)動(dòng)豐富的研發(fā)資源做些“打地基”的事情，識(shí)別空中手書(shū)就拓展了更多豐富應(yīng)用的可能性。而這，或者就是微軟亞洲研究院“研發(fā)之美”的魅力所在。
