這不是夢想。

　　一場由自然用戶界麵帶來的革命，

　　不僅改變我們和計算機交互的方式，

　　更將徹底變革計算機的未來。

   想想當你拿起鋼筆記筆記、拿起鉛筆畫素描、naqidaokexiazimudeshihou，shoulizenmewochuzhexiegongju？weiruanyazhouyanjiuyuandenianqingyanjiuyuancaoxiangfaxianqizhongdechayihenyoumendao
，renmenshiyongbutonggongjudewozigebuxiangtong，youkenenggaibianchangqiyilaikunraojisuanjishurudeyigewenti。

　　這(zhe)位(wei)專(zhuan)門(men)從(cong)事(shi)人(ren)機(ji)交(jiao)互(hu)研(yan)究(jiu)的(de)小(xiao)夥(huo)子(zi)製(zhi)造(zao)了(le)一(yi)個(ge)數(shu)字(zi)筆(bi)，上(shang)麵(mian)附(fu)加(jia)了(le)多(duo)點(dian)觸(chu)摸(mo)和(he)方(fang)向(xiang)感(gan)應(ying)，可(ke)以(yi)識(shi)別(bie)用(yong)戶(hu)握(wo)持(chi)筆(bi)的(de)方(fang)式(shi)。於(yu)是(shi)，在(zai)用(yong)戶(hu)變(bian)換(huan)握(wo)持(chi)數(shu)字(zi)筆(bi)的(de)方(fang)式(shi)時(shi)，這(zhe)支(zhi)筆(bi)可(ke)以(yi)根(gen)據(ju)其(qi)手(shou)勢(shi)


，自(zi)然(ran)而(er)然(ran)地(di)實(shi)現(xian)鋼(gang)筆(bi)
、畫筆、素描鉛筆、刀和圓規等不同工具
、不同功能之間的切換，無需切換按鈕，如同使用實際工具一樣自然。

　　在一年一度素有“計算機研究領域的盛宴”之zhi稱cheng的de微wei軟ruan技ji術shu節jie上shang
，計ji算suan機ji領ling域yu內nei的de各ge路lu專zhuan家jia圍wei著zhe曹cao翔xiang這zhe個ge簡jian單dan又you巧qiao妙miao的de項xiang目mu嘖ze嘖ze稱cheng讚zan。曹cao翔xiang則ze稱cheng自zi己ji的de點dian子zi來lai自zi人ren們men的de實shi際ji需xu求qiu。盡jin管guan如ru曹cao自zi己ji坦tan承cheng，這zhe個ge被bei稱cheng為wei“所握即所得的數字筆”的小項目尚不能被稱為“革命”，但是無數類似的，從人的本身需求出發、強調人與計算機進行更自然互動的交互方式，正推動計算機科學處在一場徹底變革的前夕。

　　感同身受

　　“計算機領域的下一個重大趨勢和革命將會是自然用戶界麵(Natural User Interface，簡稱NUI)。”微軟首席研究及戰略官Craig Mundie最近在清華大學發表演講時指出。Mundie所言的“自然用戶界麵”
，其宗旨是讓計算機用戶能夠綜合地使用語音、觸摸和手勢等行為與計算機進行更自然的交互。

　　這確實是一場曆時長久的發展。計算機行業一直積極開發一種更加自然的用戶界麵
，來取代統治這個行業已十多年的圖形用戶界麵(GUI)。在(zai)圖(tu)形(xing)界(jie)麵(mian)時(shi)代(dai)，人(ren)們(men)利(li)用(yong)鍵(jian)盤(pan)和(he)鼠(shu)標(biao)實(shi)現(xian)與(yu)計(ji)算(suan)機(ji)間(jian)的(de)互(hu)動(dong)。而(er)在(zai)自(zi)然(ran)用(yong)戶(hu)界(jie)麵(mian)時(shi)代(dai)
，人(ren)們(men)與(yu)計(ji)算(suan)機(ji)的(de)互(hu)動(dong)
，應(ying)該(gai)像(xiang)人(ren)與(yu)人(ren)打(da)交(jiao)道(dao)一(yi)樣(yang)親(qin)切(qie)而(er)自(zi)然(ran)，可(ke)以(yi)是(shi)手(shou)勢(shi)、語音或者簡單的觸摸。

　　Mundie在清華大學演講時，現場布置了一台演示樣機。Mundie通過樣機演示了在自然用戶界麵下

，未來的建築設計師的工作界麵：建築設計圖紙投影在桌麵，設計師可以用手隨意翻動投影在桌麵的“圖紙”
，用手撥動圖紙上的線條來改變設計，甚至可以隨手“拽取”部分數據，組成圖表，用三維的形式投影在工作台上。一切宛如《少數派報告》裏的場景。

　　盡管這台樣機更多用於虛擬演示，但其中很多技術已經得以實現。Mundie訪問中國前不久，微軟剛剛慶祝體感遊戲設備Kinect銷售突破1000萬台，成為微軟旗下新的一個銷售額超過10億美元的產品，也是迄今為止整個科技行業銷售速度最快的消費類電子產品。

　　Kinect體感控製遊戲（圖片來自網絡）

　　zhegechanpintupoleyiwangdeyouxijidouyaoqiuyouxirentongguoshoubingkongzhiyouxidemoshi，zhuanerrangyouxicanyuzhetongguojiandandeshoushiyudongzuocanyuyouxi。liru，zaisaicheyouxizhong，youxirenzhixumoniwozhefangxiangpan，zuochuxiangyingdezhuandongfangxiangpandedongzuo，jiukeshixianzaiyouxizhongcaokongqichedezhuanxiang；在球類遊戲中，遊戲人隻需做出撲地動作，便可以在遊戲中救起排球，或揮動手臂，便可以在遊戲中舉拍擊球。

　　利用手勢和語音這種自然的行為控製遊戲機
，顯然已經是人機互動一個巨大的突破。Kinect采用的自然用戶界麵技術不僅能夠運用到各種類型的產品中
，而且也能實現計算機感知、互動和預測的新方式。

　　從“感”到“知”

　　讓計算機擁有像人類一樣的“感覺”，隻是自然用戶界麵需要解決的一部分內容。更關鍵的，是計算機如何對從各種傳感器獲得的信息進行分析，從而像人類一樣可以“識別”和“理解”各種信息。

　　“以Kinect為例，最困難的部分不是獲取3D圖像信息，而是如何處理這些信息，如何界定這些3D信息代表什麼意思。”微軟高級副總裁、微軟研究院院長Rick Rashid對《周末畫報》說
，“人們往往把目光集中到Kinect的3D攝像頭上
，但這個攝像頭是不能獨立工作的。”在他看來，Kinect這種用手勢及體感與計算機交互的方式，實質是一種實時3D計算機視覺技術。

　　幾年前，來自微軟Xbox遊戲機產品組的同事找到Rashid。他們希望利用微軟研究院的一些技術雛形，把3D攝像頭投入使用，使之成為遊戲控製器

，開發一種新型的體感遊戲機。但他們麵對一個難題：如何將來自3D攝像頭的原始圖像信息轉化成可靠的控製器用於視頻遊戲，而且下至兒童上至老人都能使用。

　　這其中的技術難點在於，如何界定這些3D信息：是誰站在3D信xin息xi係xi統tong之zhi前qian
？他ta身shen體ti的de哪na一yi部bu分fen在zai做zuo何he種zhong動dong作zuo？如ru果guo家jia裏li的de小xiao狗gou突tu然ran跳tiao到dao遊you戲xi者zhe麵mian前qian，係xi統tong能neng否fou正zheng確que判pan斷duan它ta是shi不bu是shi遊you戲xi者zhe身shen體ti的de一yi部bu分fen？如ru果guo隻zhi考kao察cha其qi底di層ceng的de3D信息

，是無法區分各種情景的。“這實際上是一個非常複雜的機器學習問題。”Rashid介紹說，因為它必須識別身體的不同部分、處於遊戲場景中的玩家身份、連續不斷地實時跟蹤身體各個部位的運動狀態，並且不被其他物體幹擾。

　　例如，微軟亞洲研究院在身份識別方麵的技術，讓3D攝像頭識別出遊戲人成為可能。“其中不僅靠人臉來識別，我們還要考慮到穿著的衣服
、身高等信息。”微軟亞洲研究院院長洪小文介紹說

，目前正式發布的Kinect已經可以在同一場景下識別出4個不同的遊戲者，但實際上，微軟亞洲研究院的技術可以讓同一場景下識別8個不同人成為可能。

　　“我們大量運用機器學習的技術才能讓Kinect如此成功。而也正是這些能夠讓計算機像人類一樣看得見、聽得到的技術讓計算機識別出不同的場景和情境，從而讓計算機擁有人類的感官，能夠像我們一樣互動和思考。”Rashid說。

　　“想”你所想

　　從“識別”和“感知”出發，計算機除了能提供自然互動之外，微軟的研究團隊希望走得更遠，讓計算機的角色越來越多地從“執行你的命令”，轉變為“代表你來工作”。

　　Eric Horvitz是微軟研究院從事人工智能研究的工程師，在他位於微軟總部雷德蒙的辦公室外有一個機器“助理”。那看上去是一台顯示器，顯示的是一個3D模擬的女性形象——關鍵是，“她”可以和前來拜訪Horvitz博士的每個人自如對話，和你談論天氣、確認與Horvitz博士約定的會議是否準時。更神奇的是，如果是多人一同到達前台
，“她”甚至可以從人們的行為舉止判斷出其中幾個人是否是同伴，把來客區分成不同的組別，依次問候並安排相應的事務——這儼然具有人類的模糊判斷能力。

　　“很(hen)多(duo)人(ren)一(yi)談(tan)到(dao)自(zi)然(ran)用(yong)戶(hu)界(jie)麵(mian)，就(jiu)認(ren)為(wei)他(ta)們(men)需(xu)要(yao)明(ming)確(que)地(di)指(zhi)示(shi)計(ji)算(suan)機(ji)去(qu)做(zuo)某(mou)些(xie)事(shi)情(qing)，或(huo)者(zhe)去(qu)控(kong)製(zhi)什(shen)麼(me)設(she)備(bei)。一(yi)直(zhi)以(yi)來(lai)
，計(ji)算(suan)機(ji)的(de)主(zhu)要(yao)任(ren)務(wu)是(shi)執(zhi)行(xing)人(ren)們(men)的(de)直(zhi)接(jie)命(ming)令(ling)。”微軟高級副總裁Rashid說，“實際上
，我們可以通過提高計算機對人類意圖的理解能力，使它們的行為更像人類的‘助手’
，甚至接近人類本身——能夠了解人們的想法，預測人們的需求，並妥善執行任務。”而這一切隨著計算機計算能力的極大提升，以及雲計算和社交計算的普及而成為可能。

　　微軟亞洲研究院院長洪小文指出，計算機有可能從收集到的大量用戶行為、習(xi)慣(guan)信(xin)息(xi)和(he)數(shu)據(ju)上(shang)進(jin)行(xing)分(fen)析(xi)和(he)判(pan)斷(duan)，從(cong)而(er)識(shi)別(bie)出(chu)特(te)定(ding)請(qing)求(qiu)是(shi)在(zai)何(he)種(zhong)情(qing)境(jing)下(xia)提(ti)出(chu)的(de)，並(bing)根(gen)據(ju)這(zhe)種(zhong)情(qing)境(jing)，預(yu)想(xiang)到(dao)用(yong)戶(hu)的(de)需(xu)要(yao)

，做(zuo)出(chu)適(shi)當(dang)的(de)反(fan)應(ying)。

　　“人機一體”正逐漸成為現實。微軟有一個研究小組專門考察人們的駕駛習慣。研究人員發給測試者GPS定ding位wei器qi，用yong於yu跟gen蹤zong他ta們men駕jia駛shi汽qi車che的de動dong向xiang等deng信xin息xi。在zai獲huo得de這zhe些xie信xin息xi的de基ji礎chu上shang，研yan究jiu人ren員yuan開kai發fa出chu了le一yi套tao係xi統tong，當dang用yong戶hu啟qi動dong車che輛liang後hou，係xi統tong就jiu能neng迅xun速su推tui測ce出chu用yong戶hu想xiang去qu的de地di方fang。其qi實shi原yuan理li並bing不bu複fu雜za
，就jiu如ru同tong一yi對dui夫fu婦fu共gong乘cheng一yi輛liang汽qi車che，即ji便bian開kai車che的de丈zhang夫fu不bu告gao訴su乘cheng車che的de妻qi子zi汽qi車che開kai向xiang何he方fang，通tong過guo汽qi車che經jing過guo的de橋qiao梁liang、高速公路等標誌性地標，並結合丈夫的駕車習慣，妻子通常可以推測出目的地是哪裏。

　　研yan究jiu人ren員yuan開kai發fa的de這zhe套tao係xi統tong正zheng是shi這zhe樣yang
，通tong過guo各ge種zhong信xin息xi及ji用yong戶hu習xi慣guan判pan斷duan出chu用yong戶hu想xiang去qu的de地di方fang。在zai分fen析xi出chu目mu的de地di這zhe個ge關guan鍵jian信xin息xi之zhi後hou，係xi統tong很hen容rong易yi根gen據ju實shi時shi交jiao通tong信xin息xi
，向xiang駕jia駛shi者zhe推tui薦jian最zui佳jia路lu線xian——在今天顯然是種非常成熟的應用，但是對於主動判斷出目的地方向
，則是一個極大的進步。

　　在Rashid看來，“如(ru)果(guo)我(wo)們(men)能(neng)夠(gou)讓(rang)係(xi)統(tong)更(geng)聰(cong)明(ming)地(di)理(li)解(jie)用(yong)戶(hu)，並(bing)建(jian)立(li)良(liang)好(hao)的(de)人(ren)類(lei)行(xing)為(wei)模(mo)型(xing)，係(xi)統(tong)就(jiu)能(neng)夠(gou)更(geng)好(hao)地(di)執(zhi)行(xing)使(shi)命(ming)，為(wei)人(ren)類(lei)服(fu)務(wu)
，這(zhe)樣(yang)自(zi)然(ran)用(yong)戶(hu)界(jie)麵(mian)也(ye)會(hui)有(you)更(geng)顯(xian)著(zhu)的(de)現(xian)實(shi)意(yi)義(yi)。