http://kadhoai.com.cn 2026-04-25 04:16:59 來源:文 | 首席數據科學家 田春華博士
7個誤區,分三批,包括規劃層麵,技術路線方麵,以及執行層麵,可能遇到的問題。
言不及義:脫離業務邏輯的數據分析是浪費
案例:曾和合作夥伴探索過空壓機的大數據分析。在涉及到工業設備的大數據分析應用中,有很多PHM(設備健康維護管理)的案例。
但在跳到智能運維之前,最好先討論一下預期的業務邏輯,我們的目標是做第三方運維業務(大數據用來提高維修效率),還是通過空壓機的數據,來支撐一種新的業務模式,比如供應鏈金融、業務流程優化、能效優化等。
首先剖析一下,先不考慮現實條件,假設技術是百分之百的成功,這個技術實現之後,到底能幹嘛?
一(yi)年(nian)的(de)這(zhe)種(zhong)壓(ya)縮(suo)機(ji),它(ta)的(de)運(yun)維(wei)成(cheng)本(ben)到(dao)底(di)是(shi)多(duo)少(shao)?如(ru)果(guo)我(wo)是(shi)這(zhe)個(ge)設(she)備(bei)製(zhi)造(zao)商(shang),我(wo)做(zuo)智(zhi)能(neng)運(yun)維(wei)到(dao)底(di)是(shi)來(lai)幫(bang)誰(shui)實(shi)現(xian)什(shen)麼(me)?我(wo)的(de)收(shou)入(ru)或(huo)者(zhe)我(wo)的(de)成(cheng)本(ben)來(lai)自(zi)於(yu)什(shen)麼(me)地(di)方(fang)?
ruguozhinengyunweideshourubaokuolirunlvdoufeichangdi,zhenggechanyelian,zhenggexingyedouhaimeiyoufali,bufangzhuanbianyewuluoji,buyaojiyumofangyixiekansibierenzaiqitalingyuyijingchengshudeanli,xianlinghunkaowenzijideshangyebenzhishifouheli。
指雁為羹:脫離約束條件的“烏托邦”很難成功
案例:這類問題通常出現在一些調度優化、yunchouyouhuacengmian,yijiangshengchantiaoduhuozheyunchouyouhua,dajiahenrongyidejiuxiangzuoquanjuyouhua,zheshidajiademengxiang,zhiyouquanjuyouhuacainengyoutishengdekongjian。danshixianshizhong,yaojutiwentijutifenxi,bunengtuoliwulishijiedeyueshutiaojian。
例(li)如(ru),港(gang)口(kou)的(de)集(ji)裝(zhuang)箱(xiang)碼(ma)頭(tou),其(qi)中(zhong)一(yi)個(ge)很(hen)重(zhong)要(yao)的(de)問(wen)題(ti)就(jiu)是(shi)碼(ma)頭(tou)的(de)堆(dui)場(chang)優(you)化(hua)。因(yin)為(wei)堆(dui)場(chang)決(jue)定(ding)容(rong)量(liang),香(xiang)港(gang)的(de)碼(ma)頭(tou)是(shi)比(bi)較(jiao)擁(yong)擠(ji)的(de),做(zuo)對(dui)比(bi)優(you)化(hua)的(de)空(kong)間(jian)很(hen)大(da),效(xiao)益(yi)也(ye)大(da),我(wo)們(men)要(yao)分(fen)析(xi)船(chuan)來(lai)了(le)之(zhi)後(hou)怎(zen)麼(me)快(kuai)速(su)的(de)支(zhi)持(chi)裝(zhuang)貨(huo)、卸貨。
danshizuoduichangyouhua,yewufanweidaodizuoduoda?kehuxiwangzuoduandaoduandeduichangyouhua,yigejizhuangxianglaile,jiuyaojuedingzuiyouweizhi。zhelihulvele,weilezuoduichangyouhua,
首先要有比較明確的集裝箱的到達量預測,預測必須相對準確;
第二,我要整個裝備的維修周期數據,要獲得排班數據,要獲得船期數據等各種關聯數據;
第三,要避免場內卡車的擁堵,如果同一艘船的所有集裝箱都放在一起,裝船時候可能會造成局部擁堵。
現xian實shi情qing況kuang下xia你ni很hen難nan獲huo得de這zhe麼me全quan的de數shu據ju,中zhong間jian的de約yue束shu很hen多duo,首shou先xian,流liu量liang預yu測ce就jiu很hen難nan做zuo的de精jing準zhun。第di二er,船chuan的de到dao達da,按an說shuo有you固gu定ding的de周zhou期qi,但dan是shi也ye有you些xie天tian氣qi因yin素su,有you些xie如ru當dang前qian疫yi情qing因yin素su是shi不bu完wan全quan可ke控kong的de。在zai這zhe種zhong情qing況kuang下xia,如ru果guo做zuo優you化hua,是shi基ji於yu大da量liang的de假jia設she,效xiao果guo可ke能neng會hui打da一yi些xie折zhe扣kou。
不(bu)光(guang)在(zai)碼(ma)頭(tou),其(qi)實(shi)工(gong)廠(chang)內(nei)的(de)調(tiao)度(du)優(you)化(hua)也(ye)是(shi)這(zhe)樣(yang),我(wo)們(men)雖(sui)然(ran)追(zhui)求(qiu)全(quan)局(ju)優(you)化(hua),但(dan)還(hai)是(shi)要(yao)考(kao)慮(lv)現(xian)實(shi)的(de)條(tiao)件(jian),哪(na)些(xie)數(shu)據(ju)不(bu)可(ke)得(de),包(bao)括(kuo)得(de)到(dao)之(zhi)後(hou)他(ta)節(jie)省(sheng)的(de)成(cheng)本(ben)到(dao)底(di)有(you)多(duo)高(gao),都(dou)要(yao)認(ren)真(zhen)考(kao)慮(lv),當(dang)然(ran)技(ji)術(shu)上(shang)肯(ken)定(ding)會(hui)盡(jin)最(zui)大(da)的(de)努(nu)力(li)來(lai)做(zuo)。
空中樓閣:與組織形態失配的數據分析很難落地
guoquwomenyezuoguoyixie,congjishushangkexing,shenzhijingduhaibucuo,liruzaishebeiguzhangzhenduanliyixiezhongdabujiandeguzhangyuce,suiranyangbenbijiaoshao,jieheyixiejiliheshujuwajuezhishi,youdeshihouhaikeyizuochulaiyigebucuodejieguo。
但dan是shi結jie果guo落luo地di的de時shi候hou,其qi實shi大da家jia很hen沮ju喪sang,問wen題ti就jiu在zai於yu我wo就jiu發fa現xian一yi個ge問wen題ti,有you的de時shi候hou預yu示shi著zhe在zai現xian有you的de考kao核he體ti係xi下xia,可ke能neng會hui某mou種zhong程cheng度du上shang暗an示shi著zhe現xian有you的de運yun維wei團tuan隊dui做zuo的de不bu到dao位wei,過guo去qu的de定ding期qi維wei護hu做zuo的de不bu太tai好hao。這zhe時shi候hou要yao指zhi望wang現xian場chang一yi線xian團tuan隊dui給gei出chu真zhen實shi的de或huo者zhe及ji時shi的de反fan饋kui,通tong常chang很hen難nan。
大(da)家(jia)可(ke)以(yi)聯(lian)想(xiang)一(yi)下(xia),包(bao)括(kuo)質(zhi)量(liang)提(ti)升(sheng)等(deng)各(ge)種(zhong)課(ke)題(ti)都(dou)會(hui)遇(yu)到(dao)類(lei)似(si)的(de)問(wen)題(ti),在(zai)工(gong)業(ye)以(yi)外(wai),甚(shen)至(zhi)在(zai)商(shang)業(ye)裏(li)的(de)很(hen)多(duo)預(yu)測(ce),推(tui)行(xing)的(de)時(shi)候(hou)也(ye)會(hui)遇(yu)到(dao)類(lei)似(si)的(de)問(wen)題(ti),這(zhe)個(ge)課(ke)題(ti)正(zheng)好(hao)是(shi)某(mou)個(ge)部(bu)門(men)負(fu)責(ze)的(de),他(ta)天(tian)天(tian)用(yong)自(zi)己(ji)經(jing)驗(yan)來(lai)做(zuo),現(xian)在(zai)你(ni)用(yong)數(shu)據(ju)分(fen)析(xi)比(bi)以(yi)前(qian)更(geng)好(hao),除(chu)非(fei)這(zhe)個(ge)項(xiang)目(mu)從(cong)歸(gui)口(kou),從(cong)組(zu)織(zhi)形(xing)態(tai)上(shang)做(zuo)一(yi)定(ding)的(de)調(tiao)整(zheng),否(fou)則(ze)通(tong)常(chang)很(hen)難(nan)讓(rang)他(ta)真(zhen)正(zheng)用(yong)起(qi)來(lai)。
避實就虛:追 “時髦”,講“套路”,忘記了本來可行的做法
例如院線的票房預測,上映之前的預測,會決定排片到底當時排多少場,排什麼時間段,到底做什麼樣的排片策略?
當時Google發了一篇論文,說通過Googlesousuoliangkeyizhunqueyuceyigeyingpiandepiaofang,zheshiyipianyinyongdumangaodelunwen,dangshiguoneihaoduorenfeichangxingfen,danbazheyangdefangshiyingyongdaoguonei,faxianjingdubingbulixiang。qishiwomenshibanxinbanyide,yigeyingpianpiaofangdejibenmianshishenmejuedingde?
例如,電影類型與地區的匹配度,它是恐怖片還是什麼片?院線裏麵不同的影院,比方有的是生活區的有CBD的;比方成都喜歡看古墓片,比方廣州喜歡看粵語片,上海喜歡看小資片,比方哈爾濱基本上一般是抗戰片、武(wu)打(da)片(pian)比(bi)較(jiao)好(hao),不(bu)同(tong)地(di)域(yu)的(de)人(ren)的(de)喜(xi)好(hao),是(shi)不(bu)是(shi)都(dou)反(fan)映(ying)在(zai)搜(sou)索(suo)量(liang)上(shang)?除(chu)了(le)題(ti)材(cai)之(zhi)外(wai),還(hai)有(you)演(yan)員(yuan)的(de)活(huo)躍(yue)度(du),在(zai)社(she)交(jiao)媒(mei)體(ti)的(de)活(huo)躍(yue)度(du),導(dao)演(yan)最(zui)近(jin)獲(huo)過(guo)什(shen)麼(me)獎(jiang)?包(bao)括(kuo)題(ti)材(cai)是(shi)個(ge)什(shen)麼(me)片(pian)?後(hou)來(lai)我(wo)們(men)加(jia)入(ru)了(le)很(hen)多(duo),比(bi)如(ru)地(di)理(li)信(xin)息(xi),包(bao)括(kuo)一(yi)些(xie)過(guo)去(qu)不(bu)同(tong)院(yuan)線(xian)之(zhi)間(jian)的(de)銷(xiao)售(shou)趨(qu)勢(shi),包(bao)括(kuo)在(zai)什(shen)麼(me)社(she)交(jiao)媒(mei)體(ti)上(shang)看(kan)演(yan)員(yuan)之(zhi)間(jian)的(de)影(ying)響(xiang)力(li)的(de)增(zeng)長(chang)趨(qu)勢(shi),以(yi)及(ji)導(dao)演(yan)、演員和演員之間誰和誰搭配比較好。
我們當然希望用最簡單的方式,就能預測票房、備(bei)品(pin)備(bei)件(jian)需(xu)求(qiu),但(dan)還(hai)是(shi)要(yao)多(duo)問(wen)問(wen)本(ben)質(zhi)問(wen)題(ti),基(ji)本(ben)麵(mian)要(yao)考(kao)慮(lv)全(quan)一(yi)點(dian)。有(you)時(shi)候(hou)不(bu)是(shi)難(nan)在(zai)預(yu)測(ce)上(shang),而(er)是(shi)要(yao)考(kao)慮(lv)一(yi)些(xie)外(wai)部(bu)的(de)人(ren)為(wei)和(he)不(bu)可(ke)控(kong)的(de)影(ying)響(xiang),包(bao)括(kuo)宏(hong)觀(guan)經(jing)濟(ji)的(de)變(bian)化(hua)。
其實數據分析最應該做的,反而是那些現實中間時不時出現,但是人的經驗又做不好,又特別期望數據能幫忙的一些場景。
zheyaoqiuwomenzaishujuchulishang,jishiyouxieqingkuangjiyuxianzaidemoxingheshujuzhichengbule,yeyaoyuxiangdaozhexieqingkuang,zhishaozhidaozhexiangjishudeshiyongfanweishishenme,erbushizuoleyigezaitedingqingkuangxiatebiehaodedongxi,jiutuierguangzhi。
任ren何he模mo型xing都dou是shi物wu理li設she計ji的de一yi個ge簡jian化hua,都dou不bu可ke能neng脫tuo離li於yu物wu理li世shi界jie,現xian在zai講jiang數shu字zi孿luan生sheng體ti,也ye要yao看kan模mo型xing用yong於yu研yan發fa階jie段duan還hai是shi在zai運yun維wei階jie段duan,畢bi竟jing不bu可ke能neng有you一yi個ge模mo型xing百bai分fen之zhi百bai的de等deng於yu物wu理li世shi界jie。
在(zai)現(xian)實(shi)中(zhong)說(shuo)抓(zhua)基(ji)本(ben)麵(mian),基(ji)本(ben)麵(mian)是(shi)什(shen)麼(me)?比(bi)如(ru)做(zuo)大(da)宗(zong)物(wu)資(zi)的(de)需(xu)求(qiu)預(yu)測(ce),就(jiu)要(yao)梳(shu)理(li)大(da)宗(zong)物(wu)資(zi)供(gong)和(he)需(xu),它(ta)的(de)驅(qu)動(dong)因(yin)素(su)到(dao)底(di)是(shi)什(shen)麼(me)?不(bu)用(yong)特(te)別(bie)定(ding)量(liang),先(xian)大(da)概(gai)把(ba)關(guan)聯(lian)因(yin)素(su)梳(shu)理(li)完(wan)。比(bi)如(ru)做(zuo)設(she)備(bei)的(de)運(yun)行(xing)優(you)化(hua)、故障監測,不要一上來就用各種複雜的公式,其實更應該了解基本量之間的影響關係、動員關係。
閃爍其詞:在“科學”名義下,以“非科學”的態度去做“科學”的事情
做工業數據分析,我們需要知道一個模型的使用邊界,沒有一個模型能解決所有問題,或者適用於所有情況,除非它是一個偽科學。
做數據分析6個階段,真正耗時的是什麼?是最早的業務問題理解,這也是最關鍵的階段。當然CRISP-DM默(mo)認(ren)把(ba)社(she)會(hui)分(fen)工(gong)做(zuo)好(hao)了(le),假(jia)設(she)數(shu)據(ju)分(fen)析(xi)師(shi)隻(zhi)做(zuo)數(shu)據(ju)挖(wa)掘(jue),數(shu)據(ju)分(fen)析(xi),在(zai)現(xian)實(shi)中(zhong)間(jian)不(bu)可(ke)能(neng)這(zhe)麼(me)理(li)想(xiang),有(you)可(ke)能(neng)別(bie)人(ren)給(gei)你(ni)理(li)出(chu)來(lai)的(de)問(wen)題(ti)不(bu)一(yi)定(ding)正(zheng)確(que),在(zai)某(mou)種(zhong)程(cheng)度(du)上(shang)要(yao)重(zhong)新(xin)定(ding)義(yi)問(wen)題(ti),而(er)不(bu)隻(zhi)是(shi)理(li)解(jie)。
dangran,haiyouyixiekuazhuanyeyaolijie,bushuxidelingyudebeijingzhishidoufeichangzhongyao,zuohuagonglianhuagongyuanlidoubuzhidao,zuodianliliandianlidejibendonglixuedoubuzhidao,qumangzuojiuhenrongyiwachulaiyixiechangshi,zheshishehuiziyuandeyizhonglangfei。
dierbijiaohaoshideshishujuzhunbei,zhengchangqingkuangxiashujuwajuefeichanghaozuo,danhenduoshihou,shujuwajuepianpianshichulinaxiekanqilaibutaizhengchang,danzaixianshizhongjianjingchangchuxiandeyixiezhuangkuang。zuoweiyigeyanjindeshujufenxishi,womenyaocongshujuzhongjian,kandaohaoduoyewuzhuanjiazaoqimeiyouxiangdaodeyixiexinhao,shenzhishitarenweibukenengzaishujuzhongchuxian,huoshitaxikongjianguan,meiyishidao,meigeijieshaodeyixieqingkuang,zhexieyoushihouhuidadayingxiangfenximoxingdezhunquedu。yaozidongzhixingdeshihou,keyongxingshifeichangzhongyaode。
數(shu)據(ju)隻(zhi)是(shi)一(yi)種(zhong)表(biao)象(xiang),作(zuo)為(wei)數(shu)據(ju)分(fen)析(xi)師(shi),我(wo)們(men)的(de)態(tai)度(du)是(shi)相(xiang)信(xin)數(shu)據(ju),但(dan)是(shi)不(bu)迷(mi)信(xin)數(shu)據(ju),因(yin)為(wei)數(shu)據(ju)本(ben)身(shen)的(de)采(cai)集(ji)方(fang)式(shi)可(ke)能(neng)會(hui)有(you)偏(pian)差(cha),比(bi)方(fang)以(yi)前(qian)講(jiang)的(de)「幸存者偏差」,隻有沒被打掉的飛機才飛回來了,所以我們損失了很多,薄弱環節被打掉的一些信息。
有些數據的采集方式、采cai集ji精jing度du,包bao括kuo數shu據ju的de樣yang本ben選xuan擇ze上shang,可ke能neng會hui給gei我wo們men誤wu導dao,看kan起qi來lai做zuo的de不bu錯cuo,其qi實shi本ben身shen數shu據ju沒mei有you反fan映ying物wu理li現xian實shi。包bao括kuo傳chuan感gan器qi的de安an裝zhuang位wei置zhi,傳chuan感gan器qi本ben身shen的de測ce量liang原yuan理li,可ke能neng會hui給gei數shu據ju本ben身shen帶dai來lai一yi定ding的de影ying響xiang,這zhe時shi候hou需xu要yao比bi較jiao謹jin慎shen和he樂le觀guan的de態tai度du去qu挖wa掘jue,同tong時shi要yao像xiang其qi他ta工gong科ke一yi樣yang反fan複fu推tui敲qiao,這zhe是shi非fei常chang糾jiu結jie和he磨mo難nan的de一yi個ge過guo程cheng。
從(cong)某(mou)種(zhong)程(cheng)度(du)上(shang),數(shu)據(ju)分(fen)析(xi)的(de)整(zheng)個(ge)過(guo)程(cheng),和(he)傳(chuan)統(tong)的(de)工(gong)科(ke)工(gong)程(cheng)化(hua)方(fang)法(fa)是(shi)一(yi)樣(yang)的(de)。任(ren)何(he)東(dong)西(xi)都(dou)是(shi)基(ji)於(yu)一(yi)定(ding)的(de)假(jia)設(she)所(suo)做(zuo)出(chu)來(lai),放(fang)到(dao)一(yi)個(ge)現(xian)實(shi)中(zhong),或(huo)者(zhe)相(xiang)對(dui)客(ke)觀(guan)的(de)現(xian)實(shi)中(zhong)去(qu)驗(yan)證(zheng),驗(yan)證(zheng)完(wan)之(zhi)後(hou),反(fan)複(fu)的(de)去(qu)觀(guan)察(cha),這(zhe)樣(yang)才(cai)有(you)可(ke)能(neng)從(cong)一(yi)定(ding)規(gui)律(lv)上(shang)反(fan)映(ying)了(le)這(zhe)個(ge)物(wu)理(li)現(xian)實(shi)。
什麼叫科學的態度,就是要反複問,任何東西都是可以被證偽或證實的,沒有什麼東西是絕對對或者絕對錯的。
舍本從末:把一個簡單的問題複雜化
數shu據ju分fen析xi師shi,有you時shi候hou經jing意yi不bu經jing意yi地di把ba一yi個ge問wen題ti給gei複fu雜za化hua了le,有you時shi候hou有you些xie工gong藝yi機ji理li非fei常chang簡jian單dan,基ji本ben麵mian就jiu在zai那na,沒mei必bi要yao把ba這zhe個ge問wen題ti拔ba到dao一yi個ge深shen度du學xue習xi或huo者zhe一yi個ge什shen麼me高gao深shen的de方fang法fa來lai做zuo。
gaijiandandewentijiujiandanchuli,buyaozaibuzhongyaodedifanghuataiduoshijian,haoduoshujufenxishidoushibijiaojiaozhende,xiangwozaoqiyeshi,xizhimojiemeigaoqingchu,xinlijiubushufu。
數據分析作為一個工程化方法,要抓大放小,在一定的時間、空間、時間、費用的約束下,做到最好。

我wo以yi前qian學xue控kong製zhi的de,到dao大da四si的de時shi候hou,接jie到dao一yi個ge實shi際ji衛wei星xing的de姿zi態tai控kong製zhi項xiang目mu,上shang來lai我wo們men就jiu列lie狀zhuang態tai方fang程cheng傳chuan遞di函han數shu,因yin為wei衛wei星xing模mo型xing也ye比bi較jiao成cheng熟shu,先xian證zheng明ming穩wen定ding性xing,再zai通tong過guo根gen軌gui跡ji或huo者zhe是shi波bo特te圖tu設she計ji做zuo控kong製zhi係xi統tong的de設she計ji。我wo自zi己ji當dang時shi非fei常chang得de意yi,因yin為wei上shang學xue上shang了le十shi幾ji年nian,第di1次看到自己學了這麼多年的東西,終於在現實中間有點用了。
我wo們men去qu跟gen航hang天tian的de專zhuan家jia交jiao流liu,對dui方fang給gei的de評ping價jia也ye比bi較jiao高gao,當dang時shi我wo問wen,你ni們men做zuo衛wei星xing設she計ji的de時shi候hou,怎zen麼me做zuo?他ta說shuo,其qi實shi沒mei有you你ni考kao慮lv那na麼me複fu雜za,把ba不bu重zhong要yao的de全quan忽hu略lve掉diao,衛wei星xing三san個ge軸zhou都dou是shi耦ou合he的de,你ni不bu妨fang假jia設she三san個ge軸zhou是shi解jie耦ou的de,剩sheng下xia的de你ni就jiu把ba它ta想xiang象xiang成cheng一yi個ge剛gang體ti,到dao底di偏pian了le幾ji度du,你ni到dao底di多duo少shao分fen鍾zhong想xiang把ba它ta轉zhuan回hui來lai?你ni能neng加jia多duo大da的de力li?加jia多duo大da力li,電dian流liu馬ma上shang就jiu轉zhuan換huan成cheng控kong製zhi參can數shu。星xing箭jian分fen離li之zhi後hou,到dao底di噴pen氣qi怎zen麼me噴pen?你ni想xiang加jia多duo大da的de衝chong量liang,一yi個ge衝chong量liang噴pen一yi下xia持chi續xu多duo少shao秒miao,然ran後hou產chan生sheng多duo大da衝chong量liang,衝chong量liang產chan生sheng多duo大da加jia速su度du,我wo要yao多duo少shao秒miao糾jiu正zheng過guo來lai?基ji本ben麵mian就jiu這zhe麼me多duo,就jiu這zhe麼me簡jian單dan。
當dang時shi對dui我wo觸chu動dong蠻man大da的de,不bu要yao一yi上shang來lai就jiu把ba一yi些xie不bu重zhong要yao的de複fu雜za因yin素su都dou考kao慮lv進jin去qu,這zhe個ge觀guan念nian一yi路lu影ying響xiang我wo後hou麵mian的de研yan究jiu與yu分fen析xi。當dang然ran任ren何he簡jian化hua都dou是shi有you前qian提ti的de,在zai衛wei星xing仿fang真zhen裏li麵mian,這zhe種zhong簡jian化hua是shi在zai小xiao角jiao度du或huo者zhe接jie近jin穩wen定ding的de情qing況kuang下xia使shi用yong,如ru果guo大da部bu件jian分fen離li或huo者zhe太tai陽yang能neng翻fan板ban剛gang打da開kai等deng大da動dong態tai的de情qing況kuang下xia,簡jian化hua是shi非fei常chang危wei險xian的de。
再舉個例子,風力發電機葉片結冰,可以做成結冰檢測,在結冰嚴重,PLC警報之前,早期檢測出來;也可以做結冰預測,但這兩個問題難度差是十萬八千裏。結冰預測的前提,首先要做天氣預報。
大(da)家(jia)也(ye)都(dou)知(zhi)道(dao)宏(hong)觀(guan)天(tian)氣(qi)預(yu)報(bao),氣(qi)象(xiang)局(ju)努(nu)力(li)了(le)這(zhe)麼(me)多(duo)年(nian),也(ye)上(shang)了(le)很(hen)多(duo)手(shou)段(duan),在(zai)有(you)些(xie)地(di)方(fang)有(you)時(shi)候(hou)還(hai)是(shi)預(yu)測(ce)不(bu)準(zhun)。且(qie)不(bu)說(shuo)我(wo)們(men)要(yao)做(zuo)局(ju)部(bu)天(tian)氣(qi)預(yu)報(bao),每(mei)個(ge)風(feng)機(ji)每(mei)個(ge)截(jie)麵(mian)都(dou)要(yao)做(zuo),還(hai)要(yao)做(zuo)到(dao)以(yi)小(xiao)時(shi)計(ji),這(zhe)非(fei)常(chang)難(nan)的(de),這(zhe)是(shi)一(yi)個(ge)世(shi)界(jie)難(nan)題(ti),非(fei)常(chang)難(nan)做(zuo)。
我(wo)們(men)有(you)時(shi)候(hou)有(you)意(yi)無(wu)意(yi)的(de)把(ba)一(yi)個(ge)問(wen)題(ti)複(fu)雜(za)化(hua),做(zuo)結(jie)冰(bing)檢(jian)測(ce),其(qi)實(shi)就(jiu)看(kan)風(feng)機(ji)的(de)運(yun)行(xing)狀(zhuang)態(tai),就(jiu)看(kan)它(ta)的(de)出(chu)力(li)和(he)風(feng)速(su)的(de)關(guan)係(xi),有(you)沒(mei)有(you)一(yi)個(ge)持(chi)續(xu)的(de)緩(huan)慢(man)的(de)下(xia)降(jiang),或(huo)者(zhe)再(zai)綜(zong)合(he)其(qi)他(ta)的(de)故(gu)障(zhang)信(xin)息(xi),就(jiu)能(neng)把(ba)一(yi)個(ge)問(wen)題(ti)簡(jian)化(hua)不(bu)少(shao)。
因陋就簡:數據基礎不健全,就輕易放棄
是不是數據基礎不好,我就不要做大數據?對數據分析師來說,數據質量從來沒好過。
我也接觸過商業的數據,銀行的數據、電信的數據稍微偏好一點,但是對我們數據分析師那種孜孜不倦的要求來講,數據質量從來沒好過,我是深有體會。
以yi前qian在zai境jing外wai做zuo過guo一yi個ge城cheng市shi管guan網wang的de失shi效xiao預yu測ce,預yu測ce一yi個ge地di下xia水shui管guan網wang,明ming年nian哪na個ge管guan子zi可ke能neng會hui壞huai?從cong數shu據ju的de質zhi量liang講jiang,客ke戶hu非fei常chang自zi信xin,因yin為wei他ta的de信xin息xi化hua水shui平ping大da概gai領ling先xian於yu國guo內nei十shi多duo年nian。
我需要最基本的管網的管件、管材管理,所處位置,地麵的交通數據、環境數據,包括附近有什麼建築物,他的土地利用性質,還需要天氣數據……他ta說shuo這zhe都dou有you,一yi個ge地di方fang政zheng府fu能neng把ba每mei條tiao道dao路lu的de交jiao通tong流liu量liang,每mei個ge地di方fang土tu地di使shi用yong性xing質zhi附fu近jin有you什shen麼me建jian築zhu物wu,包bao括kuo最zui近jin有you沒mei有you下xia雨yu,甚shen至zhi整zheng個ge管guan網wang的de壓ya力li區qu,平ping均jun水shui壓ya是shi多duo少shao都dou能neng給gei出chu來lai。
如果單個看,每種數據缺失都不太嚴重,數據完整度能到80%。但是一旦把這些因素關聯起來,要建模型的時候,我要把管網本身的特性、土地使用性質、天氣信息、土壤的酸堿度信息等綜合來預測,這時候一一關聯起來就發現,真的有完整數據的管道,不到30%。
zheqishirangkehufeichangzhenjing,shujujixianghugulizhe,youxieziduanouerqueyidianyebumingxian,danshiduishujufenxilaishuo,woyaoguanlianqilaikan,yaohengzhekanshuzhekan,suoyiwoduishujuzhiliangdeyaoqiufeichanggao。
從(cong)我(wo)們(men)數(shu)據(ju)分(fen)析(xi)來(lai)看(kan),其(qi)實(shi)數(shu)據(ju)基(ji)礎(chu)健(jian)不(bu)健(jian)全(quan)都(dou)是(shi)相(xiang)對(dui)的(de),有(you)些(xie)數(shu)據(ju)分(fen)析(xi)發(fa)現(xian)的(de)數(shu)據(ju)缺(que)失(shi),也(ye)是(shi)幫(bang)助(zhu)信(xin)息(xi)化(hua)建(jian)設(she)來(lai)把(ba)它(ta)不(bu)斷(duan)的(de)補(bu)全(quan)的(de)一(yi)個(ge)過(guo)程(cheng)。有(you)什(shen)麼(me)樣(yang)的(de)數(shu)據(ju)做(zuo)什(shen)麼(me)樣(yang)事(shi),哪(na)怕(pa)數(shu)據(ju)不(bu)全(quan),也(ye)可(ke)以(yi)從(cong)簡(jian)單(dan)的(de)做(zuo),從(cong)容(rong)易(yi)的(de)做(zuo),從(cong)基(ji)礎(chu)比(bi)較(jiao)好(hao)的(de)地(di)方(fang)做(zuo)。
任何一個正常的科學技術都是有邊界的,工業大數據作為一個技術,肯定有適用和不適用的範圍。