第111章 系統(tǒng)改造
陸道升總算趕在出發(fā)去BJ之前完成了對(duì)hao123爬蟲系統(tǒng)的改造。在原有流程上做了一些優(yōu)化，以及新增了一個(gè)在線的評(píng)審系統(tǒng)。
前世hao123創(chuàng)始人李興平是通過(guò)個(gè)人的全身心投入來(lái)保持hao123的不斷更新和迭代，每天要花十多小時(shí)在人力檢查鏈接是否失效或者被移花接木的問(wèn)題上。
失效的問(wèn)題對(duì)陸道升來(lái)說(shuō)很好解決，就是網(wǎng)站打不開了而已，可能是暫時(shí)的網(wǎng)絡(luò)問(wèn)題，也可能是確實(shí)網(wǎng)站停止服務(wù)了。
總之就是寫程序通過(guò)網(wǎng)址來(lái)請(qǐng)求網(wǎng)站內(nèi)容，分時(shí)段多試幾次，如果都請(qǐng)求不成功，那就是失效了。
最多再加一個(gè)每個(gè)時(shí)間段內(nèi)失效網(wǎng)址數(shù)量的監(jiān)控，占比不超閾值，那么就確認(rèn)這是失效網(wǎng)址，如果超過(guò)閾值，可能是網(wǎng)絡(luò)問(wèn)題造成網(wǎng)站集體訪問(wèn)失敗，發(fā)送報(bào)警到陸道升郵箱但不做處理，等過(guò)段時(shí)間再次檢測(cè)即可。
網(wǎng)址被移花接木就很麻煩了，想通過(guò)技術(shù)手段對(duì)比會(huì)很費(fèi)事，投入產(chǎn)出嚴(yán)重不值得，大頭還是靠人工。
有很多網(wǎng)站運(yùn)營(yíng)一段時(shí)間后難以為繼，就會(huì)關(guān)張大吉，其擁有的網(wǎng)址往往會(huì)被其他人買走另作他用。
這個(gè)另做他用對(duì)陸道升來(lái)說(shuō)就很頭疼。
比如之前做游戲的網(wǎng)址被換成做娛樂(lè)，那就應(yīng)該從游戲分欄里轉(zhuǎn)移到娛樂(lè)分欄。更頭疼的是還有的網(wǎng)址直接被買走搞成了涉黃網(wǎng)站，這就根本不能留了，得直接干掉。
而要做以上判斷，就需要人工審閱。
為了減少審閱工作量，陸道升特意寫過(guò)一個(gè)對(duì)比過(guò)濾的流程，即把網(wǎng)站上一次的文本內(nèi)容緩存下來(lái)，下一次爬取時(shí)進(jìn)行一個(gè)對(duì)比，如果網(wǎng)頁(yè)結(jié)構(gòu)和內(nèi)容變化比例沒(méi)超過(guò)閾值，則直接略過(guò)，認(rèn)為可以保持原有判斷，如果超過(guò)閾值，那就整理起來(lái)輸出為列表，再由人工來(lái)一條條對(duì)比審核。
陸道升本以為針對(duì)不同的網(wǎng)址分類，可以通過(guò)設(shè)置不同的差異度閾值來(lái)進(jìn)一步減少需要人工審核的數(shù)據(jù)量，結(jié)果發(fā)現(xiàn)同網(wǎng)址分類下各個(gè)網(wǎng)址的更新強(qiáng)度天差地別，很難得到一個(gè)大分類適用的數(shù)值，只得作罷。
另一個(gè)雪上加霜的情況就是新網(wǎng)站越來(lái)越多，新網(wǎng)站的加入都需要人工處理以確定是否有收錄的價(jià)值，以及如何分類、排序。
雖然通過(guò)技術(shù)手段已經(jīng)壓縮了絕大部分的工作，但是hao123帶來(lái)的時(shí)間開銷在不斷攀升，陸道升有些擔(dān)心自己哪怕加上左文杏的時(shí)間精力都不足以在保障好網(wǎng)吧管理系統(tǒng)開發(fā)的同時(shí)做好hao123的維護(hù)工作。
而在hao123帶來(lái)正向的廣告收入之前，這段時(shí)間股市的收益也沒(méi)有兌現(xiàn)，陸道升手里的可用資金并不多，招不起人。
也不是說(shuō)招不起幾個(gè)臨時(shí)工，或者找?guī)讉€(gè)網(wǎng)管就當(dāng)給他們個(gè)機(jī)會(huì)賺賺外快，但是這樣的人的責(zé)任心很難保障，錢不怕多花，事兒不能做岔了，寧可等手頭充裕了挑幾個(gè)合用的。
現(xiàn)階段，就只能依靠技術(shù)優(yōu)勢(shì)暫時(shí)壓住增長(zhǎng)的運(yùn)營(yíng)人力開銷了。
另一個(gè)在線的評(píng)審系統(tǒng)，則是陸道升在浦外聽(tīng)到人議論自己時(shí)臨時(shí)想到的，那就是能不能把hao123的審核工作給改造一下，然后變成可以分發(fā)的小塊任務(wù)，通過(guò)郵件分發(fā)給不同的人來(lái)處理，處理完成后進(jìn)行結(jié)果的集中處理。
聯(lián)想的過(guò)程大概如下，聽(tīng)到有人議論自己，覺(jué)得自己好厲害，心中先暗爽一會(huì)兒。
接著想到議論自己的可都是素質(zhì)極高的大學(xué)生，個(gè)人素質(zhì)過(guò)硬，這要是能憑自己現(xiàn)在的校內(nèi)名氣給請(qǐng)來(lái)幫自己分擔(dān)一些hao123的人工審核工作，自己可能就不用天天擔(dān)心對(duì)hao123的精力投入不足，有一天會(huì)被競(jìng)爭(zhēng)對(duì)手干掉了。
而想到這種多人分擔(dān)工作任務(wù)的情景，陸道升立馬回想起前世出現(xiàn)的一種人工標(biāo)注平臺(tái)的業(yè)務(wù)模式（比如appen.com）。
在大數(shù)據(jù)時(shí)代，為了使一些機(jī)器學(xué)習(xí)算法取得良好的效果，就需要大量的樣本數(shù)據(jù)供算法進(jìn)行模型訓(xùn)練。但有時(shí)候搜集不到那么多的有效樣本數(shù)據(jù)，就需要人工進(jìn)行諸如文章分類、圖片標(biāo)注等工作，來(lái)人力產(chǎn)生足夠多的樣本數(shù)據(jù)。
也有一些靠機(jī)器學(xué)習(xí)算法解決不了的問(wèn)題，比如色情圖片，惡意評(píng)論等等，也需要人力審核來(lái)進(jìn)行捕獲。
以上這些事情，大大小小的互聯(lián)網(wǎng)公司都有需求，但是絕大多數(shù)公司都不會(huì)親自雇人來(lái)做這個(gè)事情，而是會(huì)轉(zhuǎn)交給專門從事標(biāo)注工作的第三方公司來(lái)完成。
標(biāo)注工作在參與人員上也有講究，那就是不能人員數(shù)量太少且固定。如果就是雇傭幾十上百個(gè)人，然后去標(biāo)注百千萬(wàn)的數(shù)據(jù)，那么很可能會(huì)出現(xiàn)認(rèn)知偏見(jiàn)。最好是能有更多的不相關(guān)的人來(lái)參與標(biāo)注，這樣累積出來(lái)的數(shù)據(jù)才不會(huì)出現(xiàn)明顯的偏向性，才能讓機(jī)器學(xué)習(xí)算法訓(xùn)練出適用性最強(qiáng)的預(yù)估模型。
為此，這些標(biāo)注公司演化出了一種分派式的業(yè)務(wù)模式。
即先從需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)注的公司那里獲取待標(biāo)注的數(shù)據(jù)合集，然后將數(shù)據(jù)合集分割成一個(gè)個(gè)數(shù)量很少適用于單人的問(wèn)卷，再將這些問(wèn)卷通過(guò)自己構(gòu)建的平臺(tái)分發(fā)給平臺(tái)上的答題人。
一份問(wèn)卷會(huì)多次分配給不同的答題人，以降低回答結(jié)果因?yàn)閭€(gè)人偏見(jiàn)而離實(shí)際太遠(yuǎn)的概率。
這些答題人可能是在校學(xué)生、可能是家庭主婦、可能是待業(yè)青年、可能是公司白領(lǐng)等等等等，總之只要在平臺(tái)上注冊(cè)了答題人賬戶，且通過(guò)了一些很基本的測(cè)試，就可以獲取分派的標(biāo)注問(wèn)卷，通過(guò)回答問(wèn)卷來(lái)獲取一定的金錢報(bào)酬。
雖說(shuō)這種在大數(shù)據(jù)時(shí)代興起的標(biāo)注平臺(tái)需要互聯(lián)網(wǎng)普及帶來(lái)的上網(wǎng)便利，加上電子支付的發(fā)展帶來(lái)的支付便利，此時(shí)不能直接照搬，但是這種思想還是可以借鑒的。
hao123的日常維護(hù)工作并沒(méi)什么特別的技術(shù)含量，主要就是耗時(shí)耗力，完全可以采取類似的方案進(jìn)行工作切分和派發(fā)。
不僅能解放自己，更重要的是可以集眾人之偏好綜合評(píng)斷，就算出現(xiàn)李興平這樣對(duì)用戶需求具備深刻洞察的競(jìng)爭(zhēng)者，在陸道升這種直接聆聽(tīng)大眾用戶反饋的方法面前，也占不到太多便宜了。
系統(tǒng)開發(fā)暫告一段落，陸道升給芮青打了通電話告知行程后，收拾好行裝就坐上火車開始一路向北。
火車上，陸道升皺著眉頭回想著和芮青的通話。
電話是撥給芮青在BJ的住處，也就是自己幫芮青找的地方。
只是在互道再見(jiàn)準(zhǔn)備放下電話時(shí)，陸道升似乎還聽(tīng)到了另一個(gè)女人的聲音。
……