close

【Jo Lin - Digital科技新知】 趨勢科技的海量資料應用

說到海量資料,海量資料,對企業來說是很大的寶藏,

如果企業能將海量資料當中,找出可用的資訊,可能會對企業帶來莫大的幫助。

讓我們一起來看看,趨勢科技,如何將這些資料應用在資安領域上吧!

 

以下文章取用自WIRED網站,

http://wired.tw/2013/05/13/bdma_7_4_trend-micro/index.html

【WIRED特刊】趨勢科技探勘資料礦脈:聚焦多樣性,探索未知

By 李國芬   | 13 五月 2013

Photo: West Midlands Police/filckr

 

將資料抽絲撥繭,在看似獨立不相關的資料堆裡,找出關聯性;比對多種資料,勾勒出清晰的消費者形象。從資料多樣性的發想,可能為未知找出具體答案。

企業應用Big Data的「Before」、「After」,運作效益如何改變?

趨勢科技子公司、騰雲計算事業開發協理陳志昇,不經意想起一段5年前發生在辦公室裡的尋常互動,為Big Data的應用效益,做了鮮明易懂的註腳。

及時決策的好用工具

當時,主管希望工程師「分析一下昨天的十大惡意網站」。這個要求在以資訊安全軟體為核心產品的公司,聽來並不過分,但工程師卻花了整整兩天時間才「跑」完所有資料,找到主管想要的答案。

但是,防毒最重視預警與即時,落後兩天的過時資料,早就派不上用場,難怪主管忍不住抱怨,「怎麼這麼慢?」電腦速度就只能這麼「快」,工程師也愛莫能助。直到5年後,是Big Data讓情況完全改觀,同樣分析昨天的惡意網站,使用Big Data只要15分鐘。

趨勢科技後來進一步徵求客戶同意,回收使用行為資料,努力擴大資料的規模,以從中找出關聯性,研發有效事先預防惡意網站的資安軟體。

使得效率大幅突破的關鍵,只因為Big Data的「3V」看家本領,多量性(Volume)、多樣性(Variety)與速度性(Velocity),這些剛好「破解」這類分析所需,但過去一直欠缺的「大海撈針」式一一比對資料、以及滴水不漏的高度準確與速度。

換言之,資料處理量動輒GB、TB起跳的Big Data,絕對是企業快速分析大量資料的最佳利器,治安、交通運輸、使用者行為分析,便是應用Big Data會展現大效益的三個領域。

Big Data清除治安黑洞

在科學辦案時代,Big Data極適於協助警政單位打擊犯罪。騰雲計算曾經接受亞洲一個警政單位委託,參與建置指紋辨識系統,「快速」與「大量」是委託單位的最迫切的需求,新指紋辨識系統必需提高比對速度,增加指紋取樣數(容)量。

緝捕罪犯往往千鈞一髮,陳志昇說,如果罪犯就在門口,「光明正大」接受門禁系統的辨識,如果系統速度不夠快,錯放的機率就會增加,降低安全性。

至於辨識系度的敏銳度與聰明,則與資料庫取樣數量的豐富程度成正比,若要系統有能力辨識亞森羅蘋,資料庫裡得先存有可供比對的亞森羅蘋指紋才行。

但是,採垂直式擴充的傳統伺服器最大瓶頸,正是儲存容量有限,並且無法隨意擴充。

假設警政單位的資料庫容量只夠儲存「前一百大」罪犯的檔案,其他不夠「大尾」的更多罪犯資料,只好捨棄,形同漏網之魚;而各警政分支單位的資料也不能彙整至總部,因為資料量過大,電腦系統的根本無法負荷。

這在民眾聽來簡直匪夷所思的情形,確實是資訊科技上曾經難以跨越的一大步,直到Big Data改採橫向擴充技術,打破伺服器擴充的天花板,警方才可能將所有犯罪資料,一網打盡。

收集影像資料  不怕檔案大

從美國到亞洲,愈來愈多城市應用Big Data速度性與多量性的雙「V」特性,維護城市治安,利用路口、停車場出入口等地點設置的監視器,錄下人臉、車牌影像,遇有交通事故爭議,或犯罪案件時,警方立刻可以調閱影像資料,研判事故責任或追查可疑人車。

影像資料的運用不僅止於治安,國內已有無線電計程車業者,收集每輛車行車紀錄器所拍攝影像,黃志昇說,行車影像所資料的記錄,包括行駛路線與沿線動態,開發價值很高,例如職業駕駛常有不塞車、行駛時間較短的私房路線,若將離尖峰流量等因素加入,分析出「最佳路線」,有助車隊駕駛的時間管理,提高單位時間收入。

Photo: DennisSylvesterHurd / flickr

 

創意來自交叉比對

在Big Data的3V特性中,陳志昇提醒,值得聚焦關注「多樣性」,因為,透過多樣資料的交叉比對,是提煉創新策略的最可能途徑。

目前積極於多樣性資料分析的產業,可以兩岸電信業者為代表,不約而同用戶的手機上網行為,是他們共同感興趣的主題。

電信業者的機房,就是一座資訊寶庫,其中至少包含4類具有廣告含金量的資料:一是帳戶資料,也就是門號所屬系統、使用者性別等,其次分別為通聯記錄、上網行為、簡訊行為。

手機用戶在全天不同時段的上網行為,就是典型的多樣性資料,從用戶晨起看電子報、午休前尋找美食資訊、下班通勤時間玩Game看影片等習慣,推估使用者的生活型態與偏好資訊,進而轉化為廣告機會。

針對時常上網搜尋美食情報的使用習慣,廣告主可善用用餐時段,推播使用者所在區域的餐廳訊息,由於訊息發送較符合個人偏好,被視為垃圾資料的機率也隨之降低。

提高準確度,激發策略的創意思考,是將多樣性資料做交叉比對的優點。以Big Data的熱門應用「使用者行為分析」來說,電信或網站業者可以善加運用流量統計,例如三成男性時常關注汽車網站、兩成女性瀏覽美粧資訊等,使用者在網路上留下的喜好軌跡,已為廣告訴求指引明確的目標。

而在協助犯罪防治的案例中,善用多樣性資料,更能明顯降低查緝的誤判率;警政單位的罪犯資料庫中,如果有包含指紋、人臉、血型等多種資料,交叉比對的結果自然會更精準。

運用商業智慧  成本降低

Big Data讓企業可以用合理的成本,更大規模而靈活的開採資訊(data mining),運用商業智慧。陳志昇說,以較低成本,速度更快地處理大量資料,是Big Data最具革命性的突破,而Big Data使用開放原始碼軟體,是成本得以大幅降低的最主要原因。

成本降低,意謂企業運用商業智慧的門檻也隨之下降,過去想用但無力處理的龐大資料,終於有機會展現價值。陳志昇提醒,即使是被直接判定為垃圾而剔除的資料,也可能分析出有用的成分,「應用Big Data,企業能更有方法地探索『未知』。」

回歸Big Data的「3V」本質,如此強大工具,還需有足夠豐富、可供分析的資料,才有用武之地。陳志昇認為資料量不必一味追求大量的看法,與多數Big Data專家一致,具探勘價值的資料,即使少量也能反映有意義的訊息。

而對於高度仰賴知識管理來增進經營效率的企業,必需有策略地收集資料,以應未來所需; Big Data日漸受重視的趨勢,看來已連帶創造「資料有價」的市場,企業的資料實力,會是為競爭力加分的元素。

企業走入校園  培育Big Data人才 

Big Data源起於Google工程人員所發表的數篇論文,以及後續開放原始碼(open source)高手接力開發的軟體,美國以外的資訊人員才漸漸認知Big Data。

趨勢科技在近6年前投入研究Big Data,陳志昇說,並不是出於對產業發展趨勢的敏銳嗅覺,純粹只為解決在分析為數龐大的URL資料時,所遭遇的問題,也就是數量太大、速度太慢等目前為人熟知的困擾。

趨勢從解決自身問題出發,工程人員以熟悉的Linux為起點,在做中學,漸漸與美國的Big Data人員產生交流,並因為資安專業背景受到重視,加入相關組織,成為委員會成員。

有感於台灣具有極佳發展雲端科技及Big Data應用的潛力,應該及早開始人才培育,以免落後技術起源的美國。2010年,趨勢科技首先在台大捐贈設立雲端學程,隔年又與輔大合作開辦雲端學程;而自2000年開辦的校園程式設計大賽,2013也以Big Data為主題,讓來自台灣、日本、菲律賓、大陸的學生,以應用程式的設計創意,競技交流。

arrow
arrow

    ksjolin facebook 發表在 痞客邦 留言(0) 人氣()