與IT相似，情報機關也在努力通過創(chuàng)新獲得快速分析大量來自不同源頭的數(shù)據(jù)能力。

　　雖然最近一段時間以來，美國國家安全局及其它情報機關大規(guī)模收集個人數(shù)據(jù)的做法引發(fā)了廣泛爭議;但從技術角度來看，通過分析將數(shù)據(jù)轉化為可操作信息仍然是一項巨大挑戰(zhàn)，即使是最具權勢的機構在面對此類難題時也感到有些無可奈何。

　　在剛剛于紐約召開的安全創(chuàng)新網絡峰會上，中央情報局科學與技術部門副主任Dawn Meyerriecks致辭稱，處理所有業(yè)務相關數(shù)據(jù)對于任何機構而言都仍是一項重大挑戰(zhàn)。甚至在成功收集之后，機構成員以實時形式對數(shù)據(jù)進行分析都無法做到。

　　“要查看一遍下一分鐘在互聯(lián)網上傳輸?shù)乃幸曨l，我們要花上整整五年時間，”Meyerriecks解釋道。“因此我們根本不具備處理全部現(xiàn)有數(shù)據(jù)的能力。”

　　因此，美國中央情報局正在集中資金投向分析應用程序及系統(tǒng)的研發(fā)領域，旨在幫助自身更便捷地對來自不同來源的數(shù)據(jù)加以分析——這是為了避免將浩如煙海的數(shù)據(jù)保存在有限的內部存儲體系當中，Meyerriecks告訴我們。

　　大多數(shù)研究與開發(fā)活動都通過in-Q-tel(一家由中央情報局創(chuàng)立的風險投資公司)以及情報高級研究項目活動機構(簡稱IARPA，由高級研究項目署建立)共同負責管理。

　　根據(jù)Meyerriecks的說明，以IARPA的“集團性偶然事件評估(簡稱ACE)”為例，該項目希望通過對先進分析技術的研究簡化數(shù)據(jù)分析流程。而IARPA的“知識發(fā)現(xiàn)與傳播”計劃則意在從適配器及語義技術角度出發(fā)讓數(shù)據(jù)發(fā)現(xiàn)及實施變得更加簡單，最終從中獲取更具價值的背景信息。

　　雖然中情局的運營規(guī)模明顯超過一般性企業(yè)，但德雷斯納咨詢服務公司首席研究官Howard Dresner表示自身所在機構的IT部門在深入探索大數(shù)據(jù)的過程中，同樣面臨諸多來自高級分析技術的挑戰(zhàn)。即使是將Hadoop作為數(shù)據(jù)存儲框架，來自數(shù)據(jù)收集與大規(guī)模數(shù)據(jù)關聯(lián)的成本仍然相當昂貴。

　　為了降低這部分成本，技術人員想出了各種辦法。如果分析能夠針對來自多種來源的大量數(shù)據(jù)，那么處理費用將大大減少。“沒人能有短期之內從根本上解決成本問題，”Dresner指出。“我們能做的只是首先通過標準化方式對數(shù)據(jù)進行索引。”

　　當然，系統(tǒng)集成商普遍將大數(shù)據(jù)看作一次重大的發(fā)展機遇。舉例來說，CSCS剛剛收購了數(shù)據(jù)分析即服務廠商Infochimps公司，從而通過Hadoop與NoSQL數(shù)據(jù)庫的結合實現(xiàn)數(shù)據(jù)整理。

　　根據(jù)CSC公司數(shù)據(jù)服務主管Travis Koberg的說法，系統(tǒng)集成商希望大數(shù)據(jù)分析領域能夠實現(xiàn)跨應用程序起效并進一步作用于內部及云計算平臺。“我們正努力為大數(shù)據(jù)打造一套工業(yè)強度級別的平臺，”Koberg指出。“但我們仍然堅信大部分應用程序都能成功實現(xiàn)聯(lián)合。”

　　最終形勢將發(fā)展到何種程度目前還不清楚。就現(xiàn)在來看，命運的指針正朝著云聚集數(shù)據(jù)緩緩移動。然而將全部數(shù)據(jù)加以聚合的成本將繼續(xù)增加，IT行業(yè)與情報機構已經清醒地意識到，只有技術突破才能幫助自己在無關數(shù)據(jù)保存位置的前提下實現(xiàn)大數(shù)據(jù)分析目標。