1. 數據采集：讓數據匯聚到一起

　　當前，以大數據、物聯網、人工智能為核心的數字化浪潮正席卷全球，全世界每時每刻都在產生大量的數據，人類產生的數據總量呈指數級增長。面對如此巨大的數據規模，如何采集并進行轉換、存儲以及分析，是人們在數據開發利用過程中面臨的巨大挑戰。其中，數據采集又是所有數據處理行為的前提。

　　數據采集是指從系統外部采集數據并輸入到系統內部的過程。數據采集系統整合了信號、傳感器、激勵器等數據采集設備和一系列應用軟件。目前，數據采集廣泛應用于互聯網及分布式領域，如攝像頭、麥克風都是數據采集工具。

　　數據采集并不是隨隨便便、雜亂無章地采集數據，而是對數據有一定的要求。例如，要求數據量是全面的，具有足夠的分析價值；是多維度和多類型的，能夠滿足不同的需求；是高效的，具有比較明確的針對性和時效性。常用的數據采集方法主要有傳感器采集、日志文件采集、網絡爬蟲采集。

　　傳感器采集：傳感器通常用于測量物理變量，一般包括聲音、溫濕度、距離、電流等，將測量值轉化為數字信號并傳送到數據采集點，讓物體擁有“觸覺”“味覺”和“嗅覺”等“感官”，變得鮮活起來。

　　日志文件采集：日志文件數據一般由數據源系統產生，用于記錄對數據源的各種操作活動，如網絡監控的流量管理、金融應用中的股票記賬和Web服務器記錄的用戶訪問行為。很多互聯網企業采用日志文件采集方式，如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等。這些工具均使用分布式架構，能滿足每秒數百MB的日志數據采集和傳輸需求。

　　網絡爬蟲采集：網絡爬蟲是指為搜索引擎下載并存儲網頁的程序，它是針對搜索引擎和Web緩存的主要數據采集方法。該方法將非結構化數據從網頁中抽取出來，以結構化的形式將其存儲為統一的本地數據文件，支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關聯。

　　由于所采集數據的種類錯綜復雜，因此對不同種類的數據進行分析必須運用提取技術。通過不同方式，可以獲得各種類型的結構化、半結構化及非結構化的海量數據。在現實生活中，數據的種類有很多。而且，不同種類的數據，其產生的方式不同。針對大數據采集，目前主要流行運用以下技術。

　　Hive：Hive是由Facebook開發的數據倉庫，可支持SQL相似的查詢聲明性語言（HiveQL），可自定義插入相關腳本（Map-Reduce），并且支持基本數據類型、多種集合和組合等。只需要一些簡單的查詢語句，就能分析計算數據倉庫中的數據。

　　Transform：Transform操作是大數據采集中的一個關鍵流程，利用多種數據分析和計算系統對清洗后的數據進行處理和分析。

　　Apache Sqoop：將數據在Hadoop HDFS分布式文件系統和生產數據庫相互轉換，需要考慮數據是否一致，以及資源配置等問題。為了防止使用效率不高的腳本進行傳輸，將使用Apache Sqoop。Apache Sqoop能快速實現導入和導出數據，解決數據來回轉換中暴露的問題，還可通過數據庫元數據預測數據類型。

　　數據采集是挖掘數據價值的第一步，當數據量越來越大時，可提取出來的有用數據必然也就更多。只要善用數據化處理平臺，便能夠保證數據分析結果的有效性，助力實現數據驅動。

　　2. 數據分析：機器學習和深度挖掘

　　數據分析是指用適當的統計方法對數據進行分析，將它們加以匯總和理解并消化，以求最大化地開發數據功能。數據分析的目的是把隱藏在一大批看似雜亂無章的數據背后的信息提煉出來，并總結出內在規律。

　　數據分析的概念不難理解，但數據分析是通過什么方法來實現的呢？這就要借助機器學習。機器學習是研究如何用機器來模擬人類學習活動的一門學科，它是研究機器如何獲取新知識和新技能并識別現有知識的學問。此處所說的“機器”是指計算機、電子計算機、中子計算機、光子計算機或神經計算機等。機器學習主要包括三種類型：監督學習、無監督學習及強化學習。

　　監督學習從給定的訓練數據集中學習一個函數，當有新數據時，可以根據這個函數預測結果，如圖1、圖2所示。監督學習的訓練集要求包括輸入和輸出，也可以說是特征和目標。訓練集中的目標是由人標注的。監督學習分為回歸和分類兩種類型，包括線性回歸、Logistic回歸、CART、樸素貝葉斯、KNN等幾種算法。回歸是精確值預測。例如，根據已有的銷售價格和銷售數量建立模型，預測新銷售價格對應的銷售數量，就是回歸的過程。

　　圖1  監督學習模型

　　圖2  監督學習預測模型

　　無監督學習就是輸入一些并不知道輸出的數據，然后給這些數據打上標簽，如圖3所示。它主要有關聯、群集及維度降低三種類型，集中使用Apriori、K-means、PCA三種算法。其實，我們每天看的新聞分類就是一個無監督學習，由新聞網站收集網絡新聞，根據主題將新聞分成各類鏈接，讀者點擊鏈接時會展現相關的新聞，而這些新聞的關聯性不是人工實現的，是算法自動分的。簡單地說，監督學習是根據已經存在的數據，如現有銷售價格和銷售數量，預測在新的銷售價格下能賣出多少數量的商品；而無監督學習則是在不知道數據的輸出是什么的情況下，根據特征進行分類和預測。

　　圖3  無監督學習模型

　　強化學習是讓機器通過不斷的測試，在環境中獲得高分。在這個過程中，機器會一而再、再而三地出錯，從而獲取規律。近兩年比較有名的Alpha Go事件，其實就是機器通過不斷學習游戲和變換新步驟而得到高分的實例。那么，計算機是怎樣學習的呢？其實，計算機就像一位虛擬的老師，只是這位老師比較嚴厲，它不會提前告訴你怎樣移動，不會教你怎樣學習，就像學校的教導主任一樣只對你的行為進行監督和打分，而不負責教學。在這種情況下，我們怎樣獲得高分呢？我們只需要記住高分和低分分別對應的行為，在下一次打分時盡量表示出高分行為，避免低分行為，就能夠做到。據此，機器學習主要是從歷史數據獲得模型來預測未知屬性，而人類是通過經驗總結規律以預測未來，如圖4所示。

　　圖4  機器學習與人類思考對比

　　說到機器學習，不能不提到近年來出現的一個新詞——信息機器。信息機器與信息技術密切相關，它不是傳統意義上的機械機器，而是接收信息、處理信息的新型機器，誕生于媒介新技術的革新和變遷，更多地體現出人類與機器的交互性。例如，在機器學習的過程中，實際上機器也不斷地產生數據和信息，這種現象值得人們高度關注和研究。

　　除了機器學習，還要提到數據分析的另一種方法——深度挖掘。這就好比挖掘機挖土，挖得越深，就越有可能挖到有價值的東西。數據領域的深度挖掘，就是從大量數據中通過算法搜索隱藏于其中的信息的過程。深度挖掘本質上類似于機器學習和人工智能的基礎，其主要目的是從各種各樣的數據來源中提取有用信息，然后將這些信息合并，深度分析其中的規律和內在關聯。這就意味著深度挖掘不是一種用來證明假說的方法，而是用于構建各種各樣假說的方法。深度挖掘不能告訴人們這些問題的答案，只能說明A和B可能存在相關關系，但是無法說出A和B存在什么樣的相關關系。與機器學習相比，深度挖掘的概念更廣，機器學習只是深度挖掘領域的一個分支領域。

　　深度挖掘廣泛應用于商務管理、生產控制、市場分析、工程設計和科學探索中，通過各種方法來挖掘數據，主要包括分類、回歸分析、聚類、關聯規則、特征、變化和偏差分析、Web頁挖掘等，它們分別從不同的角度對數據進行挖掘。

　　數據挖掘是一種決策支持過程，它通過高度自動化地分析企業的數據，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調整市場策略，減少風險，做出正確的決策。在市場經濟比較發達的國家和地區，許多企業都開始在原有信息系統的基礎上通過深度挖掘對業務信息進行深加工，以構筑自己的競爭優勢，擴大自己的營業額。美國運通公司（American Express）有一個用于記錄信用卡業務的數據庫，其數據量已達到5GB，并仍在隨著業務發展而不斷更新。運通公司通過對這些數據進行挖掘，制定了“關聯結算（Relation ship Billing）優惠”的促銷策略，即如果顧客在一家商店用運通卡購買一套時裝，那么在同一家商店再買一雙鞋就可以得到比較大的折扣。這樣既可以增加商店的銷售量，也可以增加運通卡在該商店的使用率。類似的方法在食品行業也備受青睞。全球著名的卡夫（Kraft）食品公司建立了一個擁有3000萬條客戶資料的數據庫。數據庫是通過收集對公司發出優惠券等促銷手段做出積極反應的客戶和銷售記錄而建立起來的。卡夫公司通過深度挖掘了解特定客戶的興趣和口味，以此為基礎向他們發送特定產品的優惠券，并推薦符合他們口味和健康狀況的卡夫產品食譜。此外，出版業也是數據深度挖掘的受益者。例如，美國讀者文摘（Reader's Digest）出版公司運行著一個已有40年積累的業務數據庫，里面包含遍布全球的1億多個訂戶的資料，數據庫每天24小時連續運行，保證數據不斷實時更新。正是基于對客戶資料數據庫進行深度挖掘的優勢，讀者文摘出版公司的業務才能夠從通俗雜志擴展到專業雜志、書刊和音像制品的出版和發行。

　　3. 數據關聯：因果關系or相關關系

　　大數據時代，紛繁蕪雜的數據描述的是一個混沌的世界，只有找出看似不相干的數據背后隱藏的邏輯關系和本質規律，才可能看清楚許多真相。目前，對于數據之間的關系，存在兩種較主流的看法，即因果關系和相關關系。

　　對于因果關系，通俗地解釋是指一個事件（即“因”）和另一個事件（即“果”）之間的作用關系，其中后一事件被認為是前一事件的結果。從西方哲學的角度來看，亞里士多德較早提出的“四因說”，即質料因、形式因、動力因、目的因，歸納了一般導致結果發生的幾個原因解釋。后來，在亞里士多德宇宙論的基礎上，托馬斯· 阿奎那又對這四種原因進行了等級排列，認為目的因>動力因>質料因>形式因。阿奎那把第一因歸為上帝，認為塵世的很多事件都是在上帝的設計或計劃之中。這種觀點流傳了很久。不過，在后來的歷史中，亞里士多德的“四因說”遭到了后世學者的批評。當代西方哲學中廣為流傳的關于因果關系的定義出自大衛· 休謨的理論。他提出，人們只是發展了一個思考習慣，把前后相繼的兩類客體或事件聯系起來，除此之外，人們是無法感知到原因和結果的。然而，雖然圍繞因果關系是否存在的爭論一直延綿不絕，但不可否認的是在傳統社會中，因果關系的確對人們分析事物的原因起著巨大的潛移默化的作用。

　　大數據時代，由于數據對經濟生活各個方面的影響，有學者對事物之間的關聯提出了新的詮釋。例如，舍恩伯格在《大數據時代》一書中一再強調，人們應該在很大程度上從對因果關系的追求中解脫出來，轉而將注意力放在相關關系的發現和使用上。他提出，相關關系是指當一個數據發生變化時，另一個數據也可能隨之變化，這兩個數據有時候沒有必然聯系。兩者可能是正相關，也可能是負相關；可能是強相關，也可能是弱相關。“我們沒有必要非得知道現象背后的原因，而是要讓數據自己發聲”“相關關系能夠幫助我們更好地了解這個世界”，他認為建立在相關關系分析法上的預測是大數據的核心。通過找到關聯物并監控它，人們就能夠預測未來。在大數據的背景下，相關關系較因果關系能在預測功能上展現出更大的優勢。對于人們來說，大數據最關鍵的作用就是利用相關關系進行研究，把數據里面的金子挖出來，或者利用相關性預防或促成某些結果的發生。由于數據超級海量，需要一定的速度應對信息社會“數據爆炸”和諸多涌現出來的“復雜性”，然后才是對其過程和背后原因的探詢。

　　舍恩伯格提到的相關關系與因果關系有很明顯的不同。因果關系中，當一個表示原因的數據發生變化時，它對應的結果數據也會發生變化，這兩個數據一定是必然關系。但是，有的時候追求因果關系顯得既無必要又無可能。例如，在實際生活中，如果要證明熬夜導致禿頭，可以找兩組身體狀況基本一樣的人，讓一組熬夜，另一組在正常時間睡覺。如果熬夜組禿頭的概率大于不熬夜組，那么基本可以證明熬夜和禿頭存在因果關系。但是，這種實驗在現實中很難做到，因為連原本的客觀環境都不能保持一致。而且，這種實驗也違背道德，因為很難逼大家熬夜，也無法實時追蹤是否熬夜。因此，用因果關系來證明和解釋這個現象有待商榷。

　　那么，大數據時代的關系到底是因果關系、相關關系，還是因果關系和相關關系并存呢？這大概還是取決于人們對數據功能的定位。在相關關系中，預測是大數據的核心功能。對于快速變化的世界來說，探究相關關系的確比因果關系成本更低，耗時更少，而且也更顯必要。例如，全球最大的零售商沃爾瑪擁有一個超大型的歷史交易記錄數據庫，這個數據庫包括每位顧客的購物清單、消費額、購物籃中的商品、具體的購買時間以及購物時的天氣。經過分析發現一個規律，就是每當季節性颶風來臨之前，不僅手電筒的銷量增加，蛋撻的銷量也會增加。因此，后來每當季節性颶風來臨時，沃爾瑪會把庫存的蛋撻放在靠近颶風用品的位置，這樣既方便了行色匆匆的顧客，又大幅增加了商品的銷量。在這樣的案例中，并沒有必要探究為什么手電筒和蛋撻的銷量會增加，只要知道這種相關關系就行。

　　通過相關關系進行預測的案例還有很多。美國折扣零售商塔吉特曾經做過一項關于懷孕女性的預測。公司分析團隊查看了登記在嬰兒禮物登記簿上的女性消費記錄，發現這些準媽媽會在懷孕第三個月左右的時候買很多無香乳液，之后還會陸續買些營養品，整個孕期大概能產生對20多種關聯物的需求。通過這些關聯物，公司分析團隊可以看出準媽媽們的懷孕趨勢，甚至能夠據此準確地推測出她們的預產期，這樣就能夠在她們孕期的每個階段給她們寄送相應的優惠券，從而增加銷售額。所以，不論是追求相關關系，還是因果關系，歸根結底都是看其能為主體提供什么樣的價值，以及主體需要實現什么樣的價值。

　　4. 數據質量：“清洗”后的數據更可靠

　　大數據時代，人們關注的焦點是如何發揮數據的價值，卻鮮有人關注數據質量這個最根本的問題。實際上，大數據處理的關鍵是解決數據質量問題。《大數據資產：聰明的企業怎樣致勝于數據治理》一書的作者托尼·費舍爾（Tony Fisher）曾提到：“如果基本數據不可靠，大多數企業的大數據計劃要么會失敗，要么效果會低于預期。造成上述結果的關鍵原因在于，數據生命周期之中流入了不一致、不準確、不可靠的數據。”糟糕的數據質量常常意味著糟糕的業務決策，將直接導致數據統計分析不準確、監管業務難、高層領導難以決策等問題。據IBM統計，錯誤或不完整的數據會導致業務系統不能正常發揮優勢甚至失效；數據分析員每天有30%的時間浪費在辨別數據是否是“壞數據”上；低劣的數據質量嚴重降低了全球企業的年收入。因此，只有規避數據錯誤、保障數據質量，才能真正讓各數據使用方從大數據應用中獲益。

　　近年來，數據質量管理應運而生。所謂數據質量管理，是指對在數據存在的各個周期中出現的一系列數據質量問題，利用識別監控等措施改善和提高數據質量的管理水平。

　　其中，數據清洗是數據質量管理中重要的一環，主要是對數據進行重新核驗，修正錯誤數據和去除重復數據，通過過濾掉這些“臟數據”，盡可能地使數據保持一致性和準確性，提高數據質量。

　　關于數據質量管理，不同的主體有不同思路。曾有篇文章以古人治理黃河水患為例來說明如何管理數據質量，令人印象深刻。

　　文章提到，現在的數據集成融合就和古人筑堤壩一樣：古人筑堤壩是為了約束河水，拓展人類的生存空間；今人做數據集成融合是為了挖掘數據價值，拓展企業的生存空間。古人提出：在修筑大堤前，黃河“左右游蕩，寬緩而不迫”；筑堤后河道變窄，發生洪水時泄流不暢，常決口為患。如今的企業在信息化初期，各類業務系統恣意生長，這個階段就像修筑大堤前的黃河雖然有問題，但是不明顯。后來，企業業務需求增長，需要按照統一的架構和標準把各類數據集成起來，這個階段就像筑堤束水之后的黃河，各種問題撲面而來。古人治理黃河水患，主要有兩種方式，一種是“疏通”，另一種是“圍堵”。數據質量治理也可以借鑒古人“疏”與“堵”的智慧和考量。“疏”就是開展頂層設計，制定統一數據架構、數據標準，設計數據質量的管理機制，建立相應的組織架構和管理制度，采用分類處理的方式持續提升數據質量。“堵”就是依賴技術手段，通過增加數據清洗處理邏輯的復雜度，使用數據質量工具來發現數據處理中的問題。

　　5. 數據反壟斷：避免數據孤島的新手段

　　在2018年12月25日舉行的新興科技中國全球峰會上，被譽為“互聯網之父”的麻省理工學院教授蒂姆·伯納斯·李發表了重要講話。1991年，他提出了互聯網的基石協議——超文本傳輸協議，并進一步發明了互聯網。然而，在此次會議上，“互聯網之父”對當前的互聯網表示了失望，稱“已經失去了原有的精神，需要破而后立”。

　　伯納斯·李指出，互聯網的發展曾經有一個非常重要的長尾效應。不同規模的企業都有自己的生存空間。但是今天，長尾效應失敗了。目前，互聯網世界的頭部效應是明顯的，一些網站占據了主導地位及大部分市場份額。他指出，人類仍然面臨許多“數據孤島”。每個人都在互聯網上產生了很多數據，但是這些數據都在像Facebook這樣的大公司手里，而且無法連接。這些孤立的“島嶼”不尊重個人，令人沮喪。互聯網誕生的初衷是人們可以在互聯網世界中形成一個“自由開放的社區”來展示自己的個人想象力。然而，在目睹了一系列個人數據濫用丑聞后，他對互聯網的現狀感到失望。

　　伯納斯·李對現在互聯網的不滿可以歸根于一個很時髦的詞——數據壟斷。現在，人們提到數據壟斷，主要形容“重要數據被控制在少數人手中，并被不合理地分配和使用”的一種狀態，而且主要針對互聯網巨頭企業而言。其實，最早出現的“數據壟斷”一詞是針對政府的，與“數據民主”相對應。近年來，美國、英國、澳大利亞、新西蘭等國家相繼建立了政府數據門戶，將以前由政府擁有的公共數據推上互聯網，掀起了“數據民主化”的浪潮。所謂數據民主化，是指將政府、企業等所擁有的各類公共數據推上互聯網，允許任何人訪問和下載。也就是說，政府不應該成為數據的壟斷者，公民應該擁有對數據的知情權、發言權和決策權。

　　在我國，“數據壟斷”一詞是伴隨著菜鳥和順豐事件而興起的。2017年“六一”兒童節期間，菜鳥和順豐像兩個爭搶糖果的小孩子在網絡上隔空“掐架”：6月1日下午，菜鳥官微發出一則“菜鳥關于順豐暫停物流數據接口的聲明”，稱順豐主動關閉了豐巢自提柜（由深圳順豐投資有限公司控股的豐巢科技所提供的智能快遞自提柜）和淘寶平臺物流數據信息回傳；隨后，順豐回應稱，菜鳥以安全為由單方面切斷了豐巢的信息接口，并指責菜鳥索要豐巢的所有包裹信息（包括非淘系訂單），認為菜鳥有意讓其從騰訊云切換至阿里云。不過，監管部門并沒有讓這場“掐架”持續多久。在國家郵政局的調停下，6月3日12點，菜鳥和順豐握手言和，全面恢復了業務合作和數據傳輸。

　　然而，這場突如其來的鬧劇，最后卻是由用戶和賣家買單。在菜鳥和順豐切斷數據接口后，淘寶天貓的賣家無法通過后臺錄入順豐快遞單號，相當一部分賣家受到影響。根據菜鳥網絡給出的說法，雙方發生爭執后，菜鳥收到了大量賣家和消費者的詢問。受影響的賣家擔心的是如果繼續采用順豐發貨，可能造成財產損失，也會引起買家集中投訴。但是，由于順豐在冷鏈物流配送的速度上遙遙領先于其他民營快遞公司，要找到合適的替代者確實不容易。

　　菜鳥和順豐事件引起了全民熱議。在輿論發展過程中，討論越來越集中于數據方面，“數據壟斷”問題被提了出來。不過，這里的對象不是政府，而是企業。

　　當前，關于數據壟斷沒有形成統一的定義。從數據占有角度來說，數據壟斷是指獨占數據。但獨占數據本身并不違反《反壟斷法》，即使獨占的是海量數據。從數據流動的角度來說，數據壟斷意味著不共享數據。從個人信息保護角度來說，數據壟斷是指控制個人數據。從數據收益角度來說，數據壟斷是指獨占數據收益。這些說法都有各自的道理，但是又都不完全準確。要構成數據壟斷行為，至少應該包括三個要素：一是數據可能造成進入壁壘或擴張壁壘；二是擁有大數據形成市場支配地位并濫用；三是因數據產品而形成市場支配地位并濫用。

　　2019年2月4日，德國反壟斷機構聯邦卡特爾局（Federal Cartel Office）采取行動禁止德國境內Facebook在未經用戶同意的情況下收集某些類型的消費者數據，指出其數據聚合行為是對其市場力量的濫用。聯邦卡特爾局一再強調，一方面，除非用戶同意，否則Facebook不能將其擁有的WhatsApp或Instagram賬戶數據與其主要平臺上的其他賬戶予以關聯；另一方面，對于從第三方網站收集其個人數據的情形，用戶同樣保有同意權。關于Facebook未來的數據處理政策，聯邦卡特爾局正在引入Facebook數據的內部剝離措施。與此同時， Facebook對這一裁決提出上訴，認為聯邦卡特爾局低估了其在德國面臨的激烈的競爭環境，曲解了其GDPR合規狀態，而且破壞了歐洲法律引入的確保歐盟內整體一致的數據保護標準的機制。