㈠ 詳細解讀你所不了解的「大數據」
詳細解讀你所不了解的「大數據」
進入2012年,大數據(bigdata)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,並命名與之相關的技術發展與創新。它已經上過《》《華爾街日報》的專欄封面,進入美國白宮官網的新聞,現身在國內一些互聯網主題的講座沙龍中,甚至被嗅覺靈敏的證券公司等寫進了投資推薦報告。
一、大數據出現的背景
進入2012年,大數據(bigdata)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,並命名與之相關的技術發展與創新。它已經上過《》《華爾街日報》的專欄封面,進入美國白宮官網的新聞,現身在國內一些互聯網主題的講座沙龍中,甚至被嗅覺靈敏的證券公司等寫進了投資推薦報告。
數據正在迅速膨脹並變大,它決定著企業的未來發展,雖然現在企業可能並沒有意識到數據爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到數據對企業的重要性。大數據時代對人類的數據駕馭能力提出了新的挑戰,也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。
最早提出大數據時代到來的是全球知名咨詢公司麥肯錫,麥肯錫稱:「數據,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對於海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈餘浪潮的到來。」「大數據」在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日,卻因為近年來互聯網和信息行業的發展而引起人們關注。
大數據在互聯網行業指的是這樣一種現象:互聯網公司在日常運營中生成、累積的用戶網路行為數據。這些數據的規模是如此龐大,以至於不能用G或T來衡量,大數據的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T)。
二、什麼是大數據?
信息技術領域原先已經有「海量數據」、「大規模數據」等概念,但這些概念只著眼於數據規模本身,未能充分反映數據爆發背景下的數據處理與應用需求,而「大數據」這一新概念不僅指規模龐大的數據對象,也包含對這些數據對象的處理和應用活動,是數據對象、技術與應用三者的統一。
1、大數據(bigdata),或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據對象既可能是實際的、有限的數據集合,如某個政府部門或企業掌握的資料庫,也可能是虛擬的、無限的數據集合,如微博、微信、社交網路上的全部信息。
大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。從數據的類別上看,「大數據」指的是無法使用傳統流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶採用非傳統處理方法的數據集。
亞馬遜網路服務(AWS)、大數據科學家JohnRauser提到一個簡單的定義:大數據就是任何超過了一台計算機處理能力的龐大數據量。研發小組對大數據的定義:「大數據是最大的宣傳技術、是最時髦的技術,當這種現象出現時,定義就變得很混亂。」Kelly說:「大數據是可能不包含所有的信息,但我覺得大部分是正確的。對大數據的一部分認知在於,它是如此之大,分析它需要多個工作負載,這是AWS的定義。
2、大數據技術,是指從各種各樣類型的大數據中,快速獲得有價值信息的技術的能力,包括數據採集、存儲、管理、分析挖掘、可視化等技術及其集成。適用於大數據的技術,包括大規模並行處理(MPP)資料庫,數據挖掘電網,分布式文件系統,分布式資料庫,雲計算平台,互聯網,和可擴展的存儲系統。
3、大數據應用,是指對特定的大數據集合,集成應用大數據技術,獲得有價值信息的行為。對於不同領域、不同企業的不同業務,甚至同一領域不同企業的相同業務來說,由於其業務需求、數據集合和分析挖掘目標存在差異,所運用的大數據技術和大數據信息系統也可能有著相當大的不同。惟有堅持「對象、技術、應用」三位一體同步發展,才能充分實現大數據的價值。
當你的技術達到極限時,也就是數據的極限」。大數據不是關於如何定義,最重要的是如何使用。最大的挑戰在於哪些技術能更好的使用數據以及大數據的應用情況如何。這與傳統的資料庫相比,開源的大數據分析工具的如Hadoop的崛起,這些非結構化的數據服務的價值在哪裡。
三、大數據的類型和價值挖掘方法
1、大數據的類型大致可分為三類:
1)傳統企業數據(Traditionalenterprisedata):包括 CRMsystems的消費者數據,傳統的ERP數據,庫存數據以及賬目數據等。
2)機器和感測器數據(Machine-generated/sensor data):包括呼叫記錄(CallDetailRecords),智能儀表,工業設備感測器,設備日誌(通常是Digital exhaust),交易數據等。
3)社交數據(Socialdata):包括用戶行為記錄,反饋數據等。如Twitter,Facebook這樣的社交媒體平台。
2、大數據挖掘商業價值的方法主要分為四種:
1)客戶群體細分,然後為每個群體量定製特別的服務。
2)模擬現實環境,發掘新的需求同時提高投資的回報率。
3)加強部門聯系,提高整條管理鏈條和產業鏈條的效率。
4)降低服務成本,發現隱藏線索進行產品和服務的創新。
四、大數據的特點
業界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數據的特徵。具體來說,大數據具有4個基本特徵:
1、是數據體量巨大
數據體量(volumes)大,指代大型數據集,一般在10TB規模左右,但在實際應用中,很多企業用戶把多個數據集放在一起,已經形成了PB級的數據量;網路資料表明,其新首頁導航每天需要提供的數據超過1.5PB(1PB=1024TB),這些數據如果列印出來將超過5千億張A4紙。有資料證實,到目前為止,人類生產的所有印刷材料的數據量僅為200PB。
2、是數據類別大和類型多樣
數據類別(variety)大,數據來自多種數據源,數據種類和格式日漸豐富,已沖破了以前所限定的結構化數據范疇,囊括了半結構化和非結構化數據。現在的數據類型不僅是文本形式,更多的是圖片、視頻、音頻、地理位置信息等多類型的數據,個性化數據占絕對多數。
3、是處理速度快
在數據量非常龐大的情況下,也能夠做到數據的實時處理。數據處理遵循「1秒定律」,可從各種類型的數據中快速獲得高價值的信息。
4、是價值真實性高和密度低
數據真實性(Veracity)高,隨著社交數據、企業內容、交易與應用數據等新數據源的興趣,傳統數據源的局限被打破,企業愈發需要有效的信息之力以確保其真實性及安全性。以視頻為例,一小時的視頻,在不間斷的監控過程中,可能有用的數據僅僅只有一兩秒。
五、大數據的作用
1、對大數據的處理分析正成為新一代信息技術融合應用的結點
移動互聯網、物聯網、社交網路、數字家庭、電子商務等是新一代信息技術的應用形態,這些應用不斷產生大數據。雲計算為這些海量、多樣化的大數據提供存儲和運算平台。通過對不同來源數據的管理、處理、分析與優化,將結果反饋到上述應用中,將創造出巨大的經濟和社會價值。
大數據具有催生社會變革的能量。但釋放這種能量,需要嚴謹的數據治理、富有洞見的數據分析和激發管理創新的環境(RamayyaKrishnan,卡內基·梅隆大學海因茲學院院長)。
2、大數據是信息產業持續高速增長的新引擎
面向大數據市場的新技術、新產品、新服務、新業態會不斷涌現。在硬體與集成設備領域,大數據將對晶元、存儲產業產生重要影響,還將催生一體化數據存儲處理伺服器、內存計算等市場。在軟體與服務領域,大數據將引發數據快速處理分析、數據挖掘技術和軟體產品的發展。
3、大數據利用將成為提高核心競爭力的關鍵因素
各 行各業的決策正在從「業務驅動」轉變「數據驅動」。對大數據的分析可以使零售商實時掌握市場動態並迅速做出應對;可以為商家制定更加精準有效的營銷策略提供決策支持;可以幫助企業為消費者提供更加及時和個性化的服務;在醫療領域,可提高診斷准確性和葯物有效性;在公共事業領域,大數據也開始發揮促進經濟發展、維護社會穩定等方面的重要作用。
4、大數據時代科學研究的方法手段將發生重大改變
例如,抽樣調查是社會科學的基本研究方法。在大數據時代,可通過實時監測、跟蹤研究對象在互聯網上產生的海量行為數據,進行挖掘分析,揭示出規律性的東西,提出研究結論和對策。
六、大數據的商業價值
1、對顧客群體細分
「大數據」可以對顧客群體細分,然後對每個群體量體裁衣般的採取獨特的行動。瞄準特定的顧客群體來進行營銷和服務是商家一直以來的追求。雲存儲的海量數據和「大數據」的分析技術使得對消費者的實時和極端的細分有了成本效率極高的可能。
2、模擬實境
運用「大數據」模擬實境,發掘新的需求和提高投入的回報率。現在越來越多的產品中都裝有感測器,汽車和智能手機的普及使得可收集數據呈現爆炸性增長。Blog、Twitter、Facebook和微博等社交網路也在產生著海量的數據。
雲計算和「大數據」分析技術使得商家可以在成本效率較高的情況下,實時地把這些數據連同交易行為的數據進行儲存和分析。交易過程、產品使用和人類行為都可以數據化。「大數據」技術可以把這些數據整合起來進行數據挖掘,從而在某些情況下通過模型模擬來判斷不同變數(比如不同地區不同促銷方案)的情況下何種方案投入回報最高。
3、提高投入回報率
提高「大數據」成果在各相關部門的分享程度,提高整個管理鏈條和產業鏈條的投入回報率。「大數據」能力強的部門可以通過雲計算、互聯網和內部搜索引擎把」大數據」成果和「大數據」能力比較薄弱的部門分享,幫助他們利用「大數據」創造商業價值。
4、數據存儲空間出租
企業和個人有著海量信息存儲的需求,只有將數據妥善存儲,才有可能進一步挖掘其潛在價值。具體而言,這塊業務模式又可以細分為針對個人文件存儲和針對企業用戶兩大類。主要是通過易於使用的API,用戶可以方便地將各種數據對象放在雲端,然後再像使用水、電一樣按用量收費。目前已有多個公司推出相應服務,如亞馬遜、網易、諾基亞等。運營商也推出了相應的服務,如中國移動的彩雲業務。
5、管理客戶關系
客戶管理應用的目的是根據客戶的屬性(包括自然屬性和行為屬性),從不同角度深層次分析客戶、了解客戶,以此增加新的客戶、提高客戶的忠誠度、降低客戶流失率、提高客戶消費等。對中小客戶來說,專門的CRM顯然大而貴。不少中小商家將飛信作為初級CRM來使用。比如把老客戶加到飛信群里,在群朋友圈裡發布新產品預告、特價銷售通知,完成售前售後服務等。
6、個性化精準推薦
在運營商內部,根據用戶喜好推薦各類業務或應用是常見的,比如應用商店軟體推薦、IPTV視頻節目推薦等,而通過關聯演算法、文本摘要抽取、情感分析等智能分析演算法後,可以將之延伸到商用化服務,利用數據挖掘技術幫助客戶進行精準營銷,今後盈利可以來自於客戶增值部分的分成。
以日常的「垃圾簡訊」為例,信息並不都是「垃圾」,因為收到的人並不需要而被視為垃圾。通過用戶行為數據進行分析後,可以給需要的人發送需要的信息,這樣「垃圾簡訊」就成了有價值的信息。在日本的麥當勞,用戶在手機上下載優惠券,再去餐廳用運營商DoCoMo的手機錢包優惠支付。運營商和麥當勞搜集相關消費信息,例如經常買什麼漢堡,去哪個店消費,消費頻次多少,然後精準推送優惠券給用戶。
7、數據搜索
數據搜索是一個並不新鮮的應用,隨著「大數據」時代的到來,實時性、全范圍搜索的需求也就變得越來越強烈。我們需要能搜索各種社交網路、用戶行為等數據。其商業應用價值是將實時的數據處理與分析和廣告聯系起來,即實時廣告業務和應用內移動廣告的社交服務。
運營商掌握的用戶網上行為信息,使得所獲取的數據「具備更全面維度」,更具商業價值。典型應用如中國移動的「盤古搜索」。
七、大數據對經濟社會的重要影響
1、能夠推動實現巨大經濟效益
比如對中國零售業凈利潤增長的貢獻,降低製造業產品開發、組裝成本等。預計2013年全球大數據直接和間接拉動信息技術支出將達1200億美元。
2、能夠推動增強社會管理水平
大數據在公共服務領域的應用,可有效推動相關工作開展,提高相關部門的決策水平、服務效率和社會管理水平,產生巨大社會價值。歐洲多個城市通過分析實時採集的交通流量數據,指導駕車出行者選擇最佳路徑,從而改善城市交通狀況。
3、如果沒有高性能的分析工具,大數據的價值就得不到釋放
對大數據應用必須保持清醒認識,既不能迷信其分析結果,也不能因為其不完全准確而否定其重要作用。
1)由於各種原因,所分析處理的數據對象中不可避免地會包括各種錯誤數據、無用數據,加之作為大數據技術核心的數據分析、人工智慧等技術尚未完全成熟,所以對計算機完成的大數據分析處理的結果,無法要求其完全准確。例如,谷歌通過分析億萬用戶搜索內容能夠比專業機構更快地預測流感暴發,但由於微博上無用信息的干擾,這種預測也曾多次出現不準確的情況。
2)必須清楚定位的是,大數據作用與價值的重點在於能夠引導和啟發大數據應用者的創新思維,輔助決策。簡單而言,若是處理一個問題,通常人能夠想到一種方法,而大數據能夠提供十種參考方法,哪怕其中只有三種可行,也將解決問題的思路拓展了三倍。
所以,客觀認識和發揮大數據的作用,不誇大、不縮小,是准確認知和應用大數據的前提。
八、總結
不管大數據的核心價值是不是預測,但是基於大數據形成決策的模式已經為不少的企業帶來了盈利和聲譽。
1、從大數據的價值鏈條來分析,存在三種模式:
1)手握大數據,但是沒有利用好;比較典型的是金融機構,電信行業,政府機構等。
2)沒有數據,但是知道如何幫助有數據的人利用它;比較典型的是IT咨詢和服務企業,比如,埃森哲,IBM,Oracle等。
3)既有數據,又有大數據思維;比較典型的是Google,Amazon,Mastercard等。
2、未來在大數據領域最具有價值的是兩種事物:
1)擁有大數據思維的人,這種人可以將大數據的潛在價值轉化為實際利益;
2)還未有被大數據觸及過的業務領域。這些是還未被挖掘的油井,金礦,是所謂的藍海。
大數據是信息技術與專業技術、信息技術產業與各行業領域緊密融合的典型領域,有著旺盛的應用需求、廣闊的應用前景。為把握這一新興領域帶來的新機遇,需要不斷跟蹤研究大數據,不斷提升對大數據的認知和理解,堅持技術創新與應用創新的協同共進,加快經濟社會各領域的大數據開發與利用,推動國家、行業、企業對於數據的應用需求和應用水平進入新的階段。
㈡ 在網路上傳播不良信息屬於什麼違法行為,民事,行政還是刑事
在網路上傳播不良信息屬於行政法違法行為,情節嚴重的屬於刑事違法行為。經濟社會發展面臨許多難以預見的風險和挑戰,人們很難為自己的未來制定準確的預期,在心理上和思想上難免會出現迷惘和浮躁,進而衍生出懷疑、猜忌、不滿和攻擊等負面情緒這些情緒往往是網路謠言產生的心理動因。
法律分析
行為人造謠毀人清白的,是對他人名譽權的侵犯。一般受害人可以追究行為人的責任,要求對方停止侵害,恢復名譽,消除影響,賠禮道歉,並可以要求賠償損失。如果行為人的行為情節特別惡劣,那麼行為人可能涉嫌侮辱罪或誹謗罪。受害人可以提起刑事訴訟,追究行為人的刑事責任。網路傳播有害信息要以其具體危害的犯罪客體來確定具體是什麼罪名,有害信息又稱有害數據,是指計算機信息系統及其存儲介質中存在、出現的,以計算機程序、圖像、文字,聲音等多種形式表示的,破壞民族團結等危害國家安全內容的信息,含有宣傳封建迷信、淫穢色情、兇殺、教唆犯罪等危害社會秩序的內容,或者是危害計算機信息系統運行和功能發揮,以及應用軟體,數據的完整性,用於違法活動的包括計算機病毒在內的計算機程序。
法律依據
《中華人民共和國治安管理處罰法》 第四十二條 有下列行為之一的,處五日以下拘留或者五百元以下罰款;情節較重的,處五日以上十日以下拘留,可以並處五百元以下罰款:(一)寫恐嚇信或者以其他方法威脅他人人身安全的;(二)公然侮辱他人或者捏造事實誹謗他人的;(三)捏造事實誣告陷害他人,企圖使他人受到刑事追究或者受到治安管理處罰的;(四)對證人及其近親屬進行威脅、侮辱、毆打或者打擊報復的;(五)多次發送淫穢、侮辱、恐嚇或者其他信息,干擾他人正常生活的;(六)偷窺、偷拍、竊聽、散布他人隱私的。
《中華人民共和國刑法》 第二百四十六條 以暴力或者其他方法公然侮辱他人或者捏造事實誹謗他人,情節嚴重的,處三年以下有期徒刑、拘役、管制或者剝奪政治權利。前款罪,告訴的才處理,但是嚴重危害社會秩序和國家利益的除外。通過信息網路實施第一款規定的行為,被害人向人民法院告訴,但提供證據確有困難的,人民法院可以要求公安機關提供協助。
㈢ 大數據時代是什麼意思大數據是在什麼背景下提出的
大數據(Big data)通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起,因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據產生背景:
進入2012年,大數據(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,並命名與之相關的技術發展與創新。
它已經上過《紐約時報》《華爾街日報》的專欄封面,進入美國白宮官網的新聞,現身在國內一些互聯網主題的講座沙龍中,甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。
數據正在迅速膨脹並變大,它決定著企業的未來發展,雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到數據對企業的重要性。
正如《紐約時報》2012年2月的一篇專欄中所稱,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於數據和分析而作出,而並非基於經驗和直覺。
哈佛大學社會學教授加里·金說:「這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。
(3)哪些行為在網路上生成數據擴展閱讀
大數據時代的特徵
1、數據量大(Volume)
第一個特徵是數據量大。大數據的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T)。
2、類型繁多(Variety)
第二個特徵是數據類型繁多。包括網路日誌、音頻、視頻、圖片、地理位置信息等等,多類型的數據對數據的處理能力提出了更高的要求。
3、價值密度低(Value)
第三個特徵是數據價值密度相對較低。如隨著物聯網的廣泛應用,信息感知無處不在,信息海量,但價值密度較低,如何通過強大的機器演算法更迅速地完成數據的價值「提純」,是大數據時代亟待解決的難題。
參考資料來源:網路-大數據時代
㈣ 請教下:網路數據傳輸的原理
數據在網路上是以"幀"為單位進行傳輸。
幀由多個部分組成,不同的部分對應不同的信息,從而實現相應的功能。
幀是根據通信所使用的協議,由網路驅動程序按照一定規則生成的,然後通過網卡發送到網路中,通過網線傳送到目的主機。
在目的主機一端按照同樣的通信協議執行相反的過程。接收端機器的網卡捕獲到這些幀,並告訴操作系統有新的幀到達,然後對其進行存儲。
在正常情況下,網卡讀入一幀並進行檢查。
如果幀中攜帶的目的地址(這里的目的地址是指物理地址而非IP地址,該地址是網路設備的唯一標志)和自己的物理地址一致,或者是廣播地址(被設定為一次性發送到網路所有主機的特殊地址,當目標地址為該地址時,所有的網卡都會接收該幀),網卡通過產生一個硬體中斷引起操作系統注意,然後將幀中所包含的數據傳送給系統進一步處理;否則就將這個幀丟棄。
㈤ 電子商務數據是電子商務企業在什麼產生的數據
電子商務數據是電子商務企業在反映企業行為,如產品交易量、投資回報率產生的數據。電子商務數據就是企業行為數據。當用戶在電子商務網站上有了購買行為之後,就從潛在客戶變成了網站的價值客戶。電子商務網站一般都會將用戶的交易信息,包括購買時間、購買商品、購買數量、支付金額等信息保存在自己的資料庫裡面,所以對於這些客戶我們可以基於網站的運營數據對他們的交易行為進行分析,以估計每位客戶的價值,及針對每位客戶的擴展營銷的可能性。
㈥ 《網路安全法》所稱網路數據,是指通過什麼和產生的各種電子數據
如果是《網路安全法》所稱的網路數據,我覺得應該是看點擊量以及是不是有違法行為。
㈦ 大數據的特點有哪些
根據《大數據時代》大數據的特點主要分為以下四點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)
一、Volume(大量)
大數據的特徵其實是我們現在理解的海量數據。「大數據」在互聯網行業是必備項:互聯網公司在日常運營中生成、累積的用戶網路行為的數據。比如社交電商平台每天的產生訂單, 各個短視頻、論壇、社區發布的帖子、評論及小視頻, 每天發送的電子郵件, 以及上傳的圖片、視頻與音樂,等等, 這些無數個體產生的數據規模很龐大,數據體量早已達到了PB級別以上,大數據的大量就是我們說的海量數據。
二、Velocity(高速)
隨著網路傳輸速率不斷攀升,從傳統的百兆到千兆萬兆網路,移動網路也已經逐步升級到了5G時代,數據的產生和傳輸都越來越高速。所以客戶越來越強調實時反饋,就是無論是在線看電影還是在線直播、刷視頻都要求低延時,對於傳輸、存儲、播放都要求高度,人們和企業都越來越依賴互聯網,網上的實時交易、在線培訓、社交等都與每個人息息相關,雲計算平台大數據平台擔負著高質量的服務功能,運營方還是服務商對於海量數據,誰能提供更快的速度,誰就能獲得更多的用戶和訂單!
三、Variety(多樣)
數據多樣性其種類包括文字、圖片、視頻、語音、地圖定位信息、網路日誌信息等等,正是多樣化的數據形式決定了大數據的更高價值。對於數據挖掘和數據資產越來越受到企業的重視,多類型的數據對數據的存儲和處理能力都提出了更高的要求。目前應用最廣泛的就是智能推薦系統,如今日頭條,網路、抖音等,這些平台都會通過對用戶的行為進行分析,從而智能地推薦用戶喜歡的內容頁面。
四、Value(低價值密度)
隨著物聯網的廣泛應用,往往人們需要從海量的數據中提取相關聯的有用的信息,所以對於大數據的機器學習深度學習演算法可以發揮巨大作用。大數據最大的價值在於通過從大量不相關的各種類型的數據中,挖掘出對未來趨勢與模式預測分析有價值的數據,並通過機器學習方法、人工智慧方法或數據挖掘方法深度分析,發現新規律和新知識。