大數據技術精品(七篇)

序論：寫作是一種深度的自我表達。它要求我們深入探索自己的思想和情感，挖掘那些隱藏在內心深處的真相，好投稿為您帶來了七篇大數據技術范文，愿它們成為您寫作過程中的靈感催化劑，助力您的創作。

篇(1)

關鍵詞：大數據；數據庫集群技術；分布集群

一、分布集群數據庫在大數據中的應用

目前，許多數據增長率很高的大型數據庫系統正被用于改善全球人類活動，如通信、社交網絡、交易、銀行等，分布集群數據庫已成為提高數據訪問速度的解決方案之一。為多種類型的用戶在多個存儲中組織數據訪問，分布集群數據庫的問題不僅在于如何管理大量的數據，而且在于如何組織分布式存儲中的數據模式。智能數據組織是提高檢索速度、減少磁盤I/O數量、縮短查詢響應時間的最佳方法之一?；谝巹t的聚類是提供數據庫自動聚類和數據存儲模式解釋的解決方案之一，基于規則的集群通過分析屬性和記錄上的數據庫結構，將數據模式表示為規則。使用不同規則池分區的每個集群，每個規則與內部集群中的規則相似，與外部集群中的規則不同。分布集群數據庫是一種有向圖結構的進化優化技術，用于數據分類，在緊湊的程序中具有顯著的表示能力，這源于節點的可重用性，而節點本身就是圖形結構的功能。為了實現基于規則的集群，分布集群數據庫可以通過分析記錄來處理數據集的規則提取。分布集群數據庫的圖形結構由三種節點組成：起始節點、判斷節點和處理節點。開始節點表示節點轉換的開始位置；判斷節點表示要在數據庫中檢查的屬性。分布集群數據庫規則提取的節點準備包括兩個階段：節點定義和節點排列。節點定義的目的是準備創建規則，節點排列是選擇重要的節點，以便高效地提取大量規則。節點排列由以下兩個順序過程執行，第一個過程是查找模板規則，第二個過程是結合第一個過程中創建的模板生成規則。提取模板以獲得數據集中經常發生的屬性組合。在模板提取過程中，分布集群數據庫規則提取中只使用了少數幾個屬性，它旨在增加獲得高支持模板的可能性。與沒有模板規則的方法相比，該節點排列方法具有更好的聚類結果，這兩個過程中的規則生成都是通過圖結構的演化來實現。

二、在線規則更新系統的應用

在線規則更新系統用于通過分析所有記錄從數據集中提取規則，在大數據應用中，每個節點都有自己的節點號，描述每個節點號的節點信息。程序大小取決于節點的數量，這會影響程序創建的規則的數量。起始節點表示根據連接順序執行的判斷節點序列的起始點，開始節點的多個位置將允許一個人提取各種規則。判斷節點表示數據集的屬性，顯示屬性索引。在大數據應用環節，從每個起始節點開始的節點序列用虛線a、b和c表示，節點序列流動，直到支持判斷節點的下一個組合不滿足閾值。在節點序列中，如果具有已出現在上一個節點序列，將跳過這些節點。在更新每個集群中的規則時，重要的是要找到與最新數據不匹配的屬性。因此，規則更新中要考慮的屬性由以下過程確定。當計算集群中每個屬性和數據之間的輪廓值時，閾值設置為0.85，只有輪廓值低于0.85的屬性。將為規則更新過程中的判斷節點的屬性選擇。一些數據的庫存值和權重值低于0.85，因此這些值不包括在國民生產總值的規則更新中。在線規則更新系統中包含用于更新規則的屬性，每個集群都具有屬性的主要值，這些屬性是集群質量的錨定點，進而影響輪廓值。在線規則更新系統應用中，完成主要的規則提取過程，這是一個標準的規則提取，在線規則更新系統考慮到數據集中的所有屬性。執行該過程，對初始數據集進行初始集群；改善規則更新過程，僅對輪廓值低于閾值的數據執行。

三、大規模并行處理技術的應用

大規模并行處理技術主要用于編寫和調試現代處理器的程序，而不是本地匯編程序，所有的書面代碼都是從C/C++語言翻譯成一個低級的核心匯編程序。在大數據應用中，會產生很多數據，在數據的分析和計算中，應該結合編程技術，標準語言是面向傳統體系結構的，這就是為什么編譯器不能使用所有可能的DSP體系結構以最佳效率生成代碼的原因。為了獲得一個良好的優化代碼，有必要直接在低級匯編語言上編寫代碼。為了簡化編寫程序的任務，可以在某個處理器上使用面向代碼生成器。使用一個專門的匯編代碼生成器，使用并行結構化的編程語言可以獲得比在C/C++中翻譯的應用程序更高效的代碼，生成高效的匯編代碼，該代碼積極利用DSP內核的并行性和其他特性。低級匯編代碼是由所有編譯器生成的，但是它們與傳統的基于文本的語言（如C/C++）一起工作。大數據應用環節，在數據分類和計算中，當兩個計算操作在不同的操作單元上執行時，才能在一個dsp核心的vliw命令中并行執行兩個計算操作。根據運算執行單元的不同，計算運算可分為op1和op2兩種類型。屬于不同組使得在一個命令中執行兩個操作成為可能。第一種類型包括由算術和邏輯單元執行的操作，第二種類型包括由乘法器、移位器ms執行的操作。在模板中，標記“1”表示第一種類型的標識，標記“2”分別表示第二種類型。如果兩個操作具有不同的類型并且沒有數據依賴關系，則可以進行并行化，DSP核心的并行性是通過在一個核心中存在多個操作單元來保證的。在大數據計算和分析中，如果有足夠多的通用寄存器來執行這兩個操作，并且它們可以并行執行，代碼就會并行化，提升數據計算的效率。

篇(2)

“大數據時代的預言家”維克托近日在北京面對一萬多名技術信徒再次預言。

顯然，這三大經典的技術信條在大數據時代面臨動搖，

技術信徒的思維模式也即將發生顛覆。

那么，大數據對技術信徒意味著什么？

他們又將如何面對這一顛覆性的變革？

“技術匯成一條大河，一波推動另外一波?！盜BM中國開發中心首席技術官兼新技術研發中心總經理毛新生帶著對技術的滿腔癡迷這樣形容道。

一波未平一波又起，移動、社交商務、云計算、大數據等先后涌現的新趨勢正在融合成一股巨大的潮流，將所有的行業IT化，進而推動商業和社會的演進。這也就意味著“科技是第一生產力”在當下有了更深層次的涵義——“IBM認為，在由新一代技術組成的智慧運算時代，中國的企業家們需要更為戰略地思考信息科技的定位，將其運用到自身的變革轉型之中。” IBM全球副總裁兼大中華區軟件集團總經理胡世忠為企業新發展出謀獻策。

由2012年的“軟件技術峰會”改名為2013年的“技術峰會”，在這么一個盛會上，IBM試圖展示的內容涵蓋范圍更為廣泛——移動應用、大數據、云計算、DevOps軟件持續交付、應用整合、社交商務、專家集成系統等熱議話題，上百場技術主題演講、28場分論壇、22場動手實驗室和80個未來產品的現場演示，再加上被譽為“大數據時代的預言家”的《大數據時代》作者維克托·邁爾-舍恩伯格以及數十位來自IBM的院士、杰出工程師、相關領域的全球首席技術官和首席架構師的現場分享，IBM 2013技術峰會再次成為技術精英們關注的焦點。 大數據的新信條

《大數據時代》作者、牛津大學網絡學院互聯網治理與監管專業教授維克托·邁爾-舍恩伯格的出現著實讓場內數以萬計的技術信徒激動了一把。作為深刻洞察大數據給人類生活、工作和思維帶來的大變革的第一人，維克托以價格預測網站的例子作為開場白，論證了大數據已經悄然在大眾的身邊出現并給他們的生活帶來改變。

“全體性、混雜性和相關性是大數據的三個主要特點，而且這三個特點是互相加強的?！本S克托歸納出了大數據對應的思維變革。收集和分析更多的數據才能獲取足夠的數據隱含的細節，這些細節恰恰是隨機抽樣所錯失的?！案蓛簟钡摹⒏哔|量的數據不再是標的，大數據需要我們摒棄對宏觀上精確性的追求，轉而獲得微觀上的準確性，即接受混雜的數據。最重要的是，人們不再沉迷于追尋數據之間的因果關系，即不再糾結于為什么，而是直接獲得“是什么”的答案，并通過應用相關關系，更好地捕捉現在和預測未來——抽樣因錯失細節得不償失，盲目追求精確性已經過時，執著于因果關系喪失機遇。

如何在大數據時代生存？維克托指出了兩個關鍵點：一是意識到技術或者規模并不是成功的充分條件。遺忘規模經濟，因為它的效益會逐漸淡化。20年前，一個公司只有擁有上十萬臺的服務器才能提供搜索服務，但在大數據時代，由于云計算的便利性，不擁有實體服務器的公司，如前文提到的，它只有30個員工，但它有能力為其上10億的用戶提供數據分析。二是為了在大數據時代獲得勝利，大數據的思維模式不可或缺，工具的力量不容小視，分析能力是必要的。藍色被谷歌選為搜索窗口的色彩，但藍色實際上有51種，而且這51種藍色人依靠裸眼無法明確區分，卻能在心理層面給人帶來不同的感受。經過大數據分析，谷歌發現原本由人工選出來的藍色會導致谷歌損失200億～300億美元的收入，因為這一種藍色并不最具備誘惑力，無法激起人們點擊的欲望。

大數據的力量需要具備大數據的思維模式，并有效利用大數據的工具去發掘。IBM杰出工程師、InfoSphere Stream高級開發經理James R Giles闡述了IBM對大數據的看法：“我們正一步步走到了一個新紀元——大數據時代。如同對待自然資源一樣，我們需要開掘、轉變、銷售、保護大數據資源；不同的是，大數據資源是無窮無盡的，我們不能任由大數據淹沒自己，而應該在獲得洞察需求的驅使下獲得價值?！?/p>

大數據的類型廣義而言有移動數據和靜態數據，還有結構性數據和非結構性數據，這對應著不同的處理方式?！凹夹g人員的責任是，能夠去管理這些數據，能夠理解這些從不同的數據源而來、不同類型的數據，能夠分析這些數據，得出結論，讓其提供決策支持，為企業擁抱新的大數據時代提供技術支撐，以保證管理、安全、商業的持續性?！?James R Giles號召技術人員積極行動，以大數據的思維模式展現技術的價值和魅力。

找到內在聯系

技術的趨勢總是融合，也只有有機融合才能形成合力，發揮更大的威力，而實現這一合力的前提是明確各個趨勢之間的內在聯系。

“實際上，社交商務、移動、大數據、云計算是一體化的。”毛新生建議技術人員用一個全面的、融合的范式來沉著看待和應對紛繁的熱點技術，理解這些熱點會如何影響整個IT的走向，進而明晰IT如何可以很好地支持各行各業的業務轉型和創新，“讓每個行業都可以從新的技術轉型當中獲得足夠的原動力”。

從貼近最終用戶的角度來看，移動技術、社交技術改變了商業機構與其雇員、客戶進行互動的方式?！熬臀覀€人的經歷而言，航空公司的移動應用可以提供更好的客戶交互。我是西北航空公司的粉絲，因為它家的移動應用服務很貼心，比如查詢航班信息、根據我的喜好預留位置、定制化地進行社交推薦等?！泵律砸粋€普通消費者的感受證明了企業通過移動應用收集并利用用戶行為數據所帶來的服務質量的提升。

移動催生了“一種嶄新的服務交付端點”，即為用戶提供了更多樣化的服務體驗點，讓用戶隨時隨地可以利用碎片化的時間去獲得業務服務，也為企業帶來了全新的服務交付渠道。移動這個渠道提供了更為豐富的全樣性數據，在此基礎上，大數據分析就更可信?！耙苿铀邆涞乃槠攸c會帶來更大量的用戶行為信息。當把所有的人的行為結合在一起，就可以做群體的社會性分析。社會性分析會得到比較準確的群體特征。而群體特征足以獲得很好的交叉銷售與線上銷售機會?！泵律J為移動與大數據結合給企業提供了新的商業機會。

移動的設備無處不在。人、汽車，甚至建筑物、道路、橋梁，它們無時無刻不在提供數據，這就是新的數據源，是它們引領我們來到維克托所描述的更為廣闊的大數據世界。

移動和社交商務的便捷性使得企業的整個業務流程變得非常自動化，用戶可以享受自助服務，對應到企業端就意味著業務流程對前端的需求要反應得更為迅速，也意味著各個業務系統之間無縫連接，否則沒有辦法支撐以最終用戶為中心的服務體驗，但跨部門和跨應用的整合實屬不易。進一步延伸開來，對用戶體驗的追求是無止境的，合作伙伴的API和服務可以作為補充，這即是“跨企業邊界”的行為。這種行為必然導致大規模的用戶訪問。這些整合和外部拓展都需要云計算提供靈活有效的基礎。沒有云計算，移動前端的體驗、大數據分析的效果都會大打折扣。“云的基礎設施使大規?；印⒋笠幠祿幚?、大規模應用可以更好地服務我們?！泵律赋觥?/p>

環境變化加速，競爭更加激烈，要求企業的反應速度越來越快，應用以及端到端解決方案快速改變。毛新生饒有興致地介紹道：“這個改變有多快呢？我們有的客戶嘗試以天為周期去改變，這意味著應用和業務流程的設計、開發、部署、測試、維護的整個過程要大大加快，也就是所謂的DevOps。只有把敏捷的開發和運維結合起來，生命周期變得以天為周期，才能響應新的商業環境。”

“移動、云計算、大數據、社交商務之間的緊密聯系讓我們應該以整體的眼光來審視它們?！焙乐覉孕牛鼈兊慕M合可以創造可持續的競爭優勢，可以迸發變革的力量。

至于一個企業應該從哪里下手來實現這一幅宏偉藍圖？毛新生給出的答案是：“每一個企業，因為它所處的行業或者特定的情況而擁有不同的切入點，有一些企業需要從移動開始，有一些企業需要從云計算開始，有一些企業需要從大數據開始，但是它們是不可分割的整體，只有綜合地運用它們，找到適合自己的切入點，一步一步腳踏實地，才能掌握先機，打造競爭力。在這個過程中，要擁有正確的思維，改變既有思維，理解趨勢，制定策略。”

例如，銀行、保險、零售業這一類和最終消費者打交道的服務業在很大概率上需要先從移動、社交商務入手，從而使其有機會改善和用戶交互的過程。而以數據為生的行業會琢磨如何將自己的內容和資源數據增值，而傳統的運營基礎設施的重資產企業，會追求將資產數字化，得到數據并進行分析，以優化資產的生命周期管理來預防性地降低維護成本，這些企業是以大數據作為切入點的。還有一些企業希望跨行業整合進行業務創新，背后牽扯到它們自身現有的業務模式和新業務模式的整合，這種情況下需要以云的方式構建新的應用、服務、商業流程。

毛新生認為切入點不同只是表象，每一種場景到最后都是綜合性的運用，要把這幾個技術綜合運用起來。從前端開始，首先是利用移動，并借助社交渠道交流，很快這些渠道會得到新的數據，這些新的數據和原有的交易數據和積累的數據結合起來做進一步的數據分析，這就是大數據分析。大數據分析以后可以做社交推薦、關聯推薦了。隨后，能不能跨界再實現更廣泛的銷售？跟別的價值鏈上的合作伙伴合作，那么引入云是解決之道。數據量增大，用戶數增多，云的基礎設施可以讓成本更合理。“所以說，到最后都是綜合性的應用，盡管起點不一樣”，毛新生說。

對技術人員而言，IT就是交付業務流程的基礎，是信息化的工具。它的目標無非是優化業務流程或者創新業務流程。創新到達一定程度后，業務流程的量變會導致質變?！斑@就解釋了為何全球越來越多的CEO將技術視為驅動企業發展的首要因素?！?IBM軟件集團大中華區中間件集團總經理李紅焰強調，技術人員有能力，也有責任將“看不見的技術轉變為看得見的享受”。

移動開發的轉變

在大數據的帶領下我們進入移動時代，企業有了新機遇，技術人員卻有了新挑戰。為什么移動開發和之前不一樣呢？有什么不一樣呢？這成為了縈繞在技術人員腦子里最主要的兩個問題。

IBM杰出工程師及IBM移動平臺首席架構師Greg Truty解答了這兩個疑問。他認為，很多企業現在所做的事情與在移動的狀態下做的事情是不一樣的，移動狀態下的任務和規劃更具有戰略性。移動應用是在不穩定的網絡上運行的，所占用的資源更少。用戶在移動設備上和非移動設備上的體驗是完全不一樣的，他們會希望在不穩定的網絡上仍然能夠獲得良好的體驗。企業現在需要思考的是，怎么樣把大量數據、大量體驗變成一些有意義的體驗。同時，移動管理的需求也不一樣了，開發的特性也不一樣了。比如對一個企業來說，移動開發周期更短，有更多設備需要支持，有更多開發方法可供選擇，也有更多的工具和庫可供選擇，這時候企業就需要仔細斟酌，哪些開發方法和工具是自己需要的。

自然而然，對于設備的管理也有了變化，因為應用變化了?！耙恢币詠恚蛻舳朔掌鞯膽眉軜嬍瞧髽I在使用的。你需要協調在服務器端的服務以及在客戶端的服務，挑戰非常大。你不可能強迫客戶運行你的應用，而必須能協調和兼容原有的系統。這是非常關鍵的一點?！?Greg Truty強調了設備管理的重要性。

此外，產品種類也非常多，新應用層出不窮。Greg Truty 認為多而新的局面下更需要冷靜處理：“我們會把應用和數據結合起來，移動和社交網絡結合起來，這樣做會創造一些新的得到數據的機會，需要進行管理。新的機會、新的技術，給整個IT組織帶來了更多的挑戰?！?/p>

篇(3)

關鍵詞：大數據；智能交通；數據技術

隨著國民經濟的不斷發展，人們生活水平的不斷提高，居民購買汽車能力加強。我國的汽車保有量隨之增加，在一些大城市機動車擁有量以超過10%的速度加速，機動車成為每個家庭代步的交通工具，在有限的交通資源配置下，機動車的增加縮短了道路使用周期，城市主干道路超負荷使用，違法停車致使道路不能合理使用、行車不文明、乘車環境不良等現象有增無減。大數據時代，如何改善當前的交通狀況是本文闡述的核心內容。文章從以下幾個方面來闡述：大數據的現狀、大數據的概述、大數據的應用、智能交通的需求、智能交通體系的建立、數據技術。

1 大數據的現狀

據權威數據顯示，大數據應用在我國還處在起步階段。但在未來三年，通信、金融領域將在大數據市場突破100億元。市場規模在2012年有望達到4.7億元，到2013年增至11.2億元，增長率高達138%，2014年，保持了與2013年基本持平的增速，增長率為114.38%，市場規模達到24.1億元，未來三年內有望突破150億元，2016年有望達到180億規模。自從2014年以來，各界對大數據的誕生都備加關注，已滲透到各個領域：交通行業、醫療行業、生物技術、零售行業、電商、農牧業、個人位置服務等行業，由此也正在不斷涌現大數據的新產品、新技術、新服務。

大數據行業“十三五”規劃主要目標：在2020年，將大數據打造成為國民經濟新興支柱產業并在社會各領域廣泛應用，推動我國大數據產業穩步快速發展，基本健全大數據產業體系，推動制定一批相關大數據的國標、行標和地方標準，引進具備大數據條件的企業，建設大數據產業孵化基地，提高全國信息化總體水平，以躋身世界先進水平。

2 大數據的概述

2.1 大數據定義

大數據即巨量數據集合，目前還沒有一個統一的定義。大數據的概念最早是由全球著名的管理咨詢公司麥肯錫提出，2011年Mckinsey研究稱，大數據通常是指信息爆炸時代產生的海量數據，在各個行業和業務領域，數據已經滲透到行業中并逐漸成為重要的要素，人們能夠從海量數據中挖掘出有用的數據并加以應用。對大數據定義的另一說法是利用常用軟件工具捕獲、管理和處理數據所耗時間超過可容忍時間的數據集。

隨著信息時代的高速發展，大數據已經成為社會生產力發展的又一推動力。大數據被稱為是繼云計算、物聯網之后信息時代的又一大顛覆性的技術革命。大數據的數據量巨大，一般10TB規模左右，但在實際應用中，多個數據集放在一起，已經形成了PB級的數據量，甚至EB、ZB、TB的數據量。

2.2 大數據的特點

2.2.1 數據量巨大

數據量級別從TB級別躍升到PB級別。隨著可穿戴設備、物聯網和云計算、云存儲等技術的發展，用戶的每一個動作都可以被記錄，由此每天產生大量的數據信息。據有關人士估算：1986～2007年，全球數據的存儲能力每年提高23%，雙向通信能力每年提高28%，通用計算能力每年提高58%；2007年，人類大約存儲了超過300EB

的數據；到2013年，世界上存儲的數據能達到約1.2ZB。

2.2.2 數據類型多樣化

即數據類型繁多，產生了海量的新數據集，新數據集可以是關系數據庫和數據倉庫數據這樣的結構化數據到半結構化數據和無結構數據，從靜態的數據庫到動態的數據流，從簡單的數據對象到時間數據、生物序列數據、傳感器數據、空間數據、超文本數據、多媒體數據、軟件程序代碼、Web數據和社會網絡數據[1]。各種數據集不僅產生于組織內部運作的各個環節，也來自于組織外部。

2.2.3 數據的時效性高

所謂的數據時效性高指以實時數據處理、實時結果導向為特征的解決方案，數據的傳輸速度、響應、反應的速度不斷加快。數據時效性為了去偽存真，采用非結構化數據剔除數據中無用的信息，而當前未有真正的解決方法，只能是人工承擔其中的智能部分。有些專員負責數據分析問題并提出分析后的解決方案。

2.2.4 數據真實性低

即數據的質量。數據的高質量是大數據時代重要的關注點。但在生活中，“臟數據”無處不在，例如，一些低劣的偽冒產品被推上市場，由于營銷手段的成功，加之其他因素的影響導致評分很高。但是這并不是真實的數據，如果對數據不加分析和鑒別而直接使用，即使計算的結果精度高，結果都是無意義的，因為數據本身就存在問題出現。

2.2.5 價值密度低

指隨著物聯網的廣泛應用，信息巨大，信息感知存在于客觀事物中，有很多不相關的信息。由于數據采集的不及時，數據樣本不全面，數據可能不連續等等，數據可能會失真，但當數據量達到一定規模，可以通過更多的數據達到更真實全面的反饋。

2.3 大數據的應用

2.3.1 醫療大數據

利用大數據平臺收集患者原先就醫的病例和治療方案，根據患者的體征，建立疾病數據庫并對患者的病例分類數據庫。一旦患者在哪個醫院就醫，憑著醫?？ɑ蚓驮\卡，醫生就可以從疾病數據庫中參考病人的疾病特征、所做的檢查報告結果快速幫助患者確診。同時擁有的數據也有利于醫藥行業開發出更符合治療疾病的醫療器械和藥物的研發。

2.3.2 傳統農牧業大數據

因為傳統農牧業主要依賴于天氣、土壤、空氣質量等客觀因素，因此利用大數據可以收集客觀因素的數據以及作物成熟度，甚至是設備和勞動力的成本及可用性方面的實時數據，能夠幫助農民選擇正確的播種時間、施肥和收割作物的決策。當農民遇到技術市場問題可以請教專業人員，專業人員根據實時數據做出科學的指導，制定合理的優化決策，降低農民的損失成本，提高產品的產量，從而為轉向規?；洜I打下良好基礎。

2.3.3 輿情大數據

利用大數據技術收集民眾訴求的數據，降低社會，有利管理犯罪行為。通過大數據收集在微博的尋找走失的親人或提供可能被拐賣人口的信息，來幫助別人。

3 智能交通的需求

隨著城市一體化的快速發展，新時代農民工涌入大城市，促使城市人口的增大不斷給城市交通帶來問題。究其原因主要有：一是機動車的迅猛發展導致城市主次干道的流量趨于飽和，大量機動車的通行和停放占據主干道路。二是城市交通的道路基礎設施供給不平衡導致路網承擔能力差。三是停車泊位數量不足導致機動車使用者不得不過多依賴道路停車。四是公共設施的公交車分擔率不高導致交通運輸效率降低。五是城市的土地開發利用與道路交通發展不均衡。六是行人和機動車主素質不文明導致道路通行效率降低。為此，智能交通的出現是改善當前城市交通的必要需求，能夠在一定程度上有效的解決城市交通問題。

大數據是如何在智能交通的應用呢？可以從兩個方面說明：一是對交通運行數據的收集。由于每天道路的通行機動車較多，能夠產生較大的數據，數據的采集并發數高，利用大數據使機動車主更好的了解公路上的通行密度，有效合理對道路進行規劃，可規定個別道路為單行線。其二是可以利用大數據來實現主干道根據道路的運行狀況即時調度信號燈，提高已有線路運行能力，可以保障交通參與者的生命和提高有關部門的工作效率，降低成本。對于機動車主可以根據大數據隨時的了解當前的交通狀況和停車位數量。如果交通擁堵，車主則可選擇另一路線，節約了車主的大量時間。

4 智能交通體系的建立

4.1 智能交通建立的框架

主要包括感知數據層、軟件應用平臺及分析預測和優化管理的應用。物理感知層主要是采集交通的運行狀況和對交通數據的及時感知；軟件應用平臺主要整合每個感知終端的信息、將信息進行轉換和處理，達到支撐分析并做出及時的預警措施。比如：對主要交通干進行規劃，對頻發交通事故進行監控。同時還應進行應用系統建設的優化管理。比如：對機動車進行智能誘導、智能停車。

智能交通系統需要在各道路主干道上安裝高清攝像頭，采用先進的視頻監控、智能識別和信息技術手段，來增加可管理的維度，從空間的廣度、時間的深度、范圍的精細度來管理。整個系統的組成包括信息綜合應用平臺、信號控制系統、視頻監控系統、智能卡口系統、電子警察系統、信息采集系統、信息系統。每個城市建立智能交通并進行聯網，則會產生越來越多的視頻監控數據、卡口電警數據、路況信息、管控信息、營運信息、GPS定位信息、射頻識別信息等數據，每天產生的數據量將可以達到PB級別，并且呈現指數級的增長。

4.2 智能交通數據處理體系的構成

主要包括交通的數據輸入、車輛信息、道路承載能力等的數據處理、數據存儲、數據檢索。其中交通數據輸入可以是靜態數據或者是動態數據。數據處理是針對實時數據的處理。數據主要存儲的是每天采集的巨大數據量。為了從中獲取有用的數據，則需要進行數據查詢和檢索，還要對數據進行規劃。

5 大數據技術

5.1 數據采集與預處理

數據采集與預處理主要對交通領域全業態數據的立體采集與處理來支撐交通建設、管理、運行決策。采集的數據主要是車輛的實時通行數據，以實現實時監控、事先預測、及時預警，完成道路網流量的調配、控。這些數據獲取可以采用安裝的傳感器、識別技術并完成對已接收數據的辨析、轉換、抽取、清洗等操作。

5.2 數據存儲與管理

大數據的存儲與管理是把采集到的數據存放在存儲器，并建立相應的數據庫，如關系數據庫、Not Only SQL即對關系型SQL數據系統的補充。利用數據庫采用更簡單的數據模型，并將元數據與應用數據分離，從而實現管理和調用。

5.3 數據分析與挖掘

數據分析及挖掘技術是大數據的核心技術。從海量數據中，提取隱含在其中，人們事先未知的，但又可能有用的信息和知識的過程。從復雜數據類型中挖掘，如文本、圖片、視頻、音頻。該技術主要從數據中自動地抽取模式、關聯、變化、異常和有意義的結構，可以預測模型、機器學習、建模仿真。從而實現一些高級別數據分析的需求。

5.4 數據展現與應用

數據技術能夠將每天所產生的大量數據從中挖掘出有用的數據，應用到各個領域有需要的地方以提高運行效率。

6 結束語

大數據時代，能對智能交通信息資源進行優化配置，能夠改善傳統的交通問題。對非機動車主而言，利用大數據可以更好的規劃線路，更好的了解交通狀況，在一定程度上可以對問題預先提出解決方案，起到節省大量時間、額外的開支。同時對交管部門而言，能夠在限的警力情況下合理配置人員資源和交通設備，主干道路在高峰期出現的問題能夠合理利用大數據信息配置資源，在刑事案件偵查中也能發揮更重要的作用。

全國要實現智能交通的聯網，依然有問題需要突破，這都是大數據的數據技術應用所在。

篇(4)

【關鍵詞】數據挖掘 數據分類算法

在當前的時代背景下，很多的行業都引入了大數據挖掘的理念，這既給計算機產業帶來了發展機遇，也帶來了挑戰。因為想要做好大數據挖掘的相關工作，就一定要掌握數據分類算法，而數據分類算法可稱得上是數據挖掘中的一道難關。隨著數據分析的研究不斷深入，人們開發了多種多樣的分類算法，用以不斷減輕其難度。通常都是以數據分類器為基準，進行相應的數據分類，包括決策樹類、Bayes類、基于關聯規則類以及利用數據庫技術類，本文將對它們進行簡單的闡述。

1 決策樹分類算法

1.1 傳統算法

C4.5算法作為傳統的數據分類算法，有著很明顯的優點，如規則簡單易懂，實際操作易于上手。但是隨著計算機的不斷普及，數據的規模變的越來越龐大，其復雜程度也是日漸增長。C4.5已經逐漸無法滿足新時期的數據分類處理工作了。并且由于決策樹分類算法的規則，決定了在數據分類的過程中，要對數據進行多次重復的掃描和排序。特別是在構造樹的時候，這種缺點更加明顯。這不僅會影響數據分析的速度，也浪費了更多的系統資源。對于大數據挖掘來說，C4.5更加無法勝任，因為C4.5算法的適用范圍十分有限，只能夠處理小于系統內存數量的數據，對于內存無法保留的過于龐大的數據集，C4.5甚至會出現無法運行的情況。

1.2 衍生算法

（1）SLIQ算法和SPRINT算法都是由C4.5算法改良而來，在其基礎上做了一些技術性的完善，例如增強了數據的排序技術，并采取了廣度優先的處理策略。這使得SLIQ算法能夠很好地記錄數據處理的個數，并具有相當優秀的可擴展性，為處理大數據提供了基礎條件。但是SLIQ算法也存在一些缺點，由于它是以C4.5算法為基礎的，因此在進行數據處理時，仍需要將數據集保留在內存中，這就導致SLIQ算法的可處理數據集的大小受到了限制。即數據記錄的長度一旦超過了排序的預定長度，SLIQ算法就很難完成數據處理和排序的工作。

（2）SPRINT 算法是為了解決SLIQ算法中數據集大小受到內存限制的問題而開發出來的。SPRINT 算法重新定義了決策樹算法的數據分析結構，改變了傳統算法將數據集停留在內存中的做法。值得一提的是，它沒有像SLIQ 算法那樣講數據列表存儲在內存當中，而是將其融合到了每個數據集的屬性列表中，這樣既避免了數據查詢時重復掃描造成的速度緩慢，又釋放了內存的壓力。特別是在進行大數據挖掘時，由于數據的基數過大，在每個數據集的屬性列表內尋找所需數據能夠大大節省分析的時間，對數據進行分類的工作也變得更加便捷。但是SPRIT算法同樣存在一些缺點，對于不具有可分裂屬性的數據列表，由于它只能在數據集內進行分析，結果可能不是十分準確，導致其拓展性受到了限制。

2 其他分類算法

2.1 Bayes分類算法

Bayes分類算法是利用概率統計學而開發出來的一種算法，在目前數據分類中應用比較廣泛。但是其缺點也比較明顯，由于Bayes分類算法需要在分析之前對數據的特性做出一定的假設，而這種假設往往缺少實際數據的理論支持，因此在數據分析過程中就很難做到準確有效。在此之上，TAN算法又被開發出來，它是為了提高Bayes分類算法的假設命題的準確率，也就是降低了NB任意屬性之間獨立的假設。

2.2 CBA分類數據算法

基于關聯規則的分類算法就是CBA分類數據算法。這種算法一般需要用到數據構造分類器，在數據分析的過程中，先搜索到所有的右部為類別的類別關聯規則，這被稱為CAR；然后再從CAR中選擇合適的數據集。CBA算法中主要用到的是Apriori算法技術，它能夠使潛在的數據關聯規則呈現到表面，方便進行歸納整理。但是由于其在進行數據分類時容易出現疏漏，因此經常采用設置最小支持度為0的辦法來減少遺漏的數據，這就造成了算法的優化作用不能完全發揮，降低了運行效率。

2.3 MIND和GAC-RDB算法分類算法

在大數據挖掘的背景下，未來數據分類算法的發展方向應當是以數據庫技術為基礎的的分類算法。盡管很久之前就已經有一些專門研究數據庫的人員發現并提出了基于數據庫技術的分類算法，但是并沒有得到實際運用。因為在進行數據挖掘和數據分析的時候，很難將其與數據庫的系統集成，目前來說，MIND和GAC-RDB算法還能夠較好地解決這個問題。

2.3.1 MIND算法

MIND算法與決策樹算法有些相似，都是通過構造數據分類器來進行數據分析。但是MIND算法采用了UDF方法和SQL語句來與數據庫系統實現關聯。在進行數據分析時，UDF方法能夠大大縮短對每個節點的數據特性進行分析的時間，這樣就在為數據庫的集成提供了理論基礎。SQL語句是通過對數據集的屬性進行分析，以便從中選擇出最合適的分裂屬性，然后給數據排序，這樣就節省了數據分類的時間。但是MIND算法還不能直接在數據庫系統中實現查詢功能，更重要的是，該算法的維護成本過高，不利于普及。

2.3.2 GAR-RDB算法

GAR-RDB算法在MIND算法的基礎上進行了更多的改進，能夠充分利用數據庫系統進行聚集運算，也就是實現了數據庫系統的集成。該算法擁有分類準確，分析迅速，執行更快的優點，同時可拓展性也比較出色。更重要的是，它可以充分利用數據庫提供的查詢功能，從而避免了重復掃描數據集的現象，縮短了分析的時間，節約了系統資源。只要在自動確定參數取值的技術上進行一些改進，該算法就能很好地勝任大數據挖掘的數據處理工作。

3 總結

大數據挖掘是時展的潮流，因此數據分類算法的重要性也將隨著顯現。通過分析幾種不同的算法，能夠在數據分析速度、可擴展性和結果的準確性上進行比較，從而選擇最適合的數據分類算法。它們都在不同程度上有著各自的優缺點，因此要繼續深入研究以開發出更好的分類算法。

參考文獻

[1]錢雙艷.關于數據挖掘中的數據分類算法的綜述，2014（13）.

[2]劉紅巖.數據挖掘中的數據分類算法綜述，2002（06）.

篇(5)

信息時代的到來不斷改變著我們的生活和工作方式，在當前不斷發展的新型大數據時代之下，我們必須要不斷促進大數據軟件工程技術的融合和發展，這樣才能夠不斷提高各行各業的工作效率和工作質量，不斷降低生產成本。在未來很長一段時間的發展過程中，我們必須要不斷研究大數據時代下軟件工程的應用和創新。

1大數據與軟件工程技術概述

當前大數據已不斷滲透到我國各行各業的發展和創新中去，迅速成為社會主義現代化事業發展的重要組成因素，對于數據的搜集整理和應用都具有非常重要的作用，大數據是未來世界發展不可避免的趨勢，在經濟、文化等眾多領域得到了大規模的應用和發展。當前我國社會主義現代化事業不斷發展，各個行業的生產力發展水平也越來越高，大數據技術開始不斷創新和融合，正式帶領人類進入大數據時代。軟件工程技術的不斷發展為當前各行各業的生產和創新提供了較大的動力，能夠不斷減少各個行業的財力投入以及人工資源。當前社會主義下的軟件工程技術是指應用標準化系統化的過程方法對軟件進行開發以及維護，從而研制軟件信息工程技術，涉及到的領域眾多，存在著多種多樣的研究方法，在當前各個行業的發展中至關重要。近些年來科學技術不斷進步社會也不斷發展，人們開始不斷嘗試將大數據與軟件工程技術互相融合和發展，在大數據的時代之下充分發展軟件工程，技術不斷減少各行各業成本開支，促進社會主義現代化事業的平穩發展。

2大數據時代下軟件工程技術的應用

2.1數據搜集以及處理

大數據對于當前社會和時代的基本作用就是不斷收集社會主義發展過程中產生的數據，在不斷發展的軟件工程技術當中，數據的搜集、儲存、分類、整理也是一個非常重要的部分，因此我們必須要將當前不斷發展的軟件工程技術與大數據技術互相結合，使大數據時代下的軟件工程技術擁有更多的突破和創新，對產生而來的信息進行有效的整理和快速的分類，使各個軟件的協同能力迅速提升，建立起一個科學、規范、完整的現代化空間進行信息的儲存，這樣才能夠方便各行各業發展過程中的信息使用需求。

2.2數據信息的存儲

當前我國社會主義現代化事業不斷發展，大數據時代的到來也加快著各個行業的發展和創新，因此產生了越來越多的數據信息，由傳統的文字儲存發展到圖片、視頻共同組成的現代化數據。我們在進行數據信息儲存的過程中，需要對大量的信息進行整理和儲存，不斷要求計算機性能的提高以及儲存空間的擴大。運用傳統的信息儲存方法已不能滿足當前信息產生的需要，極其容易產生信息缺失現象，因此必須要不斷應用軟件工程技術，這樣能夠不斷節省信息儲存的空間，同時能夠保證信息儲存的完整性和安全性。通過對軟件工程技術進行創新和應用能夠極大地為計算機節省必要的空間，不斷提高信息儲存效率及使用效率。

2.3利用大數據進行軟件服務工程建設

近些年來我國計算機科學水平不斷進步，軟件工程技術研究領域也不斷創新和發展，不斷拓展和延伸軟件工程技術的發展方向。在當前大數據時代的不斷發展之下我們必須要對大數據技術以及軟件工程技術進行融合和創新，進一步對網絡數據進行編程，使各個軟件具有可操作性、穩定性、安全性和科學性，能夠更好地實現數據的協調，不斷提高軟件工程系統的集成度。

2.4信息安全技術的應用

大數據時代之下各行各業的發展都會產生大量的數據信息，而眾多的數據和信息容易互相干擾和影響，因此為了不斷提高數據的安全性，必須對數據進行進一步的管理和提升。當前必須要運用到大數據時代之下軟件工程技術，對當前可能存在的網絡風險進行查殺以及預防不斷提高數據收集以及儲存的安全性。

3結束語

總而言之，信息時代的到來大大改變了人們的生活和工作方式，也在一定程度上促進著社會主義現代化事業的不斷發展當前大量涌出的數據信息存在著一定的風險，因此必須要運用軟件工程技術，促進數據信息產生以及儲存應用的安全性，不斷促進大數據時代之下軟件工程技術的創新和發展，推動軟件工程技術建設。

參考文獻

[1]楊品軍.解析大數據時代下軟件工程關鍵技術[J].網絡安全技術與應用,2020(3):54-55.

[2]黃愷.大數據時代下軟件工程關鍵技術探討[J].計算機產品與流通,2020(2):32.

篇(6)

【關鍵詞】大數據 信息系統 關鍵技術

近年來，信息技術發展迅速，對以移動互聯網技術和云計算機技術為主的現代數字信息系統的發展起到重要的推動作用，并使得信息獲取量及途徑呈現幾何增長態勢，同時降低了數據獲取與存儲的成本，極大提高了數據處理的有效性，為社會各行各業發展奠定了堅實的技術基礎。基于此，如何實現從復雜的數據中提煉有效信息，進而推動相關產業發展成為社會關注的重點，相關部門必須采取有效措施，保證當前信息系統的高校運行。

1 大數據技術概述

1.1 數據采集

在數據采集中，一般運用多個數據庫，以此接收來自客戶端或者傳感器等途徑的數據，在具體采集中會面臨并發量較高的挑戰，為了便于后續分析工作的有效開展，在采集中需要將數據導入分布式存儲集或者數據庫中，并在導入過程中進行相應的預處理。比如在互聯網企業中，多數企業均創建了諸如包含Ⅱadoop的cloudera的系統日志數據采集工具，采取分布式結構，以此滿足高并發量的日志數據采集需求，并實現有效的數據傳輸。

1.2 數據存儲

在數據存取方面，互聯網企業多采用PostgreSQL，其在設計中主要滿足OLTP交易型需求，進而具備人機會話功能。也有很多企業使用傳統的關系型數據庫，其中以Oracle較為常見，在頻繁的數據修改、增加和刪除操作中具有明顯優勢，但是在數據統計分析查詢方面效率較低。針對這一問題，很多公司選擇Teradata，主要利用MPP架構，在銷售過程中以軟硬一體機的形式呈現給客戶。

1.3 基礎架構

在對大數據技術運用中，很多企業指出在歸檔和備份過程中數據冗余度高達92%，必須采取有效措施高效刪除存儲系統中的重復數據，其中分布式重復數據刪除系統發揮了重要的作用，其主要由元數據服務器、客戶端和數據服務器組成，元數據服務器主要實現元數據的維護和儲存，而客戶端則在提供文件操作接口的同時，實現數據的預處理，數據服務器主要啟動去重引擎，并對有效數據進行儲存和管理。

1.4 數據挖掘

數據挖掘必須以現有數據為基礎，通過各類算法進行計算，進而起到預測效果，以此達到客戶高級別的數據分析要求。在大數據分析理論中，數據挖掘算法處于核心地位，但是由于挖掘算法復雜性較為明顯，且計算過程中涉及巨大的計算量，導致數據挖掘技術面臨研究挑戰，在具體應用中必須保證不同的算法對特定的數據類型及格式，進而達到深入計算的效果。

1.5 結果呈現

在大數據技術應用中，注重處理結果的直觀化和可視化，通過數據的分析與處理，能夠清楚地了解海量數據的維度和指標，進而按照具體標準呈現復雜數據隱藏的關系。并且隨著技術的創新與發展，在數據輸出過程中出現了多屏聯動、主從屏和自動翻屏等功能，保證了輸出的清晰度，并在輸出中支持觸控交互操作，幫助客戶更好地了解數據的走勢與規律。

2 基于大數據的信息系統關鍵技術探討

2.1 分布式文件管理

在大數據技術應用中，數據的存儲和管理發揮著基礎性作用，現階段基于大數據信息系統而設計研發的分布式文件管理技術具有明顯的實用性，廣泛應用于各大互聯網企業之中，以Google創設的GFS管理技術為例，其具有成本低廉的優勢，已成為使用量較大的服務器，為客戶建立了高效的文件管理系統，并且具備較高的拓展性能。在這一系統中，很多數據存儲于不同的服務器之中，呈現分塊式的狀態，客戶可利用追加更新和關聯連接的方式開展數據管理工作。

2.2 分布式數據處理

在大數據信息系統中，實現了對各類數據的封裝操作，基于此用戶可享受隨時、隨需且標準化的檢索與分析服務。例如在分布式數據處理系統中，主要采用流處理技術和批處理技術，其中前者將大數據視作不間斷的流，對進入系統的數據流進行實時處理，并及時返回結果，進而提升了數據處理的及時性；而后者的核心則在于劃分數據的方式、分配數據的方式和處理數據的技術，該技術先存儲需要處理的數據，再根據特定的分割方法，將數據分割為多個數據塊，接下來將各個數據塊分給不同的處理器進行并行處理，進而降低了數據的關聯關系，使得數據具有極高的集群性和可調度性。

2.3 分布式數據庫

通常情況下，傳統數據庫以關系型為主，考慮到大數據具有體量巨大，種類繁多的特點，傳統類型的數據庫在數據處理時存在諸多弊端，并且大數據還具有價值密度低的特質，對數據庫本身提出了更高要求。因此在大數據處理中，必須建立新型的數據庫模式，其中分布式數據庫系統具有明顯的優勢，該系統模型簡便，在數據管理中將數據視作字符串，并且在字符串解釋過程中采取間接手段，從而保證了數據的半結構化特征，簡化了整個數據庫的運行程序，提高了數據處理效率。

3 結束語

綜上所述，大數據技術具有巨大的潛在價值，合理有效地開展大數據分析與處理工作，能夠幫助客戶了解數據背后的隱藏信息，進而制定精準且可行的決策，推動社會各領域的信息化發展。

參考文獻

[1]禹祿君.基于大數據的信息系統關鍵技術研究[J].湖南郵電職業技術學院學報，2015（03）：40-42.

[2]王本勝，殷階，朱旭，等.指揮信息系統大數據技術發展趨勢[J].指揮信息系統與技術，2014，5（03）：12-16.

[3]盧川英.大數據環境下的信息系統安全保障技術[J].價值工程，2016，35（04）：188-190.

篇(7)

>> 大數據關鍵技術 大數據關鍵技術分析及系統實例分析 淺談大數據基礎理論與關鍵技術發展 電力信息大數據高速存儲及檢索關鍵技術研究 電力大數據可視化系統開發關鍵技術研究及趨勢 投資統計大數據處理關鍵技術 基于大數據的信息系統關鍵技術 淺析云環境下的大數據關鍵技術 面向大數據的Deep Web數據系統關鍵技術研究 大數據安全和隱私保護技術體系的關鍵技術研究 移動數據庫關鍵技術及應用探討 社會網絡大數據分析框架及其關鍵技術 農業云大數據自組織推送關鍵技術綜述 基于大數據的信息系統關鍵技術研究 云計算環境下的大數據可靠存儲關鍵技術概述 面向大數據的分布式系統設計關鍵技術研究 大數據時代下軟件工程關鍵技術分析 移動互聯網的大數據處理關鍵技術 電信運營商大數據變現之關鍵技術 移動通信網絡中大數據處理的關鍵技術 常見問題解答 當前所在位置：l.

[4]Big data[EB/OL]..

[18]丁智，林治.MapRdeuce編程模型、方法及應用綜述[J].電腦知識與技術，2014，10（30）：70607064.

[19]江舢，金晶，劉鵬展，等.分布式海量數據批處理技術綜述[Z].中國科技論文在線，2012.

[20]吳哲夫，肖鷹，張彤.大數據和云計算技術探析[J].互聯網天地，2015（4）：611.

[21]馬紅玉，張柳.大數據中的可視化分析技術[J].山東農業大學學報：自然科學版，2014，45（s）：5658.