數據處理論文

序論：寫作是一種深度的自我表達。它要求我們深入探索自己的思想和情感，挖掘那些隱藏在內心深處的真相，好投稿為您帶來了一篇數據處理論文范文，愿它們成為您寫作過程中的靈感催化劑，助力您的創作。

數據處理論文:三維足部掃描系統中數據處理的基本設置

摘 要：三維激光掃描技術是近年來出現的新技術，在國內越來越引起研究領域的關注。它是利用激光測距的原理，通過記錄被測物體表面大量的密集的點的三維坐標、反射率和紋理等信息，可快速復建出被測目標的三維模型及線、面、體等各種圖件數據。由于三維激光掃描系統可以密集地大量獲取目標對象的數據點，三維激光掃描技術也被稱為從單點測量進化到面測量的革命性技術突破，具有高效率、高精度的獨特優勢。三維激光掃描技術能夠提供掃描物體表面的三維點云數據，因此可以用于獲取高精度高分辨率的數字模型。

關鍵詞：三維激光掃描；數據；點云；模型

三維足部激光掃描系統的數據處理包括主控計算機、圖像識別、畸變差更正、建模。通過計算機控制平移采集圖像，采用黑白棋盤格標定靶和張正友算法，標定圖像中心坐標（Cx，Cy），畸變系數（k1、k2、p1、p2）等攝像機內部參數，研制適于足部激光掃描系統標定的細絲標定靶，并在攝像機標定的基礎上，采用直接線性變換方法，得到像素坐標（Xf，Yf）與世界坐標（Xw，Yw）的映射關系矩陣，進而通過高斯濾波等除去雜點，最后建模，完成三維足部激光掃描系統的數據處理。

一、主控計算機的基本配置

針對于長度方向的掃描范圍是290mm的足部掃描系統，考慮余量，需要行程大于300mm的移動平臺。運動分辨率應優于本系統長度方向的分辨率：20μm。同時，本系統需要在平臺的臺面中軸線下方安裝下光機模組（包括CCD和激光器），在臺面兩側安裝兩個支撐臂用來支撐左右光C模組，同時，考慮到成年人的一般體重，這就要求臺面允許的承載大于lO0kg（估計值）。隨后根據電機的相關參數選擇驅動器對電機進行控制。根據圖像采集速率，計算得到在不細分的情況下，每秒需要的脈沖數為1500pulse，在上述情況下，分辨率為0.025mm。若采用最大的256細分，每秒需要脈沖數變為384000個，因此需要控制卡能提供的脈沖頻率大于該參數。

基于上述計算，選擇單軸步進電機控制器。它是一塊多軸運動控制卡，可驅動步進/伺服系統，可實現單軸運行或兩軸聯動插補控制，并由硬件實現機械裝置的超限保護。其功能特點有：32位PCI總線（PCI2.1標準）；最高速可達1 MHz（即每秒1000000個脈沖）；自動回原點功能，可讀回運動中實際位置。整個系統除了計算機、平移臺自身有配套的電源，還需要給運動控制器、CCD攝像機以及激光器配備直流電源。

二、圖像的采集和識別處理

圖像采集系統由接口、CCD攝像機和控制軟件組成，通過控制軟件編程實現對圖像信號的采集和保存。接口有USB、Net、1394等，根據系統使用要求設置采集參數，采集時先將圖像保存在緩存中，最后再將采集到的圖像從緩存中以不同的命名保存到文件中以便于后續的處理和重建。

對圖像進行識別時需要首先進行光帶中心提取，對灰度圖像進行光帶提取時采用質心法，分兩步來實現：首先對作二值化圖像每一列的像素點的進行掃描，對灰度值為1的點（即白像素點）進行質心運算，即可得到當前列的光帶中心像素坐標，然后逐列移動，即可得到所有列上的光帶中心坐標，此時得到的光帶中心坐標只是一個近似值；在第一步得到的像素坐標近似值的基礎上，從原始灰度圖像上尋找這一坐標在列方向上的一個鄰域，然后利用質心法重新計算每一列的光帶中心，即可得到更為精確的光帶中心坐標。

攝像機標定是從二維圖像獲取三維空間信息的關鍵和必要步驟，如基于圖像的物體重建，基于圖像的測量等。現有的攝像機標定方法大致可以分成兩類：傳統的攝像機標定方法和攝像機自標定方法。傳統的攝像機標定方法是在一定的攝像機模型下，基于特定的實驗條件，如形狀、尺寸己知的標定參照物，經過對其圖像進行處理，利用一系列數學變換和計算方法，求取攝像機模型的內部參數和外部參數。但在很多情況下，由于存在經常性調整攝像機的要求，且設置己知的標定參數也不現實，這時就需要一種不依賴標定參照物的攝像機自標定方法。用二維平面靶標和張正友算法對攝像機進行標定。

其中為了獲得己知的精確的世界坐標，需要設計精密標定靶。標定靶作用是為各視覺傳感器提供相應的標定控制點對：即精確的世界坐標和像素坐標。它應滿足：標定點的空間范圍應該能夠近似覆蓋整個測量范圍，才能保證測量精度；在標定過程中，要對多個傳感器進行標定，因此標定靶的設計應該使得標定過程盡量簡單，減少標定過程中的工作量。

三、標定方法選取與標定實驗

如何實現攝像機和激光器組成的傳感器的標定，即標定光平面與攝像機之間的位置關系；如何實現系統全局的標定，即標定各組傳感器之間的位置關系。這就要考慮全局標定方法。全局標定要把各個視覺傳感器的測量數據統一到一個總體世界坐標系中，也就是確定各個視覺傳感器坐標系相對這一總體世界坐標系的位置與方向，即旋轉矢量和平移矢量。主要有以下三種常用的全局標定方法同名坐標統一法、中介坐標統一法和世界坐標唯一法。

其中世界坐標唯一法的基本思想是直接利用世界總體坐標系下的標定點對處于測量狀態的各個視覺傳感器單元進行局部標定，從而將局部標定和全局標定統一到了一起。其優點在于：實現了在測量現場視覺傳感器局部標定和全局標定的統一；減少了坐標轉換次數，從而減少了由坐標系轉換所帶來的精度損失；減少了標定點的采集次數，降低了勞動強度。因此采用世界坐標唯一法對系統進行全局標定。

利用平面靶標對攝像機進行標定的關鍵是含有坐標信息的特征點也稱控制點的檢測。常用的特征點是黑白棋盤格靶標上的角點。目前的檢測方法可以分為兩大類：一類是基于圖像邊緣的特征，通過用輪廓點來擬合直線或計算邊緣曲率、夾角，從而判定角點。概括來說，圖像處理的整體步驟是：

1.讀入拍攝的棋盤格圖像，利用Canny算子進行邊緣檢測；

2.利用BW算子求出邊緣區域的CBW響應值，并設置閩值取出前M個；

3.設置角點鄰域閾值，將同一角點鄰域內的點取均值，最終得出與實際角點數量相同的N個角點的圖像坐標。

準確檢測了一幅圖像的角點像素坐標之后，就能利用張正友算法進行標定，該方法基于以下思想：標定過程中，攝像機的內部參數始終保持不變，發生變化的只是外部參數。所以要求攝像機在兩個以上不同的位置對同一平面靶標進行拍攝，攝像機或靶標兩者之一可以自由移動，不需要知道它們之間的相互位置關系和運動參數等。像機的標定完成之后，就能將角點的世界坐標結合攝像機內外參數矩陣，將各點投影到圖像坐標系中，比較重投影點與實際檢測出的角點之g的誤差。為了說明角點檢測的準確性，對于直線擬合和BW算子檢測出的角點也按照張正友方法求解攝像機內外參數，之后投影到圖像坐標系中。

四、模型構建

建模需要依次進行以下步驟，進行以下步驟：首先進行機械調整。調整玻璃平臺與導軌面平行，即與掃描方向平行；調整兩個掃描臂平面與導軌平行，且等高、等間距；然后進行傳感器調試。保證腳底面與玻璃平面相交的位置不會超出CCD相機的視場并留有一定余量，保證數據的完整性?？梢酝ㄟ^調整CCD安裝座的俯仰角度實現。因為圖像亮度、對比度的設置如果太低，會使光帶的亮度降低，不易于黑暗的背景區分；如果設置太高，會使得噪聲點亮度增加，產生誤差和多余點云。隨后進行運動控制調試。保證CCD在電機勻速運動階段采集圖像。在平臺運動過程中，若人為碰觸近端的零位開關和遠端的限位開關，電機將立即停止運動，這就保證了系統的安全。其次進行激光平面調試。通過調整激光器安裝座的俯仰、平移，將三個激光平面調整到完全重合且與掃描方向垂直的狀態。最后通過點云真實地還原腳模的外形輪廓變化，多個角度視圖清晰。用高斯濾波濾除雜點，進而得到更為完善的模型。

數據處理論文:TTC與LGO在GPS工程控制網數據處理中的應用

摘 要：對兩種商業LGO和TTC進行了簡要介紹，以GPS工程控制網為基礎，采用兩種軟件處理了基線數據，基線處理后均采用后處理軟件CosaGPS進行平差，對兩種解算方式的結果進行對比分析，對類似的工程控制網解算有一定借鑒意義。

關鍵詞：GPS 基線；數據處理；工程控制網

1 引言

GPS測量數據的處理是研究GPS定位技術的一個重要內容，選用好的數據處理方法和軟件對結果影響很大。在GPS靜態定位領域里，幾十千米以下的定位應用已經較為成熟，接收機廠商提供的隨機軟件可滿足大部分的應用需要[1]。

目前測繪單位大都采用進口的隨機軟件解算基線、國產平產軟件進行網平差的方式來進行GPS網數據處理[2]。TTC和LGO作為目前工程應用中兩種進口的隨機商業軟件，均能夠進行GPS和常規地形測量數據處理、數據質量保證和質量控制[3]。本文結合該工程實例，采用兩種軟件進行GPS工程控制網的基線處理，基線處理后，采用國產平差軟件CosaGPS進行網平差，并圍繞兩種處理結果展開討論。

2 軟件介紹

LGO，全稱Leica Geo Office，是瑞士徠卡測量有限公司開發的用來進行數據傳輸、數據編輯、瀏覽及質量控制等的辦公軟件。一般與該公司的全站儀、GPS等相互配合使用。該軟件以統一的方式管理TPS、GPS和水準數據，功能強大，而且對于GNSS的基線解算，在同類軟件中處于上等水平[4]。

TTC，全稱Trimble total control，是Trimble公司為高端客戶定制的集空間信息采集、存儲、分析、顯示和數據檢索于一體的產品，與Trimble公司退出的TGO出具處理軟件類似，但不同之處在于TTC軟件可以進行上百公里至幾千公里長距基線的高精度解算，TTC操作過程簡單，近乎傻瓜化，可滿足中低檔客戶掌握高精度GPS數據處理的需求[5]。

3 實例分析

某工程控制網共7個控制點，按《全球定位系統（GPS）測量規范》要求進行D級GPS布網和觀測，基線長度0.9～6.0km，數據采集采用leica GX1230，采樣間隔30秒，衛星高度截止角15°[6]。控制網圖形如下圖1所示。分別以TTC和LGO對觀測結果進行基線數據處理，下表1為兩種軟件基線平差結果。

LGO由于軟件本身采用的基線精度評定標準與其他軟件不同，因此不能直接與其他軟件的RMS進行比較[7]。從上表可以看出，兩種軟件處理的15條基線，二者基線長度差值最小為0mm，最大為17mm。若按基線精度要求及復測基線長度較差進行比對，結果均滿足規范要求，說明兩種軟件解算的基線結果是相吻合的。

CosaGPS軟件是武漢大學編寫的一套測量控制網通用數據處理軟件包。完成任意測量控制網的平差解算和精度評定等工作。該系統最大特點是自動化程度高，通用性強，處理速度快，解算容量大，成果報表自動化輸出[8]。本例中利用CosaGPS自動讀取TTC/LGO軟件輸出的基線向量文件，進行三維無約束平差，三維向量無約束平差基線分量改正數結果見表2。

從三維向量無約束平差結果來看，基線分量改正數絕對值均滿足規范要求。兩種解算方式得到的最弱邊相對中誤差分別為：TTC/CosaGPS（1/307000））、LGO /CosaGPS（1/664000），這說明基線向量沒有明顯系統誤差和粗差，該控制網內符合精度較高，數據處理質量可靠。從兩種解算方式得到的結果對比來看，LGO輸出的基線分量改正數整體性優于TTC，說明LGO軟件處理的基線結果優于TTC軟件處理的結果。

接下來，在三維向量網無約束平差的基礎上，為獲取控制點在工程控制網下的平面坐標，進行二維約束平差。二維約束平差后，兩種解算方式得到的控制點間最弱邊相對中誤差分別為：TTC/CosaGPS（1/204000）、LGO/CosaGPS（1/322000），滿足平面控制網最弱邊相對中誤差要求。二維平差平面坐標結果見表3。

從上表二維約束平差的點位誤差方面可以看出，兩種解算方式的坐標分量X方向最大差值為9mm，Y方向最大差值為13mm，點位最大差值為15mm。從兩種解算方式處理的精度對比來看，LGO/CosaGPS相較TTC/CosaGPS處理的結果，點位誤差較小，精度較高，從《工程測量規范》[9]施工控制點±20mm限差要求來看，兩者結果均能夠滿足需要。

4 結語

本文以某GPS工程控制網為例，通過LGO與TTC兩種軟件進行基線處理，后處理均采用CosaGPS網平差，對其解算結果進行比較分析。結果表明：LGO軟件較TTC軟件在數據處理方面占優，但二者處理數據結果相一致，均滿足規范要求。在工程應用中，二者均具有操作方便、快捷、處理速度快、結果直觀清晰等優點，兩種軟件均可以用于類似GPS工程控制網的數據處理。

數據處理論文:高中物理實驗數據處理中誤差理論的應用研究

摘 要：本文主要分析了誤差理論在高中物理實驗數據中的重要性，闡述了誤差理論的具體應用，最后總結了誤差理論對物理實驗的作用，旨在加強誤差理論在物理實驗數據中的應用，促進學生對物理的真正認識和理解。

關鍵詞：高中物理實驗；數據處理；誤差理論；應用

一、誤差理論應用的重要性

首先，高中物理實驗中的實驗是真實存在于現實生活中的，但是仍然必須經過一些嚴謹的操作步驟才能夠完成驗證。為了確保實驗的正確性，通常會采用大量的數據來證明，數據的可靠性必須達到一定的標準。然而在實驗過程中，由于一些不確定因素的影響，常常會讓實驗數據產生誤差，這種誤差通常是不可避免的，但是對于實驗又有一定的影響。為了讓實驗準確性更高，必須在實驗原理沒問題的情況下，科學地使用誤差理論的原理來解決這個問題。在物理實驗中，誤差的存在有其必然性，而實驗者對誤差的分析也是實驗的一個重要環節。

其次，誤差理論在物理實驗數據處理中有著重要作用。誤差理論和實驗數據處理屬于考試高頻考點，但是實驗數據處理相對而言不容易被忽視，而誤差理論往往容易被忽略，教師在講解相關理論知識和題目時，對誤差理論知識一筆帶過，學生掌握得也不夠透徹，處于似懂非懂的狀態。因此當實驗過程中出現誤差時，學生容易將誤差歸結到偶然性的誤差和系統的誤差上，沒有深入研究和探索實驗真正存在的問題，對學生處理物理實驗數據并沒有幫助。另外，在高中物理學習階段，學生對誤差的理解停留在“誤差的存在是正常的，不需要對誤差進行研究和計算”，這是因為學生對于誤差理論沒有進行定量分析，從而將誤差理論和實驗數據理論分割開，實際上這二者是緊密聯系的。

最后，誤差理論實際包含了許多物理實驗數據的處理方法，不僅是對誤差的分析，也有嚴密的法則方便對數據進行處理，主要被廣泛應用于工業生產中。而在考慮和處理問題的方法中，誤差理論也常常被用到，尤其是處理高級數據，可見誤差理論與物理實驗數據處理有著不可分割的關系，合理、科學地運用誤差理論，能夠在高中物理實驗數據處理中發揮重要的作用。

二、高中物理實驗數據處理中誤差理論的具體應用

1.力的平行四邊形定則驗證實驗

力的平行四邊形定則驗證實驗是高中階段一項重要的基本實驗，在實驗過程中，需要獲得的是：兩個共點分力相同作用效果和實際的測量數據的合力，是否和這兩個共點力構建的理論合力符合，兩個共點力應用的原理是平行四邊形定則。這個實驗涉及實驗的測量數據和理值之間的誤差，在合理的誤差范圍內，兩者的合力相同，那么印證了平行四邊形的定則。這個實驗需要的材料有木板、橡皮、白紙等，原理是如果兩個作用力F1和F2的作用效果和一個力F的作用效果一樣，那么力F就是F1和F2的合力。實驗過程中，由于誤差的存在，F1和F2與合力F很難完全相同，數值甚至可能相差甚遠，此時教師需要及時引導學生，觀察實驗過程中的小細節，爭取將誤差降到最低，確保實驗的準確性，完成實驗的驗證過程。

經過研究分析，誤差的來源可能有以下三個方面：第一，運用平行四邊形的定則進行作圖時，由于作圖不準確產生的誤差；第二，彈簧測力計沒有調零；第三，在使用彈簧測力計時，彈簧外殼與紙張的摩擦以及彈簧與外殼的摩擦造成的誤差。

2.探究勻變速直線運動的實驗

實驗中，勻變速直線運動涉及測量加速度的方法，加速度是一個極為抽象的概念，如果教師簡單地通過理論教學，學生不能夠將其概念理解得很透徹。因此教師可以通過直觀的方式進行實驗教學，如通過打點計時器和紙帶，將加速度轉化為較直觀和可以進行測量的具體數值。在實驗過程中，教師應該引導學生在加速度實驗設計中分析誤差，選擇合適的實驗參數，從而降低誤差。誤差理論的應用在一定程度上能夠培養學生對待實驗嚴謹和細心的態度。教師在這個過程中，通過誤差理論教學，提高學生分析問題和誤差的能力。在勻變速直線運動實驗中，小車帶著紙帶在軌道上做加速運動，穿過打點計時器會留下一連串的數據點。通過逐差法計算出小車運動的加速度

T是打點計數器的周期，為了讓學生處理數據更方便，這里一個周期為五個時間間隔。S1、S2、S3…是紙帶上相鄰的點的距離，學生可以通過測量得出相鄰距離。實驗的誤差主要有兩個部分：第一，測量位移；第二，測量時間。降低紙帶測量的誤差，能有效提高小車加速度的準確性。

綜上所述，誤差理論應該廣泛應用于高中物理實驗數據處理中，讓實驗的結果和過程更加合理化、科學化，準確性更高，讓學生徹底明白誤差理論知識的概念，增強學生分析物理實驗數據的能力，提高學生處理數據的能力，以后能夠以嚴謹的態度對待相關物理實驗。

數據處理論文:正點地面觀測數據維護中異常數據處理

摘 要：調整地面氣象觀測資料報文傳輸方式后，值班人員應將逐時觀測的氣象要素數據信息在正點后借助地面測報業務軟件“正點地面觀測數據維護”來檢查觀測數據，一旦有異?；蝈e誤出現，應及時分析和處理疑誤數據，做好自動氣象站觀測數據質量控制。

關鍵詞：地面觀測；數據維護；異常數據；處理對策

科學技術水平快速提升推動了我國氣象事業發展和進步，對觀測資料完整性、實用性和時效性提出了更高要求。在實際觀測工作中，采集的各個氣象要素數據質量受外界因素影響較大，降低了自動臺站觀測資料使用價值。一旦發現觀測數據異常，可憑借日常工作經驗及時分析處理疑誤信息，以增強自動氣象站觀測數據可用性，提升地面氣象觀測業務質量。

1 基本操作要領

為方便正點時刻進行地面觀測工作，在維護軟件中設置正點觀測值和小時內分鐘觀測值實時對比功能。當焦點經過當前時次相對濕度、氣溫、降水量和本站氣壓等氣象要素對應單元格時，工作人員按住“Shift”鍵，右擊對應單元格，該時次內相關氣象要素逐分鐘觀測數據信息和對應曲線圖就會顯示在“分鐘降水量”窗口上方。

臺站整點時刻會編發加密天氣報和天氣報，應在正點時刻點擊OSSMO軟件對應整點地面觀測數據維護功能，在正點5min內將人工觀測氣象要素數據信息輸入系統內，還要認真檢查錄入數據信息是否完整，若自動臺站不能正常運行，應第一時間實施科學合理人工干預。在非天氣報或加密天氣報時次，觀察自動站逐時采集數據情況，當軟件運行中有異常，認真分析并針對性處理，同時保存，控制質量完成后會生成新的長Z文件。

取消天氣報后，當新型自動氣象站觀測氣象要素值異常時可通過人工方法來干預，單擊“數據維護”下拉菜單中“正點地面觀測數據維護”，進入界面后在OSSMO窗口中同時點擊“Ctrl+T”鍵，在“正點地面觀測數據維護”中查看人工觀測數據和本時次相關統計、自動氣象站觀測數據、應急加密觀測、累積降水量值，以滾動表格方式將與本時次統計值相關所有觀測資料信息羅列。

2 正點地面觀測數據維護中異常數據處理

2.1 數據輸入異常

2.1.1 降水量輸入

通過人工方法錄入降水量數據信息，若“正點地面觀測數據維護”窗口上有“降水天氣現象無編報降水量”信息提示，此時無法錄入降水量數據信息，刪除對應天氣現象編碼信息后根據正確順序錄入即可。

2.1.2 云的輸入

可以正確輸入云量數據信息，但不能輸入云狀態時，應檢查輸入模式是否為英文；如果有“云高不能為空！”提示信息，應在現有云高欄中輸入正確云高數據后刪除編報欄中云量信息，結合本站實際決定是否刪除云高信息。因輸入方式錯誤引起的軟件異常也可關閉軟件不保存數據信息，再重啟業務軟件，按正確方法輸入氣象要素數據信息，有效避免異常。

2.2 記錄超出歷史極值

2.2.1 觀測數據超過極值

在正點地面觀測數據維護中，一旦發現氣溫、氣壓、相對濕度、降水量數據超過極限值，要通過人工方法J真審核氣象要素數據信息，將正點觀測氣象要素數據和逐時分鐘內觀測數據信息進行比較，借助操作軟件判斷氣象要素合理性，若發現氣象要素值變化與客觀規律相符的正常數據信息，在發送數據信息后并做好保存。

2.2.2 地溫等其它要素超過極值

若地溫等要素值超過極值，應查看逐分地面觀測數據文件，分析分鐘內數據文件是否合理，如果分鐘數據跳變異常而不能使用或超過氣候學界限值時，可按缺測處理。要科學合理設置軟件中地面審核規則庫數據，預審人員可結合預審報表中超過歷史極值可疑信息，在審核規則庫中設置合適極值。

3 降低地面正點觀測數據異常的對策

3.1 做好觀測儀器設備維護

做好觀測儀器設備保養和維護，確保新型自動氣象站長時間穩定運行。新型自動站儀器設備為較敏感元器件制成，在建站選址時，應選擇在電磁干擾程度較小區域，避免電磁信號干擾影響地面觀測工作。

3.2 做好惡劣天氣下地面測報工作

新型自動氣象站觀測儀器設備運行過程中受惡劣天氣影響較大，可借助于先進觀測儀器設備加強對特殊天氣掌握程度，了解惡劣天氣條件對觀測儀器設備的危害，采取有針對性防御對策。

3.3 升級測報軟件

應做好備份工作并及時保存相關數據信息，詳細了解升級后測報軟件內容，通過可靠軟件網站進行升級，做好補丁安裝，防止因軟件升級失敗造成觀測數據信息丟失。

3.4 數據備份

應高度重視數據備份工作，做好新型自動站正點地面觀測數據維護，防止觀測氣象要素數據信息異常。做好人工監測工作，真實、全面記錄氣象要素數據信息。將20h作為1周期，由測報人員將備份工作做好，一旦發現觀測數據異常，可錄入備份數據信息。

數據處理論文:大數據時代下的電力自動化系統數據處理

摘 要：我國電力市場發展度較快，電力系統也正逐步向自動化邁進，并且在運行過程中產生了大量數據，我們將其稱之為"大數據時代"。本文主要闡述了電力自動系統在運行過程中產生的具體數據情況，并分析了基于大數據時代背景下如何做好電力數據處理工作。

關鍵詞：大數據時代；電力自動化系統；數據處理

電力自動化數據的處理工作中，要針對不同的數據類型以及系統不同部分對數據的不同要求建立起對應的系統數據資源處理體系。通過建立并整合綜合數據庫、完成電力系統安全防護規范、形成完善的調度數據體現功能等實現對電力自動化系統中數據的有效處理。

一、電力自動化系統的類型分類

1.基礎型數據：主要是與電力自動化系統中的電力設施設備屬性相關的數據，如，發電機、變壓器等電力設施設備的基礎數據。對于這些數據一般是電力單位根據相關的數據規劃各自進行管理，并通過相關數據服務器對其數據進行數據同步，便于調度中心對這些數據進行集中存儲、整理和相關計算。

2.實時數據：大多數是在電力系統運行過程中進行實時采集的數據，其數據量很大，對存儲空間的要求比較高。這些數據是在電力系統運行過程中產生的，通過對其進行糾錯處理后，能夠為調度部門或市場運營提供決策參考依據。目前，我國電力自動化系統在實時數據處理方面比較成熟，對收集到的實時數據不需要進行相關的處理，只需要在數據輸入、輸出過程中建立一個穩定的接口即可。

3.日常管理的數據：主要是在電力系統運行過程中對各種相關數據進行統計，各部門對在工作中遇到的問題進行相關處理后的數據信息。一般情況下，這些數據只需要在特定的范圍內進行同步和共享即可。在電力系統運行過程中，建立這一類型數據同步和共享的數據平臺是十分必要的。主要原因表現在以下幾個方面：①這些日常管理的數據在某種程度上反映電力系統中電力設施設備的運行情況；②方便電力系統中各個部門對日常管理數據的獲取，以便更好的開展部門工作。

4.市場經濟數據：隨著市場經濟的發展，電力系統的經濟效益越來越突出，電力系統運行中的相關數據對電力單位的發展具有重要影響，將其作為經濟性數據十分有必要。市場經濟數據對城市建設規劃中的電力規劃有很重要的決策參考依據。市場經濟數據具有非常大的擴展空間，其數據規劃的重點將是實時數據。

二、電力系統化系統中數據的獲取

電力系統化系統中數據的獲取就是整個數據的采集過程。在電力自動化系統中，主要包括了數據采集、數據處理以及數據轉發三個環節。在電力系統中，實現數據傳輸是進行數據獲取與采集的重要目的。在進行數據傳輸過程中，可以采用有限傳輸與無線傳輸兩種方式進行。在采用有限傳輸的過程中，主要通過使用電纜或者光纖進行傳輸。而在無線傳輸過程中，則可以使用微波或者無線擴頻的方式進行傳送。由于有限傳輸信號穩定可靠，因此，在電力自動化系統當中主要是使用有線傳輸方式。但是，由于無線傳輸方式能夠減少線路的鋪設工作量，而且在較為偏遠的地區能夠方便的采集數據，而使得其在部分地區得到廣泛應用。

三、電力自動化系統中的數據處理

3.1數據共享

數據共享的主要方式主要包括以下幾種：（1）內存數據庫。利用內存數據庫有著安全性高、訪問速度快和結構靈活的特點，但是也存在著一些問題，那就是其開放性較低。（2）利用網絡進行通訊。網絡通訊的方式有UDP、TCP、IP等，在對數據進行打包發送的過程中，網絡通訊的方式相應速度較快，而且數據在處理的過程中，使用的是二進制的方式，這種方式在編程的時候較為復雜。（3）直接內存訪問。利用直接內存訪問的方式進行共享，有著傳輸速度較高、進入的速度較快的特點，但是在數據處理的過程中，對于整個系統的安全性會造成一定的影響。電力自動化系統使用的是DCOM技術來進行內存數據庫的訪問的，例如，遠程主機在進行數據共享的過程中，可以使用網絡映射的方式將遠程主機進行映射，使其映射到本地的磁盤中，這樣是便于數據的下載與更新的。

3.2數據流

數據流也是電力自動化系統運行中十分重要的組成部分，在數據處理中扮演著關鍵性得角色。隨著計算機技術和網絡技術的快速發展，數據流呈現出了連續性、順序性和實時性，整個過程的起點是在數據進入到了系統中開始，而數據在流動的過程中，那么信息的流動策略就會與整個系統的功能有著緊密的聯系。隨著電力自動化技術的不斷提高，電力系統在運行的過程中，數據量在逐漸的增加，整個系統結構也變得越來越復雜，必須要對相應的數據量進行科學的分析，這樣才能夠合理的部署，提高數據傳輸的效率，使數據流在運行的過程中，能夠充分的保證其可靠性、安全性和實時性。數據流技術在處理的過程中，一定要將接口的統一性進行相應的處理，在這樣的情況下，就要充分的解決各個子系統之間的在接口統一性上的問題。

3.3電力自動化系統中的數據整合

電力自動化系統的建立及發展是基于“建立調度綜合數據應用與交換平臺，規范和整合調度系統數據”的基本要求，通過數據讓你過河、功能完善等方式使得不同的專業技術以及信息安全技術在系統中得到應用和體現。同時，電力自動化系統的整合工作必須基于國家電網調度系統的數據整合原則及基本工作框架進行。當前，系統建設的主要目標在于建立一個綜合數據庫、形成一個與電力二次系統安全防護要求相一致的信息交換體系，實現通用調度數據的體現。在具體的實施過程中，可以采取如下步驟進行：（1）基于既有系統開發多種分散數據的采集與整合工具，形成統一數據規格的管理規范，建立一個基于對象的數據處理數學模型，進而實現系統信息的相互關聯，實現信息區域的管理中心。（2）利用通用調度數據展現技術給電力自動化系統用戶提供便捷的數據分析、加工及理途徑。同時，開發并實現基于用戶自定義規則的調度數據綜合處理信息系統，實現對數據的重復利用。（3）開發橫向調度數據接口技術，通過完善并統一對外調度接口的方式，避免出現數據多重交叉的以及重復輸出問題。（4）形成上、下級縱向調度數據的標準接口，構建起廣域范圍中的金字塔式形式的立體數據體系。

四、智能電網

1.智能電網中的網絡拓撲結構

智能電網中的網絡拓撲結構具有堅強、靈活的特點，能夠有效的解決電力系統中能源和生產力分布不均勻的問題，滿足電力企業大規模生產運輸過程中產生大規模數據的處理功能，實現資源的優化配置，減少電能損耗。同時，智能電網中的網絡拓撲結構能夠有效的應對一些自然災害，如雨、雪等。

2.開放、標準、集成的通信系統

智能電網能夠對電力自動化系統進行及時有效的監控，主要在其具有識別故障早期征兆的預測能力和對故障做出相關的相應的能力。智能電網是電力自動化企業的發展方向，能夠為電網規劃、建設和運行管理提供全面的數據信息，有利于大數據時代下電力自動化運行系統的穩定、安全和高效的運行。

結語

自動化系統的正常運行，一定要充分考慮到系統運行中數據信息的數量信息，便于數據的維修和存儲空間的無限擴展。文章主要是分析了自動化系統的數據類型，并且對其進行了詳盡的分析，對于相關問題進行了闡述，給電力自動化系統提供了更加廣闊的空間，并探究了智能電網在電力自動化運行系統中運行的優勢和未來的發展方向。

數據處理論文:大數據處理平臺比較研究

摘要：大數據環境下，傳統的數據處理方式不再適用，以云計算技術為支撐的大數據處理平臺應運而生。比較了開源Hadoop和Spark平臺各自的優缺點，發現各自的適用范圍：Hadoop適用于數據密集型任務，并廣泛應用于離線分析；Spark因其基于內存計算，在迭代計算和實時分析領域占據優勢。二者在功能上有較強的互補性，協同使用可以發揮更大效益。

關鍵詞：大數據平臺；Hadoop； Spark；比較研究

1大數據處理平臺

1.1大數據特點

目前，大數據還沒有一個標準定義，但是把握大數據的特征，有助于加深對大數據內涵的理解。數據具有的3V特征，即規模大（Volume）、種類多（Variety）、速度快（Velocity）。規模大，意味著數據量不斷擴張，數據量級從現在的GB、TB增長到PB、EB甚至ZB級；種類多，指數據類型有結構化、半結構化和非結構化，其中文字、圖片、音頻、視頻等非結構化數據占很大比例；速度快，表示大數據有強時效性，數據快速產生，需要及時處理及分析才能實現大數據的經濟價值。 大數據的處理過程為數據抽取與集成、數據分析以及數據解釋 [1]。巨量的數據往往也意味著噪聲較多，這給數據清洗工作造成困難。傳統的關系型數據庫處理對象單位通常為MB，適合處理存儲結構化數據，而面向大數據的數據庫技術能夠解決海量的非結構數據存儲問題。傳統的數據分析方法以算法的準確率作為重要的衡量指標，而大數據的高速性要求算法必須犧牲一部分準確性以更高效地處理數據。

1.2大數據處理平臺

為從規模巨大、種類繁多、生成快速的數據集中挖掘價值[2]，針對大數據的技術和方法應運而生。GFS、NoSQL、ITHbase、MapReduce等云計算技術發展，使大數據有效存儲、管理和分析成為可能。但從眾多復雜的大數據技術中進行選擇，并搭建完備的大數據處理框架難度很高，不利于挖掘大數據中的經濟價值。大數據平臺能在用戶不了解架構底層細節的情況下，開發大數據應用程序。全球領先的科技巨頭紛紛提出了建設與應用大數據處理平臺：IBM公司推出了云端版InfoSphere BigInsights[3]；HP推出了HP Vertica6.1分析平臺[4]；Google提出的GFS、MapReduce等云計算技術催生了大數據處理平臺的事實標準Hadoop。目前，Google使用的是自己開發的Caffeine[2]；Facebook結合自身需求實現了Corona、Prism。完備、高效的大數據處理平臺為大數據應用提供一站式基礎服務，支持應用系統從清洗、集成、分析到結果可視化展現全過程建設，降低了用戶技術門檻[5]。

2大數據處理平臺比較

Hadoop的支撐技術（MapReduce等）成熟，實現了海量數據分布式存儲和批量處理，應用廣泛，成為大數據處理平臺的事實標準。Spark以其近乎實時的性能和相對靈活易用而受到歡迎，它同Hadoop一樣都是Apache旗下的開源集群系統，是目前發展最快的大數據處理平臺之一。

2.1Hadoop與Spark比較

2.1.1Hadoop及特c Hadoop是由Apache開發的開源云計算平臺，實現在大量計算機組成的集群中進行分布式存儲和計算。Hadoop框架最核心的技術是HDFS和MapReduce。HDFS是可部署在廉價機器上的分布式文件系統，采用主/從結構，將大文件分割后形成大小相等的block復制3份，分別存儲在不同節點上，實現了海量數據存儲。MapReduce編程模型實現大數據處理，它的核心是“分而治之”[1]。Map任務區將輸入數據源分塊后，分散給不同的節點，通過用戶自定義的Map函數，得到中間key/Value集合，存儲到HDFS上。Reduce任務區從硬盤上讀取中間結果，把相同K值數據組織在一起，再經過用戶自定義的Reduce函數處理，得到并輸出結果；將巨量資料的處理并行運行在集群上，實現對大數據的有效處理。 Hadoop具有如下優點[69]： （1）高擴展性。Hadoop的橫向擴展性能很好，海量數據能橫跨幾百甚至上千臺服務器，而用戶使用時感覺只是面對一個。大量計算機并行工作，對大數據的處理能在合理時間內完成并得以應用，這是傳統單機模式無法實現的。 （2）高容錯性。從HDFS的設計可以看出它通過提供數據冗余的方式提供高可靠性。當某個數據塊損壞或丟失，NameNode就會將其它DataNode上的副本進行復制，保證每塊都有3份。所以，在數據處理過程中，當集群中機器出現故障時計算不會停止。 （3）節約成本。首先，Hadoop本身是開源軟件，完全免費；其次，它可以部署在廉價的PC機上；“把計算推送給數據”的設計理念，節省了數據傳輸中的通信開銷。而傳統的關系型數據庫將所有數據存儲起來，成本高昂，這不利于大數據產業發展。 （4）高效性。Hadoop以簡單直觀的方式解決了大數據處理中的儲存和分析問題。數據規模越大，相較于單機處理Hadoop的集群并行處理優勢越明顯。 （5）基礎性。對于技術優勢企業，可以根據基礎的Hadoop結合應用場景進行二次開發，使其更適合工作環境。比如，Facebook從自身應用需求出發，構建了實時Hadoop系統。 Hadoop系統局限性 [1011]：①不適合迭代運算。MapReduce要求每個運算結果都輸出到HDFS，每次初始化都要從HDFS讀入數據。在迭代運算中，每次運算的中間結果都要寫入磁盤，Hadoop在執行每一次功能相同的迭代任務時都要反復操作I/O，計算代價很大。而對于常見的圖計算和數據挖掘等，迭代計算又是必要的；②實時性差。Hadoop平臺由于頻繁的磁盤I/O操作，大大增加了時間延遲，不能勝任快速處理任務；③易用性差。Hadoop只是一個基礎框架，精細程度有所欠缺，如果要實現具體業務還需進一步開發。MapReduce特定的編程模型增加了Hadoop的技術復雜性。

2.1.2Spark及特點 Spark的整個生態系統稱為BDAS（伯克利數據分析棧），包括Tachyon、Spark Streaming、Spark Core、MLlib等。其核心框架Spark是為了實現大數據的快速處理而設計的，可以用來構建低延遲應用。Spark以RDD（彈性分布數據集）為基礎，實現了基于內存的大數據計算。RDD是對數據的基本抽象，實現了對分布式內存的抽象使用。由于RDD能緩存到內存中，因此避免了過多的磁盤I/O操作，大大降低了時延。Tachyon是分布式內存文件系統，類似于內存中的HDFS，基于它可以實現RDD或文件在計算機集群中共享。Spark沒有自己的文件系統，通過支持Hadoop HDFS、HBase等進行數據存儲。Spark更專注于計算性能，其特點如下[1113]： （1）高速性。Spark通過內存計算減少磁盤I/O開銷，極大縮小了時間延遲，能處理Hadoop無法應對的迭代運算，在進行圖計算等工作時表現更好。高速數據處理能力使得Spark更能滿足大數據分析中實時分析的要求。 （2）靈活性。較之僅支持map函數和reduce函數的Hadoop，Spark支持map、reduce、filter、join、count等近80多種操作類型。Spark的交互模式使用戶在進行操作時能及時獲得反饋，這是Hadoop不具備的。Spark SQL能直接用標準SQL語句在Spark上進行大數據查詢，簡單易學。盡管在Hadoop中有Hive，可以不用Java來編寫復雜的MapReduce程序，但是Hive在MapReduce上的運行速度卻達不到期望程度。

2.1.3Hadoop與Spark特點比較分析 Hadoop具有高擴展性、高容錯性、成本低、高效性、不適合迭代運算、實時性差、易用性差等特點，與之相比，Spark最突出的特點是高速性和靈活性，基于這些特點分析總結如下：Hadoop更注重存儲性能，而Spark更專注于計算，可以形象地將二者的處理方式比作“大砍刀”和“剔骨刀”，前者可以勝任更加繁重的任務，但難免粗糙，后者則勝在快速、靈巧上。

2.2Hadoop與Spark應用場景比較

2.2.1Hadoop應用場景 Hadoop的高擴展性、高容錯性、基礎性等優點，決定了其適用于龐大數據集控制、數據密集型計算和離線分析等場景。針對Hadoop的局限性，為提高Hadoop性能，各種工具應運而生，已經發展成為包括Hive、Pig、HBase、Cassandra、YARN等在內的完整生態系統。HBase新型NoSQL數據庫便于數據管理，Hive提供類似SQL的操作方式進行數據分析，Pig是用來處理大規模數據的高級腳本語言……這些功能模塊在一定程度上彌補了Hadoop的不足，降低了用戶使用難度，擴展了應用場景。

2.2.2Spark應用場景 與Hadoop不同，Spark高速、靈活的特點，決定了它適用于迭代計算、交互式查詢、實時分析等場景，比如，淘寶使用Spark來實現基于用戶的圖計算應用[11]。但是，其RDD特點使其不適合異步細粒度更新狀態的應用[1]，比如，增量的Web抓取和索引。RDD的特點之一是“不可變”，即只讀不可寫，如果要對RDD中的數據進行更新，就要遍歷整個RDD并生成一個新RDD，頻繁更新代價很大。

2.2.3Hadoop與Spark的互補競爭關系 Hadoop與Spark同櫬笫據處理平臺，必然在市場中存在一定的競爭替代關系，二者在功能上有較強的互補性。Hadoop解決了如何將大數據儲存起來的問題，Spark在此基礎上考慮的是更快速、易用地實現大數據分析，這點從Spark仍采用HDFS作為文件系統就可看出。它們適用于不同的應用場景，有時協同工作會達到更理想的效果，在Spark和Hadoop的許多發行版（如CDH、MapR、InfoSphere BigInsights）中，它們都已經互相支持實現。

3結語

本文分析了大數據的3V特點，論述了大數據處理與傳統數據處理的不同，指出了傳統處理方式在大數據環境下的局限性。通過分析常用的大數據處理平臺，并分析Hadoop和Spark的核心技術，對其優缺點進行了歸納。Hadoop實現了海量異構數據的存儲和處理，雖然在處理速度和易用性方面存在缺陷，但由于它的基礎性還是得到廣泛應用，企業可根據自身應用特點進行改進。雖然Spark不適合異步細粒度更新狀態的應用，但在處理性能和易用程度上較Hadoop優勢顯著，發展也十分迅速。通過比較兩者的優缺點，可以發現它們在功能上有較強的互補性，協同使用可以帶來效益優化。目前Spark和很多Hadoop發行版都已經互相支持。期望本文對大數據處理平臺的選擇、利用和研發有所啟發。

數據處理論文:公路工程試驗檢測的數據處理與分析

[摘要]為了確保公路工程的質量，需要在施工的各個環節實行試驗檢測工作，在材料、施工工藝和技術、工程驗收等方面進行檢查，形成的數據資料經過分析和處理，是公路工程質量的重要保障。本文著重分析介紹試驗檢測的數據處理以及相關分析。

[關鍵詞]公路工程；數據；試驗檢測；分析和處理

在施工中要保證建筑材料不使用劣質產品，施工工藝和技術是否符合工程建設標準，工程的實用性是否滿足投入使用后的需求，都需要專業的試驗檢測來驗證和把關。在我國大多數公路工程中，試驗檢測在其中都發揮重要的監督和鞭策作用。對于試驗檢測的數據要進行科學客觀的處理和分析，得到最公正的檢測試驗報告，工作人員要認真履行試驗檢測職責，為公路工程的質量負起責任。

1.公路工程試驗檢測數據分析

在進行公路工程試驗檢測數據的相關分析時，要注意選擇正確有效的分析方法。數據分析需要大量的精密運算、繪圖與建立表格來開展數據的分析。工作人員要掌握專業的W科知識，并靈活運用于試驗檢測工作當中。根據精密運算和解析得到的重要參數以及圖表等分析依據，才能為工程的各項施工技術和功能去粗存精，找出問題發生所在以及制定整改措施。

1.1圖示法

概括來講，圖示法就是應用圖形具體表現檢測數據，能夠使人們清晰的看出函數的變化趨勢和規律。但圖示法仍有它的缺點，在圖形中不能很清晰的表現函數關系，使得無法進行精確的科學分析。如果用圖示法對數據進行處理，首先要準確把分度值、名稱和有效數字的位數等重要數據標注在坐標軸上，在書寫過程中，要盡量將文字的書寫方向和坐標軸保持平行。第二點值得注意的是，要讓測量數據的精度和記錄分度相對應，作圖時一定要采用平滑曲線的連接方法，堅決杜絕繪制成一條沒有任何意義的工程折線，而是要使其成為一條平滑曲線。

1.2表格法

表格是一種直觀、全面的工具，對于試驗檢測工作來說，表格法是通常在實際工作中使用的方式，企業的報表、工程各項參數以及各項試驗數據都可以轉化為表格的形式表現出來，讓人一目了然，清晰陜速的了解事物的屬性和重要數據分析。但是，在表格法的使用過程中我們發現了一些問題：表格是一種標準設計，其內容和重要的數據都放置于規定的方格內，空間有限，如果有其他重要的數據，就會出現遺漏或者錯漏，導致試驗檢測的數據分析出現問題，精確度下降，對于事物的了解雖然迅速高效，但是只能做到初步粗淺的理解，深入的反映事物的關聯和內在聯系是很難通過表格呈現出來的，在施工中就無法進行很好的銜接，會造成施工環節的不連貫，給施工進度造成一定的影響。表格法所呈現的數據雖然簡易明了，通俗易懂，但數據都是孤立性的存在，表格無法體現我們通常需要的一般線性規律，其重要程度大打折扣，雖然通過表格數據分析可以知道工程檢測的結果，但相關的具體分析和前因后果都無法做到全面的了解和補充。

1.3經驗公式法

我們在繪制完成曲線后，可以很直觀的發現它與一些特定函數有相似之處，我們把這種與曲線對應的函數稱之為經驗公式。實際上，要想簡明扼要的表達所有數據之間的關系，最簡單的方法就是用一個公式來表達，這樣可以直接得到自變量和應變量的關系。

2.公路工程試驗檢測的誤差處理

2.1誤差的來源

公路工程的試驗檢測數據要求精確精準，但是在實際檢測工作中，工作人員發現誤差是無法避免的，專業知識扎實、檢測經驗豐富的工作人員也會發生一定概率的誤差，再精密的檢測設備和儀器都會發生理論上的誤差，更何況是人了，所以數據誤差的來源是由于工作人員或者設備儀器的本身誤差造成的。而在大多數試驗檢測數據分析和處理工作中，出現一定范圍內被允許的誤差是正常的。但是檢測人員要全力避免誤差的擴大，避免對檢測結果造成不良影響，延誤施工進度。

2.2誤差的表示

誤差有兩種最基本的表達方式，即絕對誤差和相對誤差。絕對誤差指的就是實際測量值和真實值之差。在具體工作中，我們通常把用精度較高的儀器設備測量得到的數據稱為實際值。實際值比較接近真實值，所以用它來替代真實值。絕對誤差要有單位，要與被測值的單位保持一致，然后是用絕對誤差表示實際偏差，但是卻不能夠得到誤差的精確程度。所以，相對誤差不單能夠表示絕對誤差，還能表示精度，同時還可以表示誤差的方向。

2.3誤差的處理與分析

盡管誤差很可能出現或者已經存在于檢測結果中，也是有辦法可以進行補救的，最常用的辦法就是多次進行重復的試驗檢測，將每次的檢測結果進行對比和整理，依靠數學中的統計學原理進行取值，以此方法得到的數據就會更加可靠和準確。在一般情況下誤差是普遍存在的，而很有可能是人為過失的因素釀成的，而不是檢測設備或者儀器本身存在的誤差率造成的，因此，要進行重復試驗，找出錯誤所在，排除第一次錯誤的數據，然后進行多次試驗驗證，直到滿足檢測需求的準確結果。在檢測工作中應該全力避免人為失誤或犯錯導致的數據誤差，這就要求檢測人員不斷提高自身素質和檢測水平，檢測機構也要加大對硬件設備和先進儀器的維護保養，創造更加專業和適合檢測工作的環境氛圍。

3.結語

試驗檢測的數據處理與分析是檢測結果的基礎和來源，而數據分析的準確度關系到檢測結果的公正性與客觀性，在工作中要避免誤差，保證準確度，從公路工程施工的角度考量，也需要一份專業精準的檢測數據來衡量施工技術水平和工程質量的高低，所以，檢測機構和人員要不斷提升檢測能力，增強業務素質和專業技能。

數據處理論文:大數據處理技術在智能電網領域中的應用研究

【摘要】 文章首先對智能電網和大數據處理技術進行了簡介，進而分析了智能電網的大數據特點，最后提出了大數據處理技術在智能電網領域中的具體應用。

【關鍵詞】 大數據處理技術 智能電網 具體 應用

前言：隨著我國工業的高速發展以及居民生活的豐富化，目前我國的電力行業取得了巨大的發展，跨區聯網的規模處于不斷擴大中。而就電網結構而言，也處于不斷復雜的趨勢下，存在的不穩定因素也越來越多，使用中的風險以及故障的機率特增加了很多。進而大數據分析處理技術得以在電網中使用，實現了電網管理的智能化，提升了電網使用的穩定性和安全性。基于此，文章圍繞大數據處理技術在智能電網領域的應用為中心，分三部分展開了細致的分析探討，旨在提供一些該方面的理論參考，以下是具體內容。

一、智能電網和大數據處理技術簡介

1.1智能電網

所為智能電網指的是以基本的物理電網為基礎，通過應用目前的現代信息技術、通信技術以及計算機處理技術等技術，同時和傳感測量技術一控制技術進行結合，進而形成的一種高度集成的新型電網。智能電網在電網運輸的安全性和可靠性上都于很大的保障，同時從功能上觀察，也具備電網實時信息的處理、分析、集成、安全以及顯示等諸多功能[1]。

1.2大數據處理技術

所謂大數據處理技術就是對數量龐大的數據進行分析和處理的技術。目前主要使用的大數據處理技術都是基于互聯網的云處理技術的，在社會中的各行各業中均有得到了廣泛的應用。

二、智能電網的大數據特點

2.1規模大

就智能電網所產生的大數據而言，其首先存在的一個特點即規模大。在電網的不斷發展過程中，其負荷節點和電機節電會不斷增加，再加之電網和負荷之間的雙向交互因素的影響，就會大大增加電網數據的量，M而所產生和需要儲備的數據也就隨之大量增加[2]。

2.2速度快

因為在電網的運作過程中，負荷的波動具有極大的隨機性，因此在電網的隨時監測工作上所產生的隨機性就很大。而電網一旦出現故障，導致的進一步事故發展的速度很快，并且造成的事故損失也會很大，因此智能電網的大數據也具有速度快的特點。

2.3多樣性

多樣性也是電網所具備的一個特點之一。因為智能電網在運作過程中，所涉及到的面很多，因此其所產生的數據，包括內部數據、外部數據等多個方面的數據，其種類十分繁多。

三、大數據處理技術在智能電網領域中的具體應用

3.1支持基建決策

首先大數據處理技術在智能電網的基建決策中起著十分重要的作用。例如可以通過大數據處理技術對電網基建地的天氣系統數據進行細致的剖析，并且和電網企業的發電機數據進行綜合分析。進而根據企業所累積的數據以及天氣系統所提供的風速、風向以及氣溫、氣壓濕度等數據作為基礎數據，并采用數據建模技術，對這些因素可能導致的對電力的影響，進行模式運算，最后得出電網基建的最佳位置[3]。

3.2進行客戶分析

其次在智能電網中，大數據處理技術還被廣泛的應用于對客戶的分析工作中在電網的運作過程中會產生大量的用戶數據，而通過對這些數據的分析和歸類可以對電網用戶群體有一個清晰的認識，進而就可以展開針對性營銷，對于提升電網企業的市場競爭力具有重要的意義。

3.3實現協同化管理

從整體上觀察，對于電網企業而言，其在市場中的運作并不僅僅只涉及到電網企業一家，和市場的諸多行業均有一定的涉及，因此要保障電力企業的發展就必須和其他行業的企業做好協同工作。通過大數據處理技術的應用可以提升行業之間的聯系，進而可對行業的前景有一個動態的了解。而這不僅僅局限于電力企業一家，同時對其他和電力行業密切相關的企業也有十分巨大的影響，可促進電力企業的內外共同發展。

結束語：綜上所述，智能電網指的是以基本的物理電網為基礎，通過應用目前的現代信息技術、通信技術以及計算機處理技術等技術，同時和傳感測量技術一控制技術進行結合，進而形成的一種高度集成的新型電網。其在自身的大數據上具有規模大、速度快以及種類多樣的特點。而大數據處理技術在智能電網領域支持基建決策、進行客戶分析、提升智能控制以及實現協同化管理等多個方面都有十分廣泛的應用，是保障智能電網運作穩定性和安全性的一個基本技術。

數據處理論文:檢重機稱重信號的數據處理研究

[摘 要]動態稱重是指通過稱重設備獲得商品的重量。靜態稱重是固定在稱重設備除了商品本身沒有其他干擾，所以更容易得到準確的稱重值，而動態稱重設備更適合快節奏的稱重需求。本文首先簡要介紹了動態稱重的原理，對稱重設備的信號采集與數據處理進行了分析研究。

[關鍵詞]稱重機；信號；數據處理；研究

使用重型機器設備有：預輸送機，稱重輸送機，剔除下輸送機的三部分。稱重輸送機稱重，稱重輸送機由支撐稱重輸送機的傳感器輸送和稱重。稱重系統收到傳感器的稱重信號后，得到商品的重量值，然后根據袋裝商品的允許誤差，對位于剔除輸送機上的商品進行剔除或者不剔除處理。

1 動態稱重系統工作原理

商品放置在稱重平臺上時，稱重傳感器由于壓力而變形，傳感器內部的電橋平衡被破壞，輸出的mv信號和承載的壓力與接收到的信號結束時成正比，稱重傳感器收到收尾信號時說明商品稱重完畢，稱重設備將信號傳輸給電子稱重儀器并放大傳感器信號，通過A/D芯片將轉換為數字模擬量，稱量儀器后數字濾波器得到商品的實際值，然后通過串口到IPC機主機程序。

1.1 動態系統硬件組成

動態稱重系統的組成包括：稱重傳感器（中航ZEMIC稱重傳感器）、稱重儀表、光電開關、PLC控制儀、數據對比設備等。其部分彼此之間的融合，分別負責將自己的信息傳送給PLC控制器，然后由儀器和工業計算機連接確定相關信息。原理圖如圖1所示。

1.2 PLC控制儀

電子稱重儀器是動態稱重系統的核心部件，相當于動態稱重系統的“大腦”。 主要負責接收傳感器數據和其他部件的信息以及控制?；竟ぷ髁鞒虨椋弘娮臃Q重儀器接收稱重傳感器信號、稱重傳感器信號放大、A / D轉換為中央處理器進行刻度轉換等；傳輸給PLC控制器；若合格氣缸停止；若不合格傳動鏈停止氣缸動作。

2 動態稱重設備信號采集

有效信號處理的前提是信號采集準確，信號采集的重要性非常顯著，與計算機和傳感器蛄接。在稱重傳感器中使用的動態稱重系統，時間軸和振幅軸的輸出是連續的模擬量，電子稱重儀器在接收模擬信號時需要先對信號進行調節處理，即0-10mv的信號轉換為0 -5mv電壓信號，然后將模擬負載信號轉換為數字信號，這就要求電子稱重儀表A/D模塊進行處理。

該系統采用EPC系列PC/104嵌入式工業主板，具有接口完整、功耗低、可靠性高、資源豐富等優點，采用8/16位PC/104擴展總線，可穩定運行寬溫度范圍廣泛的工業應用。用于信號采集的模塊采用PCM-8208BE，它是基于PC/ 104總線的高精度模擬輸入數字輸入和輸出。主要功能是：8條模擬輸入通道；內置6個可調PGA；輸入范圍為±10V至+0.25 V可選；高達4KHZ采樣率；內置1024深度FIFO；具有AD轉換中斷；可以直接讀取單個采集數據組，并具有8個隔離數字輸入和8個隔離隔離數字輸出的形式。

PCM-8208BE廣泛應用于工業現場傳感器多通道信號高精度采集。該系統采用PCM-8208BE可以捕獲現場的模擬信號功能，實時檢測稱重傳感器信號，通過簡單的過濾器對電子稱重儀進行進一步的信號分析。

3 稱重信號數據處理方法

3.1 加權平均值算法

對于傳感器信號的n次連續采樣，分別由大到小的加權系數的系列，然后加上有效采樣值，這種方法稱為加權平均法。每個加權因子要求小于1，所有加權系數的累積值為256，加權運算結果除以256可以很容易地計算出來。假設從數據依次開始，將總共8個采樣存儲在存儲器單元中，所有加權因子都存儲在ROM表中，濾波結果保留在累加器A中。

加權平均算法簡單，應用范圍廣泛，但不適用于動態稱重傳感器信號的處理。當待處理信號被振動擾亂時，結果不能表示商品重量信號的真實值。而加權因子選擇不能固定，每次計算都必須根據實際情況選擇適當的加權因子，無人值守動態稱重系統顯然不適用。

3.2 平均值算法

算術平均值濾波方法基于從稱重傳感器收集的數據。該算法的特征在于，當采樣次數少時，波形平穩度不夠好；采樣次數大時，波形靈敏度降低，系統參數趨勢不明顯。假設共有8個樣本，樣本值從DATA開始存儲在連續地址單元中，濾波結果存儲在累加器A中。在實際應用中，商品通過的時間段很短，因為自身的振動或外部干擾因素的影響，這種算法不能信號的時頻域來解決，這讓該信號處理方法已不能滿足我們的要求。

3.3 傅立葉變換濾波法

傳統信號分析的基礎是傅立葉變換，這種方法被廣泛應用，尤其是信號處理方面和量子物理。假設是的周期函數且滿足化里赫利條件：

（1）在任意區間內連續或只有有限個第一類間斷點；

（2）在一個周期內，只有有限個極大值或者極小值點；

（3）在單個周期內絕對可積。

由于主要研究了動態稱重系統的振動，所以收集的信號是非線性的，非周期性的信號，這就需要在信號分析過程中對頻域信息進行分析，但傅立葉變換算法完全沒有波形中的時域信息，為了滿足動態負載信號處理的需要，可以使用可翻譯的窗口函數到原始信號窗口，刪除我們稱為短時傅里葉變換。傅立葉變換的思想即選擇一個窗口函數來獲取一段原始信號，如果截獲信號是穩定的，則使用傅立葉變換來確定窗口內信號的頻率。沿著波形曲線移動窗口函數會給出信號頻率隨時間的變化，即我們需要的時域分布。STFT算法有兩個困難：一是窗口函數的選擇，一個是窗口函數長度問題的選擇，因為動態稱重信號是非線性非平穩信號。

傅立葉變換將概念從一個空間域建立到另一個空間域，從時域或頻域的角度對信號進行分析，但也是由于時域和頻域信息不能有機地結合的特征，這不是適用于動態稱重信號的非平穩信號分析。我們使用短時傅里葉變換來分析頻域信息，而不會丟失時域平面中的信號信息。短時傅里葉變換計算簡單，可以有效分析非平穩信號。

3.4 小波變換法

小波變換是基于短時傅里葉變換定位思想的新算法。小波變換不僅可以避免不能跟隨頻率變化的窗口大小的缺點，還可以提供頻率變化的“時頻”窗口。 小波算法可以分析和處理諸如稱重信號的復雜非平穩信號的時間和頻率。WT變換中的小波可以是具有有限持續時間的函數，以及突變的頻率和幅度，平均值在有限時間范圍內。小波變換是基本的小波函數位移，然后在不同的尺度a中用測量信號XW做內積，即：

式五中，稱為尺度因子，其作用是對基本小波做伸縮，是位移值。通過調整的該值可用于觀察不同時間段的本地信息。 通過調整比例因子a，假設a的調整較大，則視野寬分辨率低，適合觀察信號的一般情況。假設a值的調整相對較小，視野窄且分辨率高，適合信號局部信息觀察，這種粗細信號分析方法稱為多分辨率分析法。

4 結語

本文介紹了信號處理模塊的硬件結構，信號采集和處理。然后，通過描述幾種常用的信號處理算法來提出稱重傳感器的非平穩信號數據處理方法，為尋求更高精度，更具成本效益，更可靠的動態稱重設備提供借鑒。

數據處理論文:MAPGIS在地質填圖及化探數據處理中的應用

[摘 要]在本文中，筆者以MAPGIS技術的應用特點與可實現功能為論述切入點，詳細分析了該技術在地質填圖與化探數據處理工作中的實際應用情況，旨在為后續的地質工作提供科學參考依據。

[關鍵詞]MAPGIS技術；地質填圖；化探數據處理；應用

前言

在當前我國城市化進程持續推進的時代背景下，地質工作的重要性日益凸顯，地質工作的環境也日趨復雜，此時，地質技術人員所要應對的地質填圖、化探數據處理等具體工作的難度會隨之提高，而傳統的地質工作技術已遠不能滿足實際工作的發展需求[1]。為了提高地質工作質量、優化地質填圖及化探數據處理準確性，同時進一步加快實際成圖速度，相關技術人員則應積極將現代化的MAPGIS技術用到地質填圖及化探數據處理中，以數字化、信息化處理手段全面促進地質工作效率的提升。

1.MAPGIS技術的應用特點與可實現功能

MAPGIS技術屬于當前最為先進、前沿的地質測繪技術，在該項技術的應用過程中，相關技術人員可輕松實現地質測繪工作的自動化或半自動化，同時，其測繪數據主要以數字化形式呈現，其測繪結果較為規范、測繪精度高且作業速度快誤差小相對較小。MAPGIS技術還集成了定位、導航、測量的綜合功能，可以將實際工作中所收獲的地質數據進行高效的分析、計算、存儲等，有效提升了數據管理的工作效率。此外，MAPGIS技術中最為鮮明的特點就是融入了MAPCAD成圖功能，技術人員可以利用這一功能輕松實現圖幅快速提取、多源圖像處理以及圖庫建立修改等復雜操作。從操作系統上說，MAPGIS技術具有優良的開放性與多層次性，技術人員可以通過編輯ActiveX、VC++、VB、Delphi以及API等函數實現DC Server、RSP、TDE、IG Server以及EMS操作平臺的運行在系統輔助工具方面，MAPGIS技術也具有十分強大的特性功能，嵌入式工具、GIS工具、矢量數據處理工具、遙感數據處理工具均能在實際地質工作起到重要的輔助服務作用[2]。與傳統的地質測繪技術相比，MAPGIS技術可有效克服地質工作量繁重的難度，并在有效保障數據處理與地質填圖質量的同時最大程度地滿足當前地質工作需求。

2.MAPGIS技術在地質填圖中的運用

地質工作中的地質填圖主要是指運用一定的比例尺、按照統一的規范技術要求，將各種地質體以及相關的地質現象在地理地圖上進行填充描繪，最終再進行一定的整理加工使之形成地理地質圖。地質填圖不僅關系這地質圖的準確性與信息質量，更會影響到實際的地質找礦工作，但由于填圖區地質地貌情況往往相對復雜，所有收集的地質資料較為繁瑣，因此，在技術人員的實際地質填D工作中，其工作量與復雜性也相對較高[3]。相關工作實際表明，在地質填圖工作中積極應用MAPGIS技術，便可實現對上述問題的輕松解決。具體來說，在應用MAPGIS技術時，技術人員應先以GPS對所觀察的地質進行定位，再將具體的觀察點投放指矢量地圖中進行填圖操作。通常情況下，GPS定位形成的文件數據可以存放在EXCEL文件里，當要運用到GPS定位數據后，技術人員則可以通過文本轉換實現對數據的即時編輯，此后，數據編輯完成后則可以利用文件批量生成功能講GPS點位添加到已經矢量化的地形圖中。其中，在進行GPS數據轉換操作時，所處理的第一行數據一般定性為定位屬性字段，這一字段并不能夠作為數據轉換的起始位置，因此，技術人員一般會將第二行作為數據起始位置，同時，根據具體的情況適當地設置分隔符，并以工作設置合適的讀取方式，設定詳細的圖元參數并生成圖像結構。值得注意的是，所應用到的GPS數據必須要符合相應地理地質信息的實際情況，在選取適當讀取方式以及合理設置分隔符的情況下保障所生成地質填圖的結構質量與數據準確性。

3.MAPGIS技術在化探數據處理中的應用

化探數據處理屬于地質工作中的重要組成內容，更是地質研究中不可或缺的一個重要環節，在這一工作中，相關技術人員可以完成對地球化學數據的分析、解釋以及加工等重要工作，并為地質找礦、資源勘探等諸多地質工作提供準確而科學的參考依據。由于化探數據處理難度相對較大，在進行相關數據處理過程中又極易出現分析偏差事故，傳統的地質信息處理技術已經難以滿足化探數據處理工作中復雜性與專業性需求，此時，積極應用更為先進、高效處理技術的重要性也不言而喻[4]。對于MAPGIS技術而言，其融入的DTM模塊與GRD模塊對提升系統化探數據處理性能具有極大的促進作用，技術人員只需要在原始的化探數據背景值上確定好相關的化學異常分布圖后，就能夠通過DTM模塊實現地形模型的自動繪制與形成，同時，DTM模塊還能自動進行量測值計算，無論是地質化學元素含量值還是地質特征信息都能夠依靠該模塊的數據處理功能得以全面反映。具體來說，技術人員可以先對采樣點文本文件進行批量生產收集，利用“投影轉換”使得點位文件轉換為點位投影文件，此時，將點位數據文件通過DTM模塊打開后以GRD模塊進行離散數據分析，最后實現成圖輸出這一化探數據處理效果。

4.結語

MAPGIS技術是未來地質工作發展主流方向，該技術集成了前沿的地理信息處理系統軟件平臺，含括GPS、GIS、數字制圖以及數據庫管理等一系列功能，在地質勘查、地質測繪、地質找礦、城市規劃以及建筑測量等諸多領域均具有優良應用價值。此外，在地質工作中應用MAPGIS技術不僅能夠有效提升地質工作效率與工作水平，更能夠為地質工程項目提供勘察誤差低、準確性高的優質地質信息。

數據處理論文:一種面向航天領域的實時數據處理框架研究

【摘 要】提出一種面向航天領域的實時數據處理框架，采用插件式框架設計方法，實現行業數據的高效實時處理。

【關鍵詞】實時；數據處理；框架

1 引言

信息與通信技術的飛速發展，已深刻影響到航空、航天、能源、鋼鐵、電力等工業領域的生產模式與流程，促使行業生產模式由傳統的粗放式的以人工為主向精確化、自動化、智能化方向轉變。通過信息系統對工業生產過程中產生的大量數據進行實時處理分析，實時監控，為生產決策提供自動化智能化的數據支撐。

航天領域的實時數據處理一般以實時傳感與實時采集的數據為數據源，包括各類傳感器采集的數據、現場各類控制終端的數據等，數據量大，數據采集的頻率高。特別是隨著物聯網概念的出現與技術的應用，航天領域實時產生的數據量在成倍增加。隨著云計算與大數據等IT技術的出現與發展， 互聯網領域中產生了諸多數據處理框架，如Hadoop、Spark等，此類框架采用批處理方式的MapReduce技術，實現海量數據的實時處理，數據處理的延時一般為秒級，能夠滿足互聯網領域大部分數據實時處理需求。但在工業領域，由于監測與控制的精度更高，一般要求在毫秒級完成數據的實時處理，現有批處理方式的MapReduce大規模數據處理技術難以滿足此類計算需求。本文提出一種面向行業應用的實時數據處理框架，實現滿足多種數據源、多種數據類型的實時數據處理。

2 數據處理方法

在航天領域中，測量系統作為飛行器、航天測控系統中的重要組成部分，用于獲取飛行器內部各系統的工作狀態參數和環境數據，為評定飛行器的性能和故障分析提供依據[1]。而數據處理是測量過程中的一個重要環節，其任務是將接收到的原始信息，經過挑路、拼接和運算，完成各類參數的處理，處理結果以時間函數值表或時間函數曲線提供[1]。數據處理包括從數據塊中提取數據幀、對數據幀進行后處理、處理數據幀中的參數、輸出處理結果。

3 實時處理框架設計

3.1 軟件框架的概念

軟件框架是整個系統或系統的一部分的可重用性設計，由一組抽象出來的類及其實例間的相互作用方式組成?？蚣馨岩粋€系統有機地分解成一組相對獨立的構件，并定義了各個構件間的接口和作用關系，符合軟件工程中設計的模塊化、獨立化和信息隱藏等特征。框架提供了一個大粒度的重用技術，即不僅支持源代碼級的重用，而且支持分析和設計以及體系結構的重用，因而被認為是一種最有前途的面向對象技術。

框架必須是健壯的、可擴展的、靈活的，它要求基于開放或共享標準。框架的設計要力求做到完備性、靈活性、可擴展性、可理解性，同時抽象能用于不同的場合；用戶能輕松地添加和修改功能，定制框架；用戶和框架的交互清晰，文檔齊全?？蚣茉O計的一個核心問題就是發現可重用的設計和“熱點”，以保證框架具備充分的靈活性，使用戶能在已有構件的基礎上生成應用程序，實現“零代碼編寫”的理想目標。

3.2 實時處理框架設計原則

實時處理框架設計采用框架與插件相結合的設計方式，把數據處理各功能從框架中剝離出來，降低框架的復雜度，讓框架更容易實現。數據處理功能與框架以一種很松的方式耦合，兩者在保持接口不變的情況下，可以獨立變化和。采用該設計原則，具有以下好處：

①無需更改或編譯程序就可以擴展程序的功能；

②可以在不需要源代碼的環境下擴展程序的功能；

③在一個程序的業務邏輯在不斷發生變化仍能靈活適應。

4 實時處理框架實現

4.1 框架接口

框架對各插件進行統一管理，軟件啟動時，自動識別并加載指定目錄下的所有插件?？蚣芄渤橄蟪鰯祿崛∑?、幀提取器、數據處理器、輸出器共4類插件接口，各類插件需要實現相應類型的插件接口，才能被框架正確的調用?？蚣芘c插件之間的關系如下圖所示。

4.2 框架實現

程序框架包括主程序模塊、數據源模塊、緩沖區管理模塊、數據處理模塊、狀態管理模塊、配置管理模塊、插件管理模塊與日志管理模塊共8個模塊。主程序模塊負責管理各模塊中的對象，并完成各對象的創建與初始化工作。通過調用數據源與數據處理模塊的啟動與停止接口實現對兩個模塊的控制。數據源模塊通過調用緩沖區管理模塊的寫入數據接口向緩沖區中寫入數據，數據處理模塊調用緩沖區管理模塊的讀取數據接口從緩沖區中讀取數據進行數據處理。各模塊均可調用日志記錄模塊的記錄日志接口寫操作日志或錯誤信息。

主框架模塊類關系如下圖所示，main函數是整個軟件的入口函數，調用日志錄模塊中的相應接口完成日志初始化工作，并將命令行參數傳遞給CMainApp類，調用CMainApp類的Execute接口啟動軟件。

CMainApp類通過ProgramOption對象解析命令行參數，獲得命令行中設置的各個選項，創建插件管理模塊中的CPluginManager對象，完成所有插件的加載工作，并將CPluginManager對象傳遞給CMultiAddrDataSource類，調用CProgressTimer類的對象實現程序計時工作。

4.3 插件實現

數據處理軟件總體框架采用插件式架構，抽象出數據提取器、幀提取器、數據處理器、輸出共4類插件接口，插件采用統一接口設計，每一個插件均是實現了標準接口的動態鏈接庫（Windows平臺為.dll文件、Linux平臺位.so文件），由插件管理器進行統一管理，實現自動識別與加載。實時處理框架根據系統配置創建若干個數據處理線程，根據配置中插件的類別，數據處理線程對象向插件管理器請求創建插件服務，生成所需的各插件，各插件相互協作，完成數據處理與輸出的功能。