油田場站分布式實時數(shù)據(jù)庫設計應用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了油田場站分布式實時數(shù)據(jù)庫設計應用范文，希望能給你帶來靈感和參考，敬請閱讀。

關(guān)鍵詞：信息技術(shù)；軟件；站庫監(jiān)控系統(tǒng)

1主要研究內(nèi)容及規(guī)模

1.1主要內(nèi)容

1.1.1實時數(shù)據(jù)庫的分布式技術(shù)研發(fā)采用Erlang開發(fā)語言，使用分布式技術(shù)，研發(fā)生產(chǎn)數(shù)據(jù)自動采集、數(shù)據(jù)過濾存儲技術(shù)。研究并發(fā)體技術(shù)，在采集與存儲時采用并發(fā)體實現(xiàn)分布式計算。需支持多個標準接口，可與PLC，DCS，以及現(xiàn)場各種關(guān)系型數(shù)據(jù)實現(xiàn)數(shù)據(jù)交換。實現(xiàn)對海量實時數(shù)據(jù)收集、壓縮、存儲、檢索。根據(jù)數(shù)據(jù)記錄特點，對冗余數(shù)據(jù)，可考慮有損壓縮和無損壓縮處理。數(shù)據(jù)緩存技術(shù)研究，網(wǎng)絡中斷建立本地緩存機制。自動根據(jù)網(wǎng)絡連接情況推動到實時數(shù)據(jù)庫。

1.1.2分布式實時數(shù)據(jù)采集基于TCP協(xié)議的工業(yè)PC與PLC的以太網(wǎng)通信。工業(yè)PC與PLC通過以太網(wǎng)基于TCP協(xié)議通信具有廣泛的適用性，工業(yè)PC端不受操作系統(tǒng)環(huán)境的制約，PLC端也不受PLC品牌的限制，只需通信雙方具備以太網(wǎng)通信硬件和支持TCP協(xié)議軟件環(huán)境即可。目前這種條件非常容易滿足，同時通信的報文格式和內(nèi)容也可以根據(jù)通信的具體應用自由定義，具有非常大的靈活性。支持四則運算法則及精度處理，從而得到具有物理含義的數(shù)值。實現(xiàn)數(shù)據(jù)采集點規(guī)則的配置，能夠控制數(shù)據(jù)采集的頻率和采集器的批量啟停。

1.1.3實時數(shù)據(jù)的海量存儲有效的利用實時數(shù)據(jù)的特性，采用先進的數(shù)據(jù)壓縮算法，對大量的實時數(shù)據(jù)進行原型壓縮，同時結(jié)合高效的檢索策略設計了實時數(shù)據(jù)庫的存儲系統(tǒng)。針對不同的應用，數(shù)據(jù)壓縮有多種算法，實時數(shù)據(jù)庫系統(tǒng)不僅要求能夠在有限的硬盤空間中存儲大量歷史數(shù)據(jù)，而且還要求這些數(shù)據(jù)能夠快速被訪問。采用基于時間和空間維度的高效的壓縮算法，死區(qū)與線性壓縮相結(jié)合。

1.2研究的技術(shù)指標

根據(jù)油田實際生產(chǎn)需求，油田站庫實時數(shù)據(jù)信息量越來越大，對數(shù)據(jù)處理的功能要求也越來越高。這些應用有著與傳統(tǒng)應用不同的特征，主要表現(xiàn)在兩個方面：一方面，要維護大量共享數(shù)據(jù)和控制知識；另一方面，其應用活動（任務或事務）有很強的時間性，要求在規(guī)定的時刻和（或）一定的時間內(nèi)完成其處理。

1.2.1研究目標（1）實時正確采集聯(lián)合站及中轉(zhuǎn)站實時數(shù)據(jù)。（2）實時海量數(shù)據(jù)存儲，并壓縮存儲空間。（3）查詢實時數(shù)據(jù)的快速響應。

1.2.2主要技術(shù)經(jīng)濟考核指標（1）數(shù)據(jù)采集正確性不低于99%。（2）實時海量數(shù)據(jù)存儲，實現(xiàn)數(shù)據(jù)永久保存。（3）查詢實時數(shù)據(jù)的響應速度不應高于5s。

2技術(shù)原理

2.1研究現(xiàn)狀

隨著油田自動化與數(shù)字化范圍的擴大，企業(yè)數(shù)據(jù)容量很快從TB級擴展到PB級，傳統(tǒng)的數(shù)據(jù)處理與分析技術(shù)無法滿足百萬甚至千萬級設備同時在線的性能需求，建立符合油氣生產(chǎn)規(guī)則的大數(shù)據(jù)處理云平臺以及應用標準成為當務之急：（1）油氣大數(shù)據(jù)云能同時管理海量物聯(lián)設備，不僅能夠滿足千萬級并發(fā)處理要求，而且需要確保數(shù)據(jù)的實時性響應達到工業(yè)級（低于20ms）。（2）油氣大數(shù)據(jù)云通過制定數(shù)據(jù)行業(yè)標準，規(guī)范設備接入數(shù)據(jù)格式，實現(xiàn)設備即插即用，為物聯(lián)網(wǎng)快速擴展提供基礎(chǔ)。目前我國在社交網(wǎng)絡、金融等領(lǐng)域，已經(jīng)相繼建設了大數(shù)據(jù)平臺，但是在傳統(tǒng)油氣工業(yè)領(lǐng)域，存在著大數(shù)據(jù)產(chǎn)品數(shù)據(jù)格式不統(tǒng)一，諸多新技術(shù)應用標準化研究還比較匱乏的問題。為建立油氣行業(yè)大數(shù)據(jù)云平臺，需要如下幾個角度開展研究：（1）大數(shù)據(jù)采集與存儲技術(shù)在油氣開采領(lǐng)域需要處理的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)量巨大、類型多樣，主要包括各類數(shù)據(jù)體、成果文檔、圖件報表及“四化”（標準化設計、模塊化建設、標準化采購、信息化提升）建設實施采集監(jiān)控、儀表數(shù)據(jù)等。對于非結(jié)構(gòu)化數(shù)據(jù)、整體管理比較弱、除部分實時數(shù)據(jù)，更多數(shù)據(jù)存儲在磁盤上，存在各數(shù)據(jù)橫向間無法聯(lián)通等應用瓶頸，數(shù)據(jù)應用間標準缺乏。為了準確地對多個數(shù)據(jù)源進行數(shù)據(jù)分析，所有數(shù)據(jù)集應包含一致的元數(shù)據(jù)或描述性信息來解釋測試數(shù)據(jù)被保存的原因。元數(shù)據(jù)模型包括數(shù)據(jù)結(jié)構(gòu)的定義、全局數(shù)據(jù)的分片、分布、授權(quán)、事務恢復等描述。在底層架構(gòu)和文件系統(tǒng)上要高于傳統(tǒng)技術(shù)，能夠彈性擴展。以往存儲系統(tǒng)和存儲區(qū)域網(wǎng)絡等體系，存儲和計算物理設備分類，之間通過網(wǎng)絡接口連接，處理數(shù)據(jù)密集型計算，I/O容易形成瓶頸。通過分布式文件系統(tǒng)將計算和存儲在物理上結(jié)合在一起，可解決I/O吞吐量制約。大數(shù)據(jù)對存儲另一個技術(shù)要點就是數(shù)據(jù)格式可擴展性，對各種非結(jié)構(gòu)數(shù)據(jù)進行高效管理需求。（2）大數(shù)據(jù)管理技術(shù)體系大數(shù)據(jù)管理及處理能力已經(jīng)成為引領(lǐng)網(wǎng)絡時代IT發(fā)展的關(guān)鍵；獲取大量運行數(shù)據(jù)并建立對其進行動態(tài)高效處理的能力，已經(jīng)成為產(chǎn)業(yè)競爭力的體現(xiàn)。從數(shù)據(jù)庫（DB）到大數(shù)據(jù)（BD），看似是簡單技術(shù)演進，其實還是有本質(zhì)差別，有些地方顛覆了傳統(tǒng)數(shù)據(jù)管理方式。大數(shù)據(jù)管理系統(tǒng)需建立類似于傳統(tǒng)數(shù)據(jù)管理評測基準。具體有用于評測、比較不同數(shù)據(jù)庫系統(tǒng)性能的規(guī)范，性能指標值能夠客觀、全面地評測各個數(shù)據(jù)庫系統(tǒng)的性能差距。大數(shù)據(jù)價值完整體現(xiàn)需要多種技術(shù)協(xié)同。因此，伴隨著油田下一步智能化建設需要，首先應結(jié)合目前業(yè)界已有的云技術(shù)和大數(shù)據(jù)分類方法、通過油田大數(shù)據(jù)現(xiàn)狀進行分析、梳理油田大數(shù)據(jù)的種類和數(shù)量、界定大數(shù)據(jù)采集范圍、大數(shù)據(jù)處理及管理技術(shù)規(guī)范制定。針對不同類型數(shù)據(jù)采取不同策略。參考工業(yè)大數(shù)據(jù)白皮書，結(jié)合油氣生產(chǎn)需要制定規(guī)范如下標準。1）基礎(chǔ)標準。如：術(shù)語、架構(gòu)、平臺標準等；2）數(shù)據(jù)表示標準、如編碼規(guī)范、元數(shù)據(jù)規(guī)范；3）數(shù)據(jù)處理標準、采集標準、處理階段相關(guān)標準規(guī)范

2.2數(shù)據(jù)采集引擎設計原理

2.2.1對接協(xié)議根據(jù)PLC設備型號進行數(shù)據(jù)格式解析，建立見解析規(guī)則，可與PLC直接配置連接，可輕松接入各類自動化數(shù)據(jù)、設備管理信息。

2.2.2采集引擎支持分布式采集，使用Erlang并發(fā)特性，即每個PLC使用一個單獨的進程根據(jù)PLC點表規(guī)則去采集數(shù)據(jù)，每個進程之間無共享數(shù)據(jù)，每個進程都是一個單獨的個體，一個PLC出現(xiàn)問題，并不影響其他PLC的數(shù)據(jù)采集。充分利用服務器的多核處理器和多服務器進行分布式的采集。保證讀取數(shù)據(jù)的高效性、穩(wěn)定性、容錯性。

3經(jīng)濟和社會效益分析

3.1經(jīng)濟效益分析

在油田領(lǐng)域，由于存在不同時期的系統(tǒng)，存在多個系統(tǒng)，形成“信息孤島”，從而使得企業(yè)內(nèi)部各部門間協(xié)作效率低，如何保證在既有系統(tǒng)上設計一種簡便、有效、安全的異構(gòu)數(shù)據(jù)（實時數(shù)據(jù)到關(guān)系數(shù)據(jù)）交換方案，成為亟待解決的問題。在油田網(wǎng)絡管理、過程控制及智能設備不斷升級基礎(chǔ)上，本系統(tǒng)對擴展原有系統(tǒng)數(shù)據(jù)應用，提高數(shù)據(jù)有效收集、存儲、應用具有一定創(chuàng)新性解決方案和思路，隨著現(xiàn)代數(shù)據(jù)庫技術(shù)的發(fā)展和實時庫應用認識的進一步深入?；谀壳胺桨傅膶崟r數(shù)據(jù)庫系統(tǒng)以其靈活性和開發(fā)性的價格必將有著更廣闊的應用，也能夠基于實時數(shù)據(jù)應用門檻的降低提高數(shù)據(jù)的應用價值，能夠給油氣生產(chǎn)帶來更多的信息，從而為油田生產(chǎn)潛力的挖掘提供更強有力的支撐，帶來更大的經(jīng)濟效益。

3.2社會效益評價

一方面，通過實時數(shù)據(jù)的有效采集通道的建立，節(jié)省了油氣生產(chǎn)現(xiàn)場數(shù)據(jù)采集與設備維護人員的投入，不斷改善一線工作人員的工作環(huán)境，提升其工作滿意度和工作熱情；另一方面，通過實時數(shù)據(jù)的永久保存和應用分析，能夠?qū)崟r掌握油氣生產(chǎn)各工藝環(huán)節(jié)的生產(chǎn)狀態(tài)，及時發(fā)現(xiàn)油氣生產(chǎn)中的各類問題，提前介入，在保證正常生產(chǎn)的前提下，降低生產(chǎn)故障發(fā)生的概率，為油田周邊生態(tài)環(huán)境提供了一道保障，為打造油田生態(tài)系統(tǒng)奠定了良好基礎(chǔ)。

4結(jié)論及認識

4.1結(jié)論

（1）按照研究內(nèi)容要求，按時保質(zhì)保量完成了實時數(shù)據(jù)庫的設計、數(shù)據(jù)采集協(xié)議的解析與采集設備的接入、數(shù)據(jù)應用與數(shù)據(jù)對外服務接口的開發(fā)，并且經(jīng)過四次正式的部署測試，達到了正式上線運行和驗收的要求。（2）建立了異構(gòu)數(shù)據(jù)庫交互規(guī)范、可視化點表管理機制，采用了Erlang分布式編程、數(shù)據(jù)編解碼算法處理等先進技術(shù)，能夠確保實時數(shù)據(jù)的永久存儲與系統(tǒng)應用平臺的高效率。（3）該系統(tǒng)平臺的搭建，能夠大幅降低操控人員對數(shù)據(jù)庫業(yè)務知識的掌握要求，提高多應用訪問實時數(shù)據(jù)的便捷性、數(shù)據(jù)流轉(zhuǎn)的實時性與安全性、油田數(shù)據(jù)的利用率，提升對歷史數(shù)據(jù)的全方位分析能力，實現(xiàn)生產(chǎn)全生命周期管理。

4.2建議

該系統(tǒng)正式上線運行后，能夠?qū)λ蠵LC采集的數(shù)據(jù)進行自動采集存儲，但站庫采集對象的梳理不是特別明確，建議對站庫靜態(tài)數(shù)據(jù)進行梳理，從而確保實時數(shù)據(jù)結(jié)構(gòu)的合理性。

參考文獻：

[1]趙致格.數(shù)據(jù)庫系統(tǒng)與應用[M].北京：高等教育出版社，1994.

[2]李晶晶.分布式數(shù)據(jù)庫在管理信息系統(tǒng)中的應用[D].武漢：武漢理工大學，2004.

作者：張馨元 單位：安達市慶新油田開發(fā)有限責任公司