前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的robots協(xié)議主題范文,僅供參考,歡迎閱讀并收藏。
本月,騰訊訴奇虎的案件以奇虎賠償騰訊500萬元而終結(jié)后,3月初的《互聯(lián)網(wǎng)不正當(dāng)競(jìng)爭(zhēng)案件觀察報(bào)告》將自2004年以來互聯(lián)網(wǎng)行業(yè)內(nèi)涉及的不正當(dāng)競(jìng)爭(zhēng)案件做了統(tǒng)計(jì),共有79件相關(guān)案件。所涉及的不正當(dāng)競(jìng)爭(zhēng)行為主要存在以下幾種:就安全產(chǎn)品來說,主要存在阻礙軟件安裝、阻礙軟件運(yùn)行、破壞軟件、誘導(dǎo)卸載軟件、惡意卸載軟件、安裝惡意插件、詆毀商譽(yù)等;網(wǎng)站經(jīng)營(yíng)主要涉及商業(yè)混同、侵犯商業(yè)秘密、擅自使用內(nèi)容、詆毀商譽(yù)等;搜索服務(wù)主要涉及篡改搜索結(jié)果、詆毀商譽(yù)、商標(biāo)侵權(quán)、擅自使用其他企業(yè)名稱等。其中大部分不正當(dāng)競(jìng)爭(zhēng)案件的共同特點(diǎn)是,平均賠償金額較低,除騰訊訴奇虎“扣扣保鏢”案被判賠償500萬元外,其余案件平均賠償數(shù)額僅為156690元。這其中,不僅僅是因?yàn)榉ǘㄙr償額過低造成的,原告損失和被告獲利證據(jù)不足,也是導(dǎo)致判賠過低的一大因素。
在騰訊訴奇虎“扣扣保鏢”案中,奇虎公司兩次借用“消費(fèi)者”的名義為其行為做正當(dāng)性辯護(hù),而在審理該案中,兩級(jí)法院的判決并未忽視對(duì)消費(fèi)者權(quán)益的關(guān)切,而是立足于反不正當(dāng)競(jìng)爭(zhēng)法的價(jià)值本身,從保障消費(fèi)者的“知情權(quán)”和“選擇權(quán)”的角度,對(duì)相關(guān)行為是否構(gòu)成不正當(dāng)競(jìng)爭(zhēng)進(jìn)行了深入剖析。
而在百度奇虎不正當(dāng)競(jìng)爭(zhēng)案中,更主要的是涉及到“robots協(xié)議”與公平競(jìng)爭(zhēng),這也是引發(fā)爭(zhēng)議的關(guān)鍵點(diǎn)。據(jù)了解,“Robots協(xié)議”旨在推動(dòng)尊重信息提供者意愿,保護(hù)網(wǎng)站及其使用者的信息和隱私。百度以“Robots協(xié)議”白名單方式將奇虎360搜索引擎排除在百度知道、百度貼吧、百度文庫等訪問權(quán)限之外,是否超出了合理限度?行業(yè)默認(rèn)的“Robots協(xié)議”究竟有怎樣的效力?
關(guān)鍵詞:Web服務(wù)器;Logging;攻擊
中圖分類號(hào):TP393文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2010)17-4640-02
Finding out and Analysis Information of Attacking in Server of Web
YAO Kai-rong
(Jingzhou Vocation and Technical College,Jingzhou 434100,China)
Abstract: Looking over server logging of Web prevents a kind of basic method to attack and invading effectively. This text explains mainly how to find out , analyse the mark attacked and invading in numerous information through server logging of Web, provide the concrete instance.
Key words: Web server; logging; attack
隨著Internet上Web服務(wù)的發(fā)展,很多單位都建立有自己的網(wǎng)站。與此同時(shí),他們?cè)诰W(wǎng)站建設(shè)和管理中都會(huì)遇到各種各樣的安全問題。因?yàn)楣芾鞼eb網(wǎng)站不只是監(jiān)視其速度和內(nèi)容傳送,更重要的是了解對(duì)這些Web網(wǎng)站的外來訪問,跟蹤包含有攻擊和入侵的“幕后”數(shù)據(jù)等。而這些要求都可以通過對(duì)Web服務(wù)器Logging的查看和分析來做到。由于Web服務(wù)是Internet所提供的最豐富的服務(wù),各種Web服務(wù)器自然受到的攻擊最多,雖然有很多措施防止遭受攻擊和入侵,但查看Web服務(wù)器的logging仍然是最直接、常用又有效的一種方法。由于Web服務(wù)器運(yùn)行時(shí)間長(zhǎng),logging十分龐大,因此查看logging是件很繁瑣的事情,如果抓不住重點(diǎn),攻擊線索就容易被忽略。
本文從兩類Web服務(wù)器Apache和IIS的logging分析入手,介紹如何通過Web服務(wù)器logging,在眾多信息里查找、分析攻擊和入侵的痕跡,找出漏洞,防范攻擊,從而加強(qiáng)Web服務(wù)器的安全。
1 Web服務(wù)器logging分析的原理
Web服務(wù)器logging記錄了服務(wù)器接收處理請(qǐng)求以及運(yùn)行錯(cuò)誤等各種原始信息。通過進(jìn)行l(wèi)ogging統(tǒng)計(jì)、分析,就能有效地掌握服務(wù)器的運(yùn)行狀況,發(fā)現(xiàn)和排除不安全因素,更好地加強(qiáng)系統(tǒng)的維護(hù)和管理??蛻舳?瀏覽器)訪問WEB服務(wù)器時(shí)logging的記錄過程為[1]:
1)客戶端和Web服務(wù)器建立tcp連接,連接建立以后,向Web 服務(wù)器發(fā)出訪問請(qǐng)求,根據(jù)HTTP協(xié)議,該請(qǐng)求中包含了客戶端的IP地址、瀏覽器類型、請(qǐng)求的URL等一系列信息。
2)Web服務(wù)器收到請(qǐng)求后,將客戶端要求的頁面內(nèi)容返回到客戶端。如果出現(xiàn)錯(cuò)誤,那么返回錯(cuò)誤代碼。
3)服務(wù)器端將訪問信息和錯(cuò)誤信息記錄到logging里。在客戶機(jī)的請(qǐng)求里包含了很多有用的信息,例如:客戶端類型等等。最后,Web服務(wù)器將請(qǐng)求的Web頁內(nèi)容返回給客戶機(jī)。
Logging記錄客戶端的IP地址、訪問發(fā)生的時(shí)間、訪問請(qǐng)求的頁面、Web服務(wù)器對(duì)于該請(qǐng)求返回的狀態(tài)信息、返回給客戶端的內(nèi)容的大小、該請(qǐng)求的引用地址、客戶瀏覽器類型等信息。對(duì)于IIS,其默認(rèn)記錄存放在c:winntsystem32logfilesw3svc1,文件名就是當(dāng)天的日期,記錄格式是標(biāo)準(zhǔn)的W3C擴(kuò)展記錄格式,可以被各種logging分析工具解析,默認(rèn)的格式包括時(shí)間、訪問者IP地址、訪問的方法、請(qǐng)求的資源、HTTP狀態(tài)等。對(duì)于其中的HTTP狀態(tài),200-299表示訪問成功;300-399表示需要客戶端反應(yīng)來滿足請(qǐng)求;400-499和500-599表示客戶端和服務(wù)器出錯(cuò);其中常用的如404表示資源沒找到,403表示訪問被禁止。Apache的默認(rèn)記錄存放在/usr/local/apache/logs,其中最有用的記錄文件是access_log,其格式包括客戶端IP、個(gè)人標(biāo)識(shí)、用戶名、訪問方式、HTTP狀態(tài)、傳輸?shù)淖止?jié)數(shù)等。
2 Web服務(wù)器logging分析的方法、步驟
1) 信息收集
非法攻擊Web服務(wù)器通常先收集信息,然后通過遠(yuǎn)程命令分步實(shí)施入侵。我們模擬使用的工具是netcat,Web服務(wù)器IP為10.10.20.8,客戶端IP為10.10.20.11。
C:>nc -n 10.10.20.8 80
HEAD / HTTP/1.0
HTTP/1.1 200 OK
Server: Microsoft-IIS/4.0
Date: Sun, 07 Oct 2005 14:31:00 GMT
Content-Type: text/html
Set-Cookie: ASPSESSIONIDGQQQQQPA=IHOJAGJDECOLLGIBNKMCEEED; path=/
Cache-control: private
在IIS和Apache的logging顯示如下:
IIS: 15:08:44 10.10.20.11 HEAD /Default.asp 200
Linux: 10.10.20.11- - [07/Oct/2005:15:56:39 -0700] "HEAD / HTTP/1.0" 200 0
以上的活動(dòng)看上去很正常,也不會(huì)對(duì)服務(wù)器產(chǎn)生任何影響,但通常是攻擊的前奏。
2) 站點(diǎn)鏡像
攻擊服務(wù)器通常通過鏡像一個(gè)站點(diǎn)來進(jìn)行,常用鏡像工具有Windows下的Teleport pro和Unix下的Wget。
下面是使用這兩個(gè)工具后服務(wù)器logging里的部分信息:
16:30:52 10.10.20.11 GET /Default.asp 200
16:30:52 10.10.20.11 GET /robots.txt 404
16:30:52 10.10.20.11 GET /header_protecting_your_privacy.gif 200
16:30:52 10.10.20.11 GET /header_fec_reqs.gif 200
16:30:55 10.10.20.11 GET /photo_contribs_sidebar.jpg 200
16:30:55 10.10.20.11 GET /g2klogo_white_bgd.gif 200
16:30:55 10.10.20.11 GET /header_contribute_on_line.gif 200
16:32:01 10.10.20.12 GET /Default.asp 200
16:32:01 10.10.20.12 GET /robots.txt 404
16:32:01 10.10.20.12 GET /header_contribute_on_line.gif 200
16:32:01 10.10.20.12 GET /g2klogo_white_bgd.gif 200
16:32:01 10.10.20.12 GET /photo_contribs_sidebar.jpg 200
16:32:01 10.10.20.12 GET /header_fec_reqs.gif 200
16:32:01 10.10.20.12 GET /header_protecting_your_privacy.gif 200
10.10.20.11是使用Wget的Unix客戶端,10.10.20.12是使用Teleport pro的Windows客戶端,都請(qǐng)求robots.txt文件,該文件是請(qǐng)求沒被鏡像所要用到的,所以看到有對(duì)robots.txt文件的請(qǐng)求,即表明有鏡像的企圖。當(dāng)然,在Wget和Teleport pro客戶端,可以人為禁止對(duì)robots.txt文件的訪問,這時(shí),其辨別可以看是否有從同一IP地址來的重復(fù)資源請(qǐng)求。
3) 漏洞掃描
隨著攻擊的發(fā)展,我們可以用一些Web漏洞檢查軟件(如 Whisker)檢查已知曉的各種漏洞。下面是運(yùn)行Whisker的IIS和Apache的相關(guān)記錄:
IIS
12:07:56 10.10.20.12 GET /SiteServer/Publishing/viewcode.asp 404
12:07:56 10.10.20.12 GET /advworks/equipment/catalog_type.asp 404
12:07:56 10.10.20.12 GET /iisadmpwd/aexp4b.htr 200
12:07:56 10.10.20.12 HEAD /scripts/tools/newdsn.exe 404
12:07:56 10.10.20.12 HEAD /msadc/msadcs.dll 200
12:07:56 10.10.20.12 HEAD /scripts/proxy/ 403
12:07:56 10.10.20.12 HEAD /scripts/proxy/w3proxy.dll 500
12:07:56 10.10.20.12 GET /scripts/proxy/w3proxy.dll 500
Apache
10.10.20.11-[07/Oct/2005:12:57:28 -0700] "GET /cfcache.map HTTP/1.0" 404 266
10.10.20.11-[07/Oct/2005:12:57:28 -0700] "GET /cfappman/index.cfm HTTP/1.0" 404 273
10.10.20.11-[07/Oct/2005:12:57:29 -0700] "HEAD /cgi-bin/pfdisplay.cgi HTTP/1.0" 404
檢查這種攻擊的重點(diǎn)是看同一IP地址對(duì)cgi目錄文件請(qǐng)求出現(xiàn)多個(gè)404狀態(tài)。這時(shí)就要查看相應(yīng)cgi目錄里的程序安全性。
4)遠(yuǎn)程攻擊
下面以針對(duì)IIS的MDAC攻擊為例,來了解遠(yuǎn)程攻擊在logging里的記錄情況。
17:48:49 10.10.20.11 GET /msadc/msadcs.dll 200
17:48:51 10.10.20.11 POST /msadc/msadcs.dll 200
當(dāng)攻擊發(fā)生后,在logging中會(huì)留下對(duì)msadcs.dll的請(qǐng)求記錄。另一個(gè)常見的攻擊是asp源代碼泄漏的漏洞,當(dāng)這種攻擊發(fā)生時(shí),logging文件會(huì)有如下記錄:
17:50:13 10.10.20.12 GET /default.asp+.htr 200
對(duì)于未授權(quán)訪問的攻擊記錄,Apache log會(huì)顯示:
[07/Oct/2005:18:58:29 -0700] "GET /private/ HTTP/1.0" 401 462
3 總結(jié)
安全管理一個(gè)Web站點(diǎn)要求系統(tǒng)管理員具備較強(qiáng)的安全常識(shí)和警惕性,雖然入侵檢測(cè)系統(tǒng)IDS能給予很多幫助,但不能完全代替安全管理。而通過logging文件來了解、防范攻擊是很重要卻又經(jīng)常容易忽略的手段。仔細(xì)檢查、分析logging,IDS所遺漏的東西就可能在這里發(fā)現(xiàn)。
下邊,讓免費(fèi)資訊平臺(tái)網(wǎng)來與你一同了解一些掌握百度SEO的一套方法吧:
1.百度對(duì)自個(gè)兒旗下的服務(wù)給予特別待遇
大家在百度上輕易搜一下子便會(huì)發(fā)覺,百度旗下的百度各種學(xué)科,百度曉得,百度貼吧…等,在搜索最后結(jié)果中有相當(dāng)高的名次,在某些高熱度網(wǎng)站關(guān)鍵詞上頭,幾乎大多的搜索最后結(jié)果都是來自百度自身的產(chǎn)品。在這些個(gè)方面,百度從來表現(xiàn)出來出公平性,與google差距甚大。
2.百度的蛛蛛給眾多服務(wù)器增加了壓力
固然Baiduspider或者遵循那一個(gè)robots.txt文件,不過在某些大網(wǎng)站上頭,百度蛛蛛依舊發(fā)瘋的爬動(dòng),很很長(zhǎng)時(shí)間候,固然它不收錄網(wǎng)站,不過它依舊發(fā)瘋的爬動(dòng),給眾多網(wǎng)站服務(wù)器增加莫大的壓力。
3.百度競(jìng)價(jià)名次,如今叫百度搜索推廣
百度競(jìng)價(jià)名次,如今叫百度搜索推廣,運(yùn)用新的鳳巢系統(tǒng)!其存在不只是和SEO萌生了沖突,并且在名次方面也存在不公性,百度競(jìng)價(jià)名次永恒都是在天然名次的面前。因?yàn)橹鞍俣雀?jìng)價(jià)名次的爭(zhēng)議性過大,百度在2009-12-1切換到達(dá)新的百度鳳巢系統(tǒng),減損了網(wǎng)站關(guān)鍵詞的數(shù)目,短時(shí)間之內(nèi)緩解了百度競(jìng)價(jià)名次的不好口碑,給SEO也帶來了更多保存生命期望。
關(guān)鍵詞:網(wǎng)絡(luò)蜘蛛;搜索引擎;Spider;網(wǎng)頁;算法
中圖分類號(hào):TP393.092 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007-9599 (2011) 23-0000-01
The Theory and Implementation of Network Spider
Wang Kun
(Hunan Technology Trade Vocational College,Hengyang 421001,China)
Abstract:In today’s computer network and Internet high development period,various search engines continue to rise.From Yahoo,Baidu and other well-known search engines proposed various search technology,convenient and broad netizen Internet search on their information needs and information.To search engine spiders web is an important part,so it is necessary for us to study the principle and realization of network spider.
Keywords:Internet Spider;Search engine;Spider,webpage;Algorithm
一、前言
在計(jì)算機(jī)網(wǎng)絡(luò)誕生之初,各種網(wǎng)站和信息量還是相對(duì)比較少,所以信息檢索不是一個(gè)很難處理的問題。但是在互聯(lián)網(wǎng)高度發(fā)展的今天,一般的互聯(lián)網(wǎng)用戶想通過自己的方法在互聯(lián)網(wǎng)上查找到滿意的信息如同大海撈針一樣。因此,搜索引擎便油然而生了,當(dāng)然網(wǎng)絡(luò)蜘蛛程序卻是搜索引擎中最為重要的環(huán)節(jié),如何實(shí)現(xiàn)網(wǎng)絡(luò)蜘蛛,就要了解其工作的原理,深入的探討網(wǎng)絡(luò)的實(shí)現(xiàn)算法。
二、網(wǎng)絡(luò)蜘蛛的原理
(一)網(wǎng)站結(jié)構(gòu)。對(duì)于當(dāng)前互聯(lián)網(wǎng)的各種網(wǎng)站其基本結(jié)構(gòu)都比較類似,基本都遵循一個(gè)樹形結(jié)構(gòu),從網(wǎng)站的首頁到最后的內(nèi)容頁面都存在一條途徑。那么我們可以簡(jiǎn)單把網(wǎng)站中的每一個(gè)網(wǎng)頁看作這顆樹中一個(gè)節(jié)點(diǎn),那么對(duì)于如何分析這些網(wǎng)頁得出網(wǎng)頁之間的聯(lián)系,這對(duì)網(wǎng)絡(luò)蜘蛛來說是一個(gè)重要的問題。
(二)網(wǎng)絡(luò)蜘蛛工作原理。網(wǎng)絡(luò)蜘蛛是通過網(wǎng)頁鏈接地址來尋找網(wǎng)頁的,這必須要遵循網(wǎng)站結(jié)構(gòu)來進(jìn)行抓取,從一個(gè)網(wǎng)站某一個(gè)頁面開始,通常來說這個(gè)頁面也叫網(wǎng)站的入口。讀取網(wǎng)頁后,找到網(wǎng)頁中的其他的超鏈接地址,然后再根據(jù)這些超鏈接地址進(jìn)入下一個(gè)網(wǎng)頁,因此不斷的循環(huán)下去后把整個(gè)網(wǎng)站抓取完畢。通過這種循環(huán)可以構(gòu)造出更大的環(huán)境,那就是整個(gè)互聯(lián)網(wǎng),也就是說通過網(wǎng)絡(luò)蜘蛛,就可以將整個(gè)互聯(lián)網(wǎng)上的所有網(wǎng)站都抓取完畢。
對(duì)于以上所描述的網(wǎng)絡(luò)蜘蛛的原理不難看出,從目前互聯(lián)網(wǎng)所公布網(wǎng)站的數(shù)目來看,是一個(gè)非常龐大的數(shù)目,而且每個(gè)網(wǎng)頁信息都有一定的容量,假設(shè)一個(gè)網(wǎng)頁平均的大小為50K計(jì)算,這里還要包括圖片等媒體,對(duì)于上百億的網(wǎng)頁容量可以達(dá)到上百萬GB的。如何存儲(chǔ)?如何有充足的時(shí)間去抓取都是一些復(fù)雜的問題。面對(duì)這些問題,對(duì)于網(wǎng)絡(luò)蜘蛛來說就必須在抓取網(wǎng)頁時(shí)候要有一個(gè)的策略,一般來說有兩種策略:廣度優(yōu)先策略和深度優(yōu)先策略。
廣度優(yōu)先策略:這種策略就是要求在網(wǎng)絡(luò)蜘蛛在抓取一個(gè)網(wǎng)頁后,繼續(xù)對(duì)該網(wǎng)頁中的鏈接網(wǎng)頁進(jìn)行抓取。這種方式可以讓網(wǎng)絡(luò)蜘蛛以并行的方式進(jìn)行抓取,以提高抓取的速度,減少抓取時(shí)間。
深度優(yōu)先策略:這就是要求網(wǎng)絡(luò)蜘蛛在抓取一個(gè)網(wǎng)頁鏈接后,進(jìn)一步對(duì)下一個(gè)鏈接的網(wǎng)頁進(jìn)行抓取,不斷的跟蹤下去,直到網(wǎng)站最大深度為止,然后再處理其他鏈接的網(wǎng)頁。這樣的策略最大的優(yōu)點(diǎn)就是實(shí)現(xiàn)算法比較簡(jiǎn)單,可以采用遞歸的方法進(jìn)行設(shè)計(jì)。
三、網(wǎng)絡(luò)蜘蛛與網(wǎng)站
網(wǎng)絡(luò)蜘蛛如何對(duì)網(wǎng)站進(jìn)行抓取,這需要很好的控制,因?yàn)榫W(wǎng)絡(luò)蜘蛛在抓取網(wǎng)頁的時(shí)候,不同于一般的訪問,否則會(huì)對(duì)服務(wù)器造成嚴(yán)重的負(fù)擔(dān)。那么就要求網(wǎng)站對(duì)網(wǎng)絡(luò)蜘蛛的進(jìn)入有一定的設(shè)置,比如:在網(wǎng)站根目錄下投放一個(gè)robots.txt文件,專門用來同網(wǎng)絡(luò)蜘蛛進(jìn)行交互的文件。它主要的功能就是將網(wǎng)站管理員的意圖傳遞給網(wǎng)絡(luò)蜘蛛,告訴網(wǎng)絡(luò)蜘蛛哪些頁面可以訪問,哪些網(wǎng)頁不可以訪問。而且這個(gè)文件的語法也是比較簡(jiǎn)單的,也可以將這文件看成一個(gè)網(wǎng)絡(luò)約定協(xié)議而已,并沒有其他的強(qiáng)迫手段,也能有效的屏蔽了不屬于識(shí)別該文件的網(wǎng)絡(luò)蜘蛛。
還有其他方法可以有效的引導(dǎo)網(wǎng)絡(luò)蜘蛛對(duì)網(wǎng)站進(jìn)行有效的抓取,比如:利用sitemap.xml文件,即網(wǎng)站地圖。該文件可以看作網(wǎng)絡(luò)蜘蛛的向?qū)?,能幫助網(wǎng)絡(luò)蜘蛛順利,快速的對(duì)網(wǎng)站進(jìn)行遍歷。而不會(huì)重復(fù)的抓取網(wǎng)頁,和避免對(duì)無效網(wǎng)頁抓取下來而造成的無謂的浪費(fèi)。同時(shí),這樣也可以讓網(wǎng)站設(shè)計(jì)來決定設(shè)計(jì)方案,讓網(wǎng)絡(luò)蜘蛛來遵循網(wǎng)站地圖來抓取,讓網(wǎng)站被搜索引擎所收錄。
網(wǎng)站設(shè)計(jì)者還可以對(duì)網(wǎng)頁中的Meta字段進(jìn)行設(shè)置相應(yīng)網(wǎng)絡(luò)蜘蛛所識(shí)別的內(nèi)容。比如:網(wǎng)頁標(biāo)題、網(wǎng)頁關(guān)鍵字、網(wǎng)頁描述等。這種設(shè)置也使有必要的,因?yàn)檫@樣能友好的告訴網(wǎng)絡(luò)蜘蛛該網(wǎng)頁的相關(guān)信息,能網(wǎng)絡(luò)蜘蛛更好識(shí)別出該網(wǎng)頁的價(jià)值所在。
四、網(wǎng)絡(luò)蜘蛛的設(shè)計(jì)
(一)網(wǎng)絡(luò)蜘蛛模塊分析。根據(jù)網(wǎng)絡(luò)蜘蛛抓取網(wǎng)頁的過程的不同,可以將網(wǎng)絡(luò)蜘蛛分成三個(gè)功能模塊:網(wǎng)頁讀取模塊,該模塊主要功能是用來讀取服務(wù)器上網(wǎng)頁的內(nèi)容;超鏈接分析模塊,這個(gè)模塊主要是用來分析所讀取出來網(wǎng)頁中的超鏈接,將網(wǎng)頁中的所有的超鏈接提出出來,存放到一個(gè)鏈表當(dāng)中;內(nèi)容分析模塊,這個(gè)模塊主要功能是用來對(duì)網(wǎng)頁內(nèi)容進(jìn)行分析,將網(wǎng)頁中所能識(shí)別的內(nèi)容保留,不需要的標(biāo)志出掉。
(二)網(wǎng)絡(luò)蜘蛛工作流程。首先網(wǎng)絡(luò)蜘蛛根據(jù)網(wǎng)站的入口讀出網(wǎng)站入口網(wǎng)頁內(nèi)容,將網(wǎng)頁上的網(wǎng)頁超鏈接保存到URL鏈表中。然后判斷鏈表是否為空,如果為空則代表站點(diǎn)為空,否則從URL鏈表中讀取一個(gè)URL鏈接。再讀出該URL對(duì)應(yīng)網(wǎng)頁內(nèi)容進(jìn)行抓取,通過分析把該網(wǎng)頁的URL保存到URL鏈表當(dāng)中。重復(fù)循環(huán),直到URL鏈表為空時(shí),就說明該網(wǎng)站所有網(wǎng)頁都被抓取完畢。
(三)對(duì)于網(wǎng)絡(luò)蜘蛛的優(yōu)化。1.實(shí)現(xiàn)自動(dòng)化,對(duì)于上億的網(wǎng)頁,不僅僅是在速度上和效率上的要求,更重要的是減少人工的參與,盡可能的實(shí)現(xiàn)自動(dòng)化。這不僅是體現(xiàn)在自動(dòng)化抓取網(wǎng)頁,還能體現(xiàn)在其他方面,比如:對(duì)異常的處理、日志的處理。以提高網(wǎng)絡(luò)蜘蛛的智能化。2.使用多協(xié)議并發(fā)抓取,雖然HTTP是互聯(lián)網(wǎng)網(wǎng)頁的通信協(xié)議,但是還存在其他的一些。為了節(jié)約抓取時(shí)間和網(wǎng)絡(luò)蜘蛛對(duì)網(wǎng)頁命中的概率,可以考慮使用多協(xié)議并發(fā)的形式對(duì)網(wǎng)站的網(wǎng)頁進(jìn)行抓取。這樣速度會(huì)更快,更能符合商業(yè)化網(wǎng)絡(luò)蜘蛛的要求。
五、總結(jié)
伴隨信息化的發(fā)展,商業(yè)化的搜索引擎發(fā)展也會(huì)成為將來互聯(lián)網(wǎng)的主力軍,這也決定了網(wǎng)絡(luò)蜘蛛的發(fā)展方向,這就必須要進(jìn)一步去研究網(wǎng)絡(luò)蜘蛛的策略問題,這對(duì)搜索引擎必定會(huì)起到一個(gè)重要的作用。
六、參考文獻(xiàn):
[1]王海波.XML搜索引擎研究[J].計(jì)算機(jī)應(yīng)用研究,2001
關(guān)鍵詞:數(shù)字圖書館;搜索引擎;檢索
Library How to Build a Small Search Engine
Xiang Gaochao
(Library of Zhongshan Polytechnic,Zhongshan528404,China)
Abstract:This paper analyzes the feasibility of library search engine,and primarily explained the basic technology to build a small search engine
Keywords:Digital library;Search engine;Search
中圖分類號(hào):TP311文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1007-9599 (2010) 07-0000-01
一、引言
隨著網(wǎng)絡(luò)的興起,搜索引擎逐漸被廣泛使用。搜索引擎技術(shù)是網(wǎng)絡(luò)與計(jì)算機(jī)技術(shù)結(jié)合的產(chǎn)物,它的發(fā)展決定于網(wǎng)絡(luò)技術(shù)的發(fā)展。
對(duì)于圖書館來說,用戶的文獻(xiàn)檢索需求越來越強(qiáng),專業(yè)覆蓋面廣而專業(yè)性細(xì)分,所購(gòu)專業(yè)性數(shù)據(jù)庫越來越多,信息量也越來越大,為了給讀者提供快速、方便的檢索,使讀者能夠自網(wǎng)上即時(shí)獲取所需要的文獻(xiàn)資料,更好的整合相關(guān)的課題、科研研究信息等,圖書館可以考慮建設(shè)覆蓋某些行業(yè)領(lǐng)域或者某些專業(yè)的小型搜索引擎。
本文嘗試著從基本技術(shù)的角度來闡述如何搭建搜索引擎,大致可以從:信息搜集、構(gòu)建索引、檢索三個(gè)部分來了解現(xiàn)有開發(fā)技術(shù),文章還提到了一些現(xiàn)有的搜索引擎開發(fā)工具。
二、基本技術(shù)
(一)信息搜集
對(duì)于圖書館來說所要搜集的信息包括各圖書館站點(diǎn)、學(xué)者個(gè)人主頁、學(xué)術(shù)研究論文、在線會(huì)議資源、專業(yè)數(shù)據(jù)庫等等。
因?yàn)榫W(wǎng)頁是通過超鏈接(Hyperlinks)互相連接,“蜘蛛”程序被用來在網(wǎng)絡(luò)上搜集網(wǎng)頁。這個(gè)“蜘蛛”程序也被叫做網(wǎng)絡(luò)機(jī)器人(Web Robot)、網(wǎng)頁(Web agents)、爬蟲(crawlers)、蠕蟲(worms)或者漫步者(wanderers)等,它遵守標(biāo)準(zhǔn)的HTTP協(xié)議,通過網(wǎng)頁間的超鏈接(URLs)來爬取網(wǎng)頁。首先,爬蟲讀取一列種子站點(diǎn)的URLs并且下載這些URLs的頁面。然后處理這些頁面,提取其中含有的新的URL地址并加入到下載隊(duì)列中。然后爬蟲選擇隊(duì)列中的下一個(gè)URL進(jìn)行抓取,直到抓取了指定數(shù)目的頁面或者硬盤沒有空間了。這個(gè)網(wǎng)絡(luò)頁面收集過程常常被稱為“爬取”或“抓取”。為了提高抓取速度,可以同時(shí)使用幾個(gè)爬蟲去平行爬取不同的站點(diǎn),使用多線程或者異步輸入/輸出。
另外,一個(gè)設(shè)計(jì)良好的“有禮貌”的爬蟲應(yīng)該避免在短時(shí)間內(nèi)向一個(gè)Web服務(wù)器發(fā)送重復(fù)的請(qǐng)求,這樣會(huì)導(dǎo)致該站點(diǎn)重復(fù)下載。網(wǎng)站管理員同時(shí)應(yīng)該知道他們的站點(diǎn)不想被那些特定的爬蟲爬取。有兩種方法可以拒絕爬蟲。第一種是使用Robot協(xié)議,在站點(diǎn)的根目錄下放置“robot.txt”文件來告訴爬蟲該站點(diǎn)的哪些部分不要下載。第二種方法是使用robots標(biāo)簽,網(wǎng)頁代碼中注明該網(wǎng)頁是否可以被索引或者提取更多的鏈接。
在網(wǎng)絡(luò)發(fā)展的早期就已經(jīng)開發(fā)除了爬蟲下載工具,TueMosaic就是一個(gè)早期的個(gè)人網(wǎng)絡(luò)蜘蛛例子。通過TueMosaic用戶可以輸入關(guān)鍵詞,設(shè)定抓取深度和寬度,只抓取首頁等。WebRipper、WebMiner和Teleport這些軟件工具允許用戶從在給定站點(diǎn)的具有特殊類型或者屬性的網(wǎng)頁。最近幾年也出現(xiàn)了一些開源的工具,如Heritrix,這是一個(gè)互聯(lián)網(wǎng)檔案館工程的爬蟲,從網(wǎng)上即可下載的到。
還有一些蜘蛛設(shè)計(jì)的能提供附加功能,如Competitive Intelligence Spider能進(jìn)行廣度優(yōu)先抓取,并可以對(duì)結(jié)果進(jìn)行語義分析和聚類。the hybird simulated annealing spider能夠在網(wǎng)上進(jìn)行“全球”搜索。
通過爬蟲工具抓取各圖書館站點(diǎn)、學(xué)者個(gè)人主頁、學(xué)術(shù)研究論文、在線會(huì)議資源、專業(yè)數(shù)據(jù)庫等等資源,這樣就構(gòu)建好了一個(gè)圖書館搜索引擎的資源了。
(二)建設(shè)索引
搜索引擎的內(nèi)容建設(shè)好了,接下來就要為內(nèi)容數(shù)據(jù)庫建設(shè)索引了。
爬蟲所抓取的頁面都存放在網(wǎng)頁庫中,為了減少所需的存儲(chǔ)空間,經(jīng)常需要對(duì)頁面進(jìn)行壓縮存儲(chǔ)。頁面通常都存放在數(shù)據(jù)庫中,但是對(duì)于小型的搜索系統(tǒng)來說可以簡(jiǎn)單地把頁面存成文件的形式。索引處理下載的網(wǎng)頁并為搜索提供服務(wù)。索引把每一個(gè)文檔記錄成詞組和詞組在文檔中出現(xiàn)的位置,同時(shí)通過詞組出現(xiàn)頻率等計(jì)算文檔得分,以便用于查詢結(jié)果的排序或者更進(jìn)一步的處理。
(三)構(gòu)建搜索
查詢引擎接收來自用戶的查詢提問并在索引中進(jìn)行查詢[1]。然后查詢引擎還要通過各種內(nèi)容和鏈接分析權(quán)值對(duì)結(jié)果進(jìn)行排序。一些搜索引擎的查詢引擎還要儲(chǔ)備一些常見的查詢請(qǐng)求。最后,查詢引擎把查詢結(jié)果組織成一個(gè)HTML頁面并通過用戶接口呈現(xiàn)給用戶。用戶通過用戶接口提交查詢請(qǐng)求并查看查詢結(jié)果。當(dāng)用戶通過接口提交查詢請(qǐng)求后,請(qǐng)求被提交給查詢引擎,由查詢引擎在索引數(shù)據(jù)庫中找到查詢結(jié)果并反饋給用戶。
(四)現(xiàn)有的工具
除了上面討論的爬蟲和索引工具,還有很多免費(fèi)的軟件工具可以用于搜索引擎的各個(gè)部分。如網(wǎng)頁抓取、索引、查找、索引存儲(chǔ)結(jié)構(gòu)、和用戶接口等。用戶可以通過這些工具建立自己的搜索引擎。一些常用的搜索引擎開發(fā)工具如WebGlimpse、ht://dg、GreenStone和Alkaline。這些工具從用戶獲得一列網(wǎng)址作為種子站點(diǎn)開始抓取網(wǎng)頁,對(duì)抓取的網(wǎng)頁進(jìn)行索引,并建立用戶接口。
用戶可以通過這些工具集來構(gòu)建自己的專業(yè)搜索引擎。
三、結(jié)束語
對(duì)于我國(guó)圖書館業(yè)來說,隨著信息技術(shù)領(lǐng)域里的各種新理論、新技術(shù)、新方法用于數(shù)字圖書館搜索引擎的研究與應(yīng)用,數(shù)字圖書館建設(shè)必將有更好的發(fā)展,我們希望有更多更好的搜索引擎能開發(fā)出來,從而促進(jìn)圖書館事業(yè)的快速發(fā)展。
參考文獻(xiàn):
關(guān)鍵詞 服務(wù)機(jī)器人;視覺定位;回艙系統(tǒng)
中圖分類號(hào):TP242.6 文獻(xiàn)標(biāo)識(shí)碼:B
文章編號(hào):1671-489X(2014)24-0053-02
1 課題研究的意義
移動(dòng)機(jī)器人系統(tǒng)中,自主定位導(dǎo)航技術(shù)是服務(wù)機(jī)器人領(lǐng)域的一個(gè)重點(diǎn)研究方向。而自主定位回艙充電,也是家庭服務(wù)移動(dòng)機(jī)器人主要必備的功能之一,利用全向圖像傳感器對(duì)移動(dòng)機(jī)器人定位至今仍是移動(dòng)機(jī)器人定位領(lǐng)域的研究熱點(diǎn)。自主回艙是服務(wù)機(jī)器人中智能程度最高的功能,自主定位移動(dòng)也是移動(dòng)機(jī)器人一個(gè)重要的發(fā)展方向。它具有高度組織、規(guī)劃能力,并適用于復(fù)雜的家庭室內(nèi)環(huán)境中。一個(gè)視覺自主回艙智能系統(tǒng),具有良好的視覺采集系統(tǒng)、圖像處理與控制系統(tǒng)、運(yùn)動(dòng)系統(tǒng),能夠有效地提高機(jī)器人移動(dòng)歸位的準(zhǔn)確性和可靠性[1-10]。
2 視覺定位回艙系統(tǒng)的硬件組成和體系結(jié)構(gòu)
本章主要對(duì)服務(wù)機(jī)器人回艙系統(tǒng)的視覺采集系統(tǒng)、圖像處理與控制系統(tǒng)、運(yùn)動(dòng)系統(tǒng)的整體硬件結(jié)構(gòu)、核心芯片的選型和接口電路的設(shè)計(jì)做出詳細(xì)的介紹。
服務(wù)機(jī)器人回艙系統(tǒng)的整體硬件結(jié)構(gòu)與組成 服務(wù)機(jī)器人的硬件板主要由上位核心控制板和下位運(yùn)動(dòng)控制板兩板構(gòu)成。其中,上位核心控制板中的視覺采集系統(tǒng)模塊由圖像處理與控制系統(tǒng)模塊構(gòu)成。
上位核心控制板的視覺采集系統(tǒng)硬件模塊主要工作是采集回艙充電座上的特征點(diǎn)的光信號(hào)ADC轉(zhuǎn)換為YUV/RGB格式數(shù)據(jù)后,利用核心處理芯片的硬件編解碼器,進(jìn)行數(shù)據(jù)處理;最后,利用核心處理芯片對(duì)其圖像數(shù)據(jù)信息進(jìn)行分析得出結(jié)果后,通過串行口RS232接口對(duì)下位運(yùn)動(dòng)板下達(dá)運(yùn)動(dòng)控制命令。
下位運(yùn)動(dòng)機(jī)的主要工作是從與上位核心控制板相連的RS232接口接收上位機(jī)的命令,通過PWM的占空比,對(duì)機(jī)器人的兩個(gè)輪子電機(jī)進(jìn)行控制,從而實(shí)現(xiàn)服務(wù)機(jī)器人的各種運(yùn)動(dòng)功能。
上位核心控制板的硬件實(shí)現(xiàn)
1)芯片選型。本系統(tǒng)采用Micron公司MT9V136芯片,該視覺傳感器的分辨率為680(H)*512(V),內(nèi)置27 MHz時(shí)鐘源,內(nèi)部集成了數(shù)模轉(zhuǎn)換器,支持BT-656標(biāo)準(zhǔn)的數(shù)字信號(hào)輸出接口。核心控制芯片采用三星公司的S3C6410,它是一款低功率、高性價(jià)比的通用RSIC處理器,支持MPEG4/H.263/H.264編解碼和VC1的解碼。
2)視覺系統(tǒng)與核心控制芯片接口電路的實(shí)現(xiàn):
①通過I2C接口的SCL和SDA對(duì)MT9V136視覺傳感器輸入通道的選擇以及采樣方式進(jìn)行設(shè)置;
②MT9V136對(duì)外界的視頻模擬信號(hào)進(jìn)行處理,通過BT601/656接口將數(shù)字信號(hào)輸入到S3C6410上。
下位運(yùn)動(dòng)板的硬件實(shí)現(xiàn)
1)下位運(yùn)動(dòng)板控制芯片的選型。運(yùn)動(dòng)控制底盤芯片采用STM32系列,它的32位閃存微控制器基于專門為嵌入式應(yīng)用開發(fā)的具有突破性的ARM Cortex?-M3內(nèi)核,是一個(gè)完整的32位系列產(chǎn)品,同時(shí)具有高集成度和易開發(fā)性。
2)下位運(yùn)動(dòng)板硬件系統(tǒng)原理。家庭服務(wù)機(jī)器人的下位運(yùn)動(dòng)控制系統(tǒng)主要由運(yùn)動(dòng)控制器STM32、驅(qū)動(dòng)電路、直流伺服驅(qū)動(dòng)電機(jī)、電機(jī)編碼器組成。其工作原理為:運(yùn)動(dòng)控制器STM32根據(jù)上位控制板的串口發(fā)送出來的運(yùn)動(dòng)命令信息,對(duì)驅(qū)動(dòng)電機(jī)進(jìn)行控制以驅(qū)動(dòng)家庭服務(wù)機(jī)器人運(yùn)動(dòng)。同時(shí)運(yùn)動(dòng)控制器STM32通過編碼器得到當(dāng)前電機(jī)的位置和速度,構(gòu)成閉環(huán)控制。
3)運(yùn)動(dòng)板與核心板的接口電路的設(shè)計(jì)。S3C6410有豐富的串行RS232標(biāo)準(zhǔn)接口資源,整個(gè)芯片共有四個(gè)RS232接口,核心主控板與運(yùn)動(dòng)板之間采用RS232標(biāo)準(zhǔn)接口進(jìn)行連接。由于RS232串口是低速接口,這樣可以保證上位板對(duì)運(yùn)動(dòng)板發(fā)送控制命令信號(hào)的穩(wěn)定性。
3 系統(tǒng)的軟件設(shè)計(jì)
在整個(gè)系統(tǒng)之中,服務(wù)機(jī)器人回艙系統(tǒng)軟件的設(shè)計(jì)和實(shí)現(xiàn)是整個(gè)系統(tǒng)的核心部分,是回艙系統(tǒng)實(shí)現(xiàn)的重要環(huán)節(jié)。在家庭服務(wù)機(jī)器人回艙系統(tǒng)硬件平臺(tái)的基礎(chǔ)上,選擇合適的操作系統(tǒng)平臺(tái)和開發(fā)環(huán)境,來實(shí)現(xiàn)一種適合于家庭室內(nèi)復(fù)雜環(huán)境下的機(jī)器人視覺回艙系統(tǒng)軟件。
下位運(yùn)動(dòng)板控制軟件 運(yùn)動(dòng)控制軟件運(yùn)行在下位機(jī)運(yùn)動(dòng)控制板,整個(gè)軟件是通過控制機(jī)器人底盤雙輪上電機(jī)的轉(zhuǎn)速,來實(shí)現(xiàn)家庭服務(wù)機(jī)器人的行為和運(yùn)動(dòng)狀態(tài),包括直線前進(jìn)、直線后退、做原地持續(xù)轉(zhuǎn)彎。
由于ARM公司RealView微控制器開發(fā)工具包支持意法半導(dǎo)體公司的STM32,和意法半導(dǎo)體公司提供的具有豐富IO口的控制例程和API,使得程序?qū)崿F(xiàn)非常方便。
其中主要的API函數(shù)為:
1)“MotorControl_Configuration2(uint32_t);”,控制左邊PWM輸出時(shí)間,從而控制左邊馬達(dá)的轉(zhuǎn)速;
2)“MotorControl_Configuration1(uint32_t ); ”,控制右邊PWM輸出時(shí)間,從而控制右邊馬達(dá)的轉(zhuǎn)速。
服務(wù)機(jī)器人的運(yùn)動(dòng)控制底盤主要完成向前移動(dòng)、原地轉(zhuǎn)動(dòng),就可以完成移動(dòng)回艙。
上位核心控制板軟件的實(shí)現(xiàn) 從功能角度上,整個(gè)上位核心板的軟件可分為視覺信號(hào)采集模塊、視覺信息處理模塊、運(yùn)動(dòng)控制接口模塊。
視覺信號(hào)采集模塊軟件主要完成用視覺傳感器對(duì)回艙充電座上的三個(gè)特征紅外點(diǎn)進(jìn)行采集,并把采集的圖像數(shù)字信號(hào)存放在指定內(nèi)存位置。從軟件實(shí)現(xiàn)的角度上,本系統(tǒng)的視覺信息采集功能主要是由Linux的MT9V136攝像頭驅(qū)動(dòng)程序來實(shí)現(xiàn)的,并且通過系統(tǒng)調(diào)用層的接口,為視覺信息處理模塊和其他程序提供服務(wù)。
視覺信息處理模塊主要負(fù)責(zé)對(duì)視覺采集模塊采集并傳輸過來YUV或RGB格式的視覺圖像進(jìn)行算法處理和分析,求解出家庭服務(wù)機(jī)器人與回艙充電座的相對(duì)位置,下達(dá)相應(yīng)的運(yùn)動(dòng)控制指令。
1)模塊實(shí)現(xiàn)流程。
①初始化視覺處理模塊所需要的各個(gè)設(shè)備。
②對(duì)三個(gè)光斑點(diǎn)的光線,在像素坐標(biāo)下進(jìn)行解析幾何求解,求出在像素坐標(biāo)下的三個(gè)光斑點(diǎn)所組成的直線的斜率。
③根據(jù)三點(diǎn)光斑直線的斜率的正負(fù)值,來下達(dá)相應(yīng)的機(jī)器人運(yùn)動(dòng)控制協(xié)議給模塊控制接口模塊。其中,如果求解的斜率為正,機(jī)器人的位置應(yīng)該在回艙充電座的左邊,應(yīng)當(dāng)發(fā)送向右移動(dòng)的指令;如果斜率為負(fù),機(jī)器人的位置在右邊,應(yīng)當(dāng)發(fā)送向左移動(dòng)的指令;如果斜率為不存在無窮大,機(jī)器人的位置應(yīng)該在回艙充電座的正前方,應(yīng)當(dāng)發(fā)送向前移動(dòng)的運(yùn)動(dòng)控制指令,然后退出整個(gè)程序。
運(yùn)動(dòng)控制接口模塊主要任務(wù)是接收和監(jiān)聽視覺處理模塊進(jìn)程所發(fā)送的運(yùn)動(dòng)控制命令,并進(jìn)行分析命令,重新封裝下位運(yùn)動(dòng)板程序所能識(shí)別的機(jī)器人控制協(xié)議,通過串口發(fā)送給下位運(yùn)動(dòng)板,同時(shí)監(jiān)聽串口是否被占用。從任務(wù)和功能角度來看,運(yùn)動(dòng)控制接口模塊是被動(dòng)接受其他模塊進(jìn)程所發(fā)送的消息,并進(jìn)行處理。
4 總結(jié)和展望
本文對(duì)機(jī)器人視覺定位回艙系統(tǒng)的硬件進(jìn)行芯片選型、電路設(shè)計(jì)、選擇接口電路。軟件方面對(duì)系統(tǒng)進(jìn)行軟件架構(gòu)分析、功能模塊設(shè)計(jì)、算法設(shè)計(jì)和實(shí)現(xiàn)。但是由于家庭復(fù)雜的環(huán)境和各種光源的存在,使得機(jī)器人利用視覺系統(tǒng)定位,自主回艙的成功率下降。如何更好地改善回艙算法,選擇更好的軟件系統(tǒng)架構(gòu),改造硬件平臺(tái),是今后人們研究的重點(diǎn)課題。
參考文獻(xiàn)
[1]Lingemann K, Nüchter A. High-speed laser localization for
mobile robots[J].Robotics and Autonomous Systems,2005:
275-296.
[2]徐海貴,王春香,楊汝清,等.磁傳感系統(tǒng)在室外移動(dòng)機(jī)器人導(dǎo)航中的研究[J].機(jī)器人,2007(1):61-66.
[3]吳偉,劉興剛,王忠實(shí),等.多傳感器融合實(shí)現(xiàn)機(jī)器人精確定位[J].東北大學(xué)學(xué)報(bào):自然科學(xué)版,2007,28(2):
161-164.
[4]崔峰,張明路,丁承軍,等.基于GPS/GIS/GSM的移動(dòng)機(jī)器人定位技術(shù)研究[J].微計(jì)算機(jī)信息,2005(7X):99-100.
[5]胡山,許增樸,等.基于彩標(biāo)的服務(wù)機(jī)器人定位研究[J].制造業(yè)自動(dòng)化,2005(2).
[6]Baerveldt A. A vision system for object verification and Loca-
lization based on local features[J].Robotics and Autonomous
Systems,2001(2-3):83-92.
[7]Wijk O, Christensen H I. Localization and navigation of a mo-
bile robot using natural point landmarks extracted from sonar da-ta[J].Robotics and Autonomous Systems,2000(3):131-142.
[8]唐璇,白濤,蔡自興.基于光電鼠標(biāo)的移動(dòng)機(jī)器人室內(nèi)定位方法[J].微計(jì)算機(jī)信息,2005(5):20-21.
[9]Bonnifait P, Garcia G. 6 DOF dynamic localization of an outdoor mobile robot[J].Control Engineering Practice,1999.
關(guān)鍵詞: 語音識(shí)別; 聲控?zé)簦?非特定人; LD3320
中圖分類號(hào): TN912.34?34 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2015)11?0027?04
Design of LD3320?based voice?controlled light system for person?independent recognition
JIANG Jie?wen, JIANG Yan?ji, BING Xiao?huan, WANG Yang
(School of Software, Liaoning Technical University, Huludao 125105, China)
Abstract: Since the break?though of voice recognition technology is droved by rapid development of computer technology, the powerful voice control system is gradually applied in real life. LD3320 is a dedicated chip for voice recognition, with fast response and high recognition rate characteristics. The overall structure design of voice?controlled light system combines STC11L08XE, peripheral circuit and wireless transmission chip nRF24L01, in which hardware selection and software programming of each module are proceeded. The static test of the functions for voice? controlled light system based on person?independent was implemented, the recognition rate is approach to 95% and the experimental effect is satisfying. The proposed embedded system has the characteristics of small size, low power dissipation, stable performance and good real?time performance. It has high practical value in manufacture and living.
Keywords: voice recognition; voice?controlled light; person?independent; LD3320
0 引 言
語音處理和識(shí)別技術(shù)始于20世紀(jì)50年代,經(jīng)過幾十年探索和研究已較為成熟,從特定人、孤立詞的識(shí)別到非特定人、大詞匯量連續(xù)語音的識(shí)別,一系列的突破使得語音成為人與計(jì)算機(jī)系統(tǒng)之間新的通訊手段。近年來,作為直接有效的人機(jī)交互方式,語音識(shí)別在工業(yè)生產(chǎn)控制、智能家居生活和醫(yī)療衛(wèi)生系統(tǒng)等方面應(yīng)用日益廣泛,在嵌入式系統(tǒng)領(lǐng)域中,具有很高的研究及實(shí)用價(jià)值[1?2]。
本文設(shè)計(jì)開發(fā)了一種基于LD3320語音識(shí)別芯片的非特定人識(shí)別的聲控?zé)粝到y(tǒng),采用兩級(jí)語音指令,分別控制兩盞不同顏色的LED小燈,實(shí)現(xiàn)用戶發(fā)出語音指令后精確控制小燈開關(guān)的功能,為人們的生產(chǎn)生活帶來便利[3?4]。
1 語音識(shí)別概述
語音識(shí)別過程主要包括語音信號(hào)的預(yù)處理、特征提取、訓(xùn)練、模式匹配、識(shí)別結(jié)果幾個(gè)部分[5]。訓(xùn)練通常離線完成,對(duì)預(yù)先收集好的海量語音、語言數(shù)據(jù)庫進(jìn)行信號(hào)處理和特征提取,獲取語音識(shí)別系統(tǒng)所需要的“聲學(xué)模型”和“語言模型”,保存為模板庫。識(shí)別階段通常在線完成,用戶實(shí)時(shí)語音信號(hào)經(jīng)過相同的通道得到語音特征參數(shù),生成測(cè)試模板,與參考模板進(jìn)行匹配,將相似度最高的參考模板作為識(shí)別結(jié)果[6]。語音識(shí)別流程基本框圖如圖1所示。
按照識(shí)別對(duì)象即對(duì)說話人的依賴程度可分為特定人和非特定人的語音識(shí)別系統(tǒng)[7]。特定人指訓(xùn)練和識(shí)別對(duì)象為專門的人,其他人的語音不能識(shí)別;非特定人的訓(xùn)練和識(shí)別對(duì)象面向大眾,不區(qū)分個(gè)人,后者的實(shí)現(xiàn)難度要大得多。
2 聲控系統(tǒng)結(jié)構(gòu)設(shè)計(jì)
考慮到嵌入式系統(tǒng)組件對(duì)成本、體積和集成度的要求,本系統(tǒng)采用的處理單元是宏晶科技生產(chǎn)的STC11L08XE單片機(jī)及其外圍電路,整個(gè)系統(tǒng)由語音輸入模塊(咪頭),語音識(shí)別模塊,無線傳輸模塊,控制模塊(繼電器),電源模塊和顯示模塊(紅色和綠色LED小燈各1)構(gòu)成,系統(tǒng)總體框架圖如圖2所示。
系統(tǒng)啟動(dòng)后,當(dāng)語音輸入模塊即咪頭開始收集語音信號(hào),每接收到一個(gè)語音信號(hào)后通過單片機(jī)和語音識(shí)別模塊進(jìn)行識(shí)別并判斷,得到正確的語音指令后,執(zhí)行單片機(jī)程序,通過其TXD串口對(duì)外進(jìn)行數(shù)據(jù)輸出,無線模塊A的RXD接收口接收數(shù)據(jù)并保持?jǐn)?shù)據(jù)原樣,再通過無線信號(hào)發(fā)送至無線模塊B,無線模塊B根據(jù)接收的信號(hào)改變引腳電平來控制繼電器,進(jìn)而控制LED等回路的閉合?!? 硬件選型
3.1 處理器
處理器是整個(gè)系統(tǒng)的核心,不同的應(yīng)用領(lǐng)域、不同的用戶需求,對(duì)處理器的選擇是多樣化的。本文針對(duì)嵌入式語音識(shí)別系統(tǒng)設(shè)計(jì),采用宏晶科技生產(chǎn)的主要用于語音識(shí)別的處理器STC11L08XE。其核心開發(fā)板結(jié)構(gòu)具備嵌入式系統(tǒng)功能及所需外圍設(shè)備。規(guī)格為43 mm×29.7 mm,供電電壓為5 V。I/O口輸出高電平3.3 V,擁有8 KB的FLASH,512 B的SRAM,串口通信(TTL電平)方式。是高速/低功耗/超強(qiáng)抗干擾的新一代8051單片機(jī),指令代碼完全兼容傳統(tǒng)8051,但速度快8~12倍。內(nèi)部集成高可靠復(fù)位電路,適應(yīng)高速通信,智能控制,強(qiáng)干擾場(chǎng)合。
在選擇此處理器時(shí)主要是出于體積小易開發(fā)角度來考慮。單片機(jī)原理圖如圖3所示。
3.2 語音識(shí)別模塊
LD3320是一款“語音識(shí)別”專用芯片,采用并行方式直接與STC11L08XE單片機(jī)相接。該芯片集成了語音識(shí)別處理器和外部電路,包括A/D、D/A轉(zhuǎn)換器、麥克風(fēng)接口、聲音輸出接口等。其內(nèi)部集成了快速穩(wěn)定的優(yōu)化算法,無需事先訓(xùn)練錄音即可完成非特定人語音識(shí)別,不需要外接任何輔助芯片,直接集成在現(xiàn)有產(chǎn)品中就可以實(shí)現(xiàn)聲控及人機(jī)對(duì)話功能[8]。內(nèi)部原理圖如圖4所示。
3.3 無線傳輸模塊
nRF24L01是一款工作在2.4~2.5 GHz世界通用ISM頻段的單片無線收發(fā)器芯片。無線收發(fā)器包括:頻率發(fā)生器、增強(qiáng)型SchockBurst?模式控制器、功率放大器、晶體振蕩器、調(diào)制器、解調(diào)器。輸出功率頻道選擇和協(xié)議的設(shè)置可以通過SPI接 口進(jìn)行設(shè)置[9]。當(dāng)工作在發(fā)射模式下發(fā)射功率為-6 dBm時(shí)電流消耗為9 mA,接收模式時(shí)為12.3 mA,掉電模式和待機(jī)模式下電流消耗更低。
3.4 控制模塊
控制模塊主要指繼電器,這里選用1路繼電器,本模塊兼容3.3 V和5 V單片機(jī)信號(hào)控制使用,觸發(fā)電平為高電平(3~5 V都可以)。設(shè)計(jì)方式以3.3 V向上兼容5 V,采用光耦隔離信號(hào)更穩(wěn)定。
4 系統(tǒng)程序設(shè)計(jì)
系統(tǒng)程序在Keil μVision4軟件開發(fā)環(huán)境下采用C語言進(jìn)行模塊化編程。工作流程包括系統(tǒng)初始化、指令設(shè)置、識(shí)別判斷、中斷處理等。
4.1 系統(tǒng)初始化
當(dāng)單片機(jī)通電后系統(tǒng)軟件先從主函數(shù)開始執(zhí)行,在對(duì)系統(tǒng)進(jìn)行初始化的過程中包括調(diào)用函數(shù)將單片機(jī)初始化,通過測(cè)試開發(fā)板小燈指示單片機(jī)是否工作。執(zhí)行相應(yīng)函數(shù)復(fù)位LD3320芯片,再對(duì)串口進(jìn)行初始化,還要通過設(shè)置LD模塊寄存器對(duì)其命令初始化以及ASR功能初始化。
4.2 指令設(shè)置
為降低其他音源影響,提高識(shí)別率,本系統(tǒng)采用兩級(jí)指令完成對(duì)系統(tǒng)的控制。向LD模塊添加關(guān)鍵詞時(shí),通過編輯程序定義二維數(shù)組設(shè)定一級(jí)語音指令為“管家”,二級(jí)語音指令為“開紅燈”、“開綠燈”,設(shè)定指令時(shí),添加拼音的輸入方式作為關(guān)鍵詞數(shù)組,例如添加“管家”命令,則寫入“guan jia”,漢字間的拼音用空格隔開。實(shí)現(xiàn)功能為接收語音指令“管家”時(shí),開發(fā)板指示燈點(diǎn)亮,繼而接收語音指令“開綠燈”,LED綠燈點(diǎn)亮,接收語音指令“開紅燈”,LED紅燈點(diǎn)亮。
4.3 中斷處理
當(dāng)LD模塊接收到音頻信號(hào)時(shí),進(jìn)入到中斷處理函數(shù)進(jìn)行識(shí)別,讀取內(nèi)部寄存器返回識(shí)別碼,若每次讀取到的識(shí)別結(jié)果在寄存器中可以找到對(duì)應(yīng)數(shù)值,則判斷指令正確,將數(shù)據(jù)通過TXD串口對(duì)外進(jìn)行輸出,此時(shí)無線傳輸芯片A的RXD接收口再把接收到的數(shù)據(jù)保持不變發(fā)送到另一個(gè)無線模塊B,B針對(duì)信號(hào)對(duì)于引腳進(jìn)行高低電平控制,進(jìn)而控制繼電器。芯片B的引腳置為高電平3.3 V的時(shí)候繼電器打開即為通路,連接在繼電器上面的小燈成功通電打開。當(dāng)引腳置為低電平的時(shí)候小燈關(guān)閉。程序執(zhí)行流程圖如圖5所示。
4.4 部分代碼
向LD模塊添加關(guān)鍵詞的代碼如下,添加拼音關(guān)鍵詞,同時(shí)注意修改sRecog 和pCode 數(shù)組的長(zhǎng)度,拼音串和識(shí)別碼一一對(duì)應(yīng)。
uint8 LD_AsrAddFixed()
{
uint8 k, flag;
uint8 nAsrAddLength;
#define DATE_A 8 /*數(shù)組二維數(shù)值*/
#define DATE_B 25 /*數(shù)組一維數(shù)值*/
uint8 code sRecog[DATE_A][DATE_B] = { "guan jia",\
"kai hong deng",\ "guan hong deng",\
"kai lv deng",\
"guan lv deng",\ };
uint8 code pCode[DATE_A] = {
CODE_CMD,\
CODE_KCFD,\
CODE_GCFD,\
CODE_KWSD,\
CODE_GWSD,\
CODE_KKTD,\
CODE_GKTD,\
CODE_FSG
flag = 1;
for (k=0; k
{
if(LD_Check_ASRBusyFlag_b2() == 0)
{
flag = 0;
break;
}
LD_WriteReg(0xc1, pCode[k] );
LD_WriteReg(0xc3, 0 );
LD_WriteReg(0x08, 0x04); delay(1);
LD_Wr iteReg(0x08, 0x00);
delay(1);
for (nAsrAddLength=0; nAsrAddLength
{
if (sRecog[k][nAsrAddLength] == 0)
break;
LD_WriteReg(0x5, sRecog[k][nAsrAddLength]);
}
LD_WriteReg(0xb9, nAsrAddLength);
LD_WriteReg(0xb2, 0xff);
LD_WriteReg(0x37, 0x04);
}
return flag;
}
5 測(cè)試結(jié)論與分析
為了更好地檢測(cè)語音指令識(shí)別效果和系統(tǒng)功能的實(shí)現(xiàn),測(cè)試過程中選擇多個(gè)不同音色的人進(jìn)行試驗(yàn),觀察非特定人群對(duì)系統(tǒng)的控制效果,每個(gè)語音指令測(cè)試100遍。部分非特定人語音指令識(shí)別結(jié)果見表1。表中數(shù)據(jù)表示試驗(yàn)100次的成功次數(shù)。
由表1可見,該系統(tǒng)對(duì)于非特定人語音指令的識(shí)別準(zhǔn)確率接近95%。誤識(shí)別率大約在5%,響應(yīng)快,準(zhǔn)確度高,實(shí)用性強(qiáng)。
6 結(jié) 論
隨著語音識(shí)別技術(shù)的成熟發(fā)展,嵌入式功能的日漸強(qiáng)大,嵌入式語音控制系統(tǒng)的需求和應(yīng)用也越來越廣泛。本文設(shè)計(jì)的基于LD3320的非特定人識(shí)別聲控?zé)粝到y(tǒng),硬件模塊選型合理,程序功能設(shè)計(jì)完善,系統(tǒng)識(shí)別率高,穩(wěn) 定性好,方便集成,較理想地實(shí)現(xiàn)了非特定人通過語音指令控制小燈系統(tǒng)開關(guān)的功能,在工業(yè)自動(dòng)控制、醫(yī)療系統(tǒng)以及智能家居等很多領(lǐng)域具有廣闊的市場(chǎng)前景。
參考文獻(xiàn)
[1] 胡航.現(xiàn)代語音信號(hào)處理[M].北京:電子工業(yè)出版社,2014.
[2] [美]拉比納,[美]謝弗.數(shù)字語音處理理論與應(yīng)用(英文版)[M].北京:電子工業(yè)出版社,2011.
課題名稱: PLC先進(jìn)控制策略研究與應(yīng)用
1、選題意義和背景。
可編程序邏輯控制器(Programmable Logic Controller, PLC)具有可靠性高、抗干擾能力強(qiáng)、功能豐富等強(qiáng)大技術(shù)優(yōu)勢(shì),已經(jīng)成為目前自動(dòng)化領(lǐng)域的主流控制系統(tǒng)。然而,從目前的應(yīng)用情況來看,PLC還大都只是承擔(dān)最基本的控制功能,如順序控制、數(shù)據(jù)采集和PID反饋控制。各個(gè)PLC廠家也在其產(chǎn)品中設(shè)計(jì)了PID模塊。雖然PID算法控制有很高的穩(wěn)定性,但對(duì)于一些復(fù)雜控制系統(tǒng),PID控制很難滿足控制要求,這也使PLC的發(fā)展面臨著一種挑戰(zhàn)。隨著越來越多的PLC產(chǎn)品與IEC1131-3標(biāo)準(zhǔn)兼容,PLC控制系統(tǒng)越來越開放,將先進(jìn)控制算法嵌入PLC常規(guī)控制系統(tǒng)成為可能。本課題從工業(yè)控制實(shí)際應(yīng)用角度出發(fā),對(duì)PLC的控制功能進(jìn)行深入的研究和探討,以提高和擴(kuò)展PLC控制器的應(yīng)用水平和應(yīng)用范圍。本課題:PLC先進(jìn)控制策略的研究與應(yīng)用,其目的是通過研究使一些先進(jìn)控制算法在PLC及組態(tài)系統(tǒng)上得以實(shí)現(xiàn),并開發(fā)相應(yīng)的應(yīng)用程序,經(jīng)過驗(yàn)證后最終應(yīng)用到工業(yè)過程控制中去。
在PLC組態(tài)系統(tǒng)中實(shí)現(xiàn)先進(jìn)控制算法,包括預(yù)測(cè)控制算法和模糊邏輯控制算法,形成具有人工智能的控制模塊及網(wǎng)絡(luò)系統(tǒng),能大大提高系統(tǒng)的控制水平,改善控制質(zhì)量。從經(jīng)濟(jì)角度來看,目前PLC生產(chǎn)商的一些產(chǎn)品具備先進(jìn)控制模塊,如模糊模塊。但它們的價(jià)格十分昂貴,且封閉性較強(qiáng),不適合我國(guó)中小型企業(yè)的工業(yè)改造。因此開發(fā)較為通用的先進(jìn)算法實(shí)現(xiàn)技術(shù),對(duì)于我國(guó)中小型企業(yè)的工業(yè)改造具有很大的意義,既可降低生產(chǎn)成本,又可提高經(jīng)濟(jì)效益。
模糊控制與預(yù)測(cè)控制是智能控制中技術(shù)較為成熟的分支,因此,研制和開發(fā)出適合工業(yè)環(huán)境的實(shí)時(shí)先進(jìn)控制開發(fā)工具,實(shí)現(xiàn)模糊控制、預(yù)測(cè)控制嵌入PLC,與常規(guī)控制集成運(yùn)行,讓先進(jìn)控制從教授、專家手中走出來,實(shí)現(xiàn)先進(jìn)控制的工程化、實(shí)用化、轉(zhuǎn)化為社會(huì)生產(chǎn)力,對(duì)縮短控制系統(tǒng)開發(fā)周期,加快先進(jìn)控制技術(shù)的廣泛應(yīng)用,提高我國(guó)的工業(yè)自動(dòng)化水平有著重大的意義。
2、論文綜述/研究基礎(chǔ)。
在過程工業(yè)界,從40年代開始,采用PID控制規(guī)律的單輸入單輸出簡(jiǎn)單反饋控制回路己成為過程控制的核心系統(tǒng)。目前,PID控制仍廣泛應(yīng)用,即便是在大量采用DCS控制的最現(xiàn)代的工業(yè)生產(chǎn)過程中,這類回路仍占總回路80%-90%.這是因?yàn)镻ID控制算法是對(duì)人的簡(jiǎn)單而有效操作的總結(jié)和模仿,足以維護(hù)一般過程的平穩(wěn)操作與運(yùn)行,而且這類算法簡(jiǎn)單且應(yīng)用歷史悠久,工業(yè)界比較熟悉且容易接受。
然而,單回路PID控制并不能適用于所有的過程和不同的要求[4}0 50年代開始,逐漸發(fā)展了串級(jí)、比值、前饋、均勻和Smith預(yù)估控制等復(fù)雜控制系統(tǒng),即當(dāng)時(shí)的先進(jìn)控制系統(tǒng),在很大程度上滿足了單變量控制系統(tǒng)的一些特殊的控制要求。在工業(yè)生產(chǎn)過程中,仍有10%-20%的控制問題采用上述控制策略無法奏效,所涉及的被控過程往往具有強(qiáng)藕合性、不確定性、非線性、信息不完全性和大純滯后等特性,并存在著苛刻的約束條件,更重要的是它們大多數(shù)是生產(chǎn)過程的核心部分,直接關(guān)系到產(chǎn)品的質(zhì)量、生產(chǎn)率和成本等有關(guān)指標(biāo)。隨著過程工業(yè)日益走向大型化、連續(xù)化,對(duì)工業(yè)生產(chǎn)過程控制的品質(zhì)提出了更高的要求,控制與經(jīng)濟(jì)效益的矛盾日趨尖銳,迫切需要一類合適的先進(jìn)控制策略。自50年代末發(fā)展起來的以狀態(tài)空間方法為主體的現(xiàn)代控制理論,為過程控制帶來了狀態(tài)反饋、輸出反饋、解疆控制、自適應(yīng)控制等一系列多變量控制系統(tǒng)設(shè)計(jì)方法}s}.上述多變量控制策略有其自身的不足之處,工業(yè)過程的復(fù)雜性使得建立其正確的數(shù)學(xué)模型比較困難。同時(shí),計(jì)算機(jī)技術(shù)的持續(xù)發(fā)展使得計(jì)算機(jī)控制在工業(yè)生產(chǎn)過程中得到了廣泛的應(yīng)用,強(qiáng)大的計(jì)算能力可以用來求解過去認(rèn)為是無法求解的問題,這一切都孕育著過程控制領(lǐng)域的新突破。
整個(gè)80年代,出現(xiàn)了許多約束模型預(yù)測(cè)控制的工程化軟件包。通過在模型識(shí)別、優(yōu)化算法、控制結(jié)構(gòu)分析、參數(shù)整定和有關(guān)穩(wěn)定性和魯棒性研究等一系列工作,基于模型控制的理論體系己基本形成,并成為目前過程控制應(yīng)用最成功,也最有前途的先進(jìn)控制策略。近年來,人工智能技術(shù)有了長(zhǎng)足的長(zhǎng)進(jìn)并在許多科學(xué)與工程領(lǐng)域中取得了較廣泛的應(yīng)用。就過程控制而言,專家系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)是最有潛力的三種工具。專家系統(tǒng)可望在過程故障診斷、監(jiān)督控制、檢測(cè)儀表和控制回路有效性檢驗(yàn)中獲得成功應(yīng)用。神經(jīng)網(wǎng)絡(luò)則可以為復(fù)雜的非線性過程的建模提供有效的方法,進(jìn)而可用于過程軟測(cè)量和控制系統(tǒng)的設(shè)計(jì)上。模糊系統(tǒng)不僅是行之有效的模糊控制理論基礎(chǔ),而且有望成為表達(dá)確定性和不確定性兩類混合并提煉這些經(jīng)驗(yàn)使之成為知識(shí)進(jìn)而改進(jìn)以后的控制,也將是先進(jìn)控制的重要內(nèi)容。
由于先進(jìn)控制受控制算法的復(fù)雜性和計(jì)算機(jī)硬件兩方面因素的影響,早期的先進(jìn)控制算法通常是在PC機(jī)和UNIX機(jī)上實(shí)施的。隨著DCS功能的不斷增強(qiáng),更多的先進(jìn)控制策略可以與基本控制回路一起在DCS控制站上實(shí)現(xiàn)。國(guó)外發(fā)達(dá)國(guó)家?guī)缀跛衅髽I(yè)都采用了DCS系統(tǒng)或其它智能化設(shè)備來實(shí)現(xiàn)對(duì)生產(chǎn)過程的控制,并在此基礎(chǔ)上通過實(shí)施先進(jìn)控制與優(yōu)化較大的提升了系統(tǒng)的性能??梢哉f,高性能控制系統(tǒng),尤其是DCS系統(tǒng)的普及為先進(jìn)控制的應(yīng)用提供了強(qiáng)有力的硬件和軟件平臺(tái)。國(guó)外從70年代末就開始了先進(jìn)控制技術(shù)商品化軟件的開發(fā)及應(yīng)用,并在DCS的基礎(chǔ)上實(shí)現(xiàn)先進(jìn)控制和優(yōu)化。如愛默生公司的DeltaV和Honeywell公司的TDC3000,其先進(jìn)控制軟件RMPGT和RPID等在現(xiàn)場(chǎng)的實(shí)際應(yīng)用都集中在自己的DCS系統(tǒng)上。傳統(tǒng)的PLC由于不支持浮點(diǎn)運(yùn)算以及先進(jìn)控制所必須的精確的時(shí)間,因此,除了模糊邏輯控制外,其他的先進(jìn)控制并沒有在PLG平臺(tái)上實(shí)現(xiàn)。然而,在過程工業(yè)中大多系統(tǒng)使用先進(jìn)靈活的PLC控制系統(tǒng),因此1996年Barnes提出了一種基于PC-PLC通訊的混合方式,通過控制網(wǎng)絡(luò)實(shí)現(xiàn)計(jì)算機(jī)與PLG的通訊,從而實(shí)現(xiàn)先進(jìn)控制。
3、參考文獻(xiàn)。
[1]基希林,曲非非。PLC的發(fā)展[J].微計(jì)算機(jī)信息,2002, 18(9):1-2
[2]陳夕松,張景勝。過程控制發(fā)展綜述與教學(xué)研討[J].南京工程學(xué)報(bào),2002,2(1):49-52
[3]Ohaman Martin, Johansson,Stefan, Arzen, Karl-Erik. Implementation aspects of the PLC standard IEC 1131-3 [J].Control Engineering Practice, 1998,6(8):547-555
[4]范宗海,黃步余,唐衛(wèi)澤。先進(jìn)過程控制在聚丙烯裝置上的應(yīng)用[J].石油化工自動(dòng)化,1999, (6):7-12
[5]王躍宣。先進(jìn)控制策略與軟件實(shí)現(xiàn)及應(yīng)用研究[M].浙江大學(xué)博士論文,2003,(1):8-20
[6]褚健?,F(xiàn)代控制理論基礎(chǔ)[M].杭州:浙江大學(xué)出版社,1995: 9-15
[7]沈平,趙宏,孫優(yōu)賢。過程控制理論基礎(chǔ)[M].杭州:浙江大學(xué)出版社,1991:31-38
[8]張志輝一套常減壓先進(jìn)控制的應(yīng)用與開發(fā)「M].陜西:西安交通大學(xué)碩士論文,2003:20-25
[9]薛美勝,吳剛,孫德敏,王永。工業(yè)過程的先進(jìn)控制[J].化工自動(dòng)化及儀表,2002,29(2):1一9
[10] Kolokotsa D.,Stavrakakis,G S二Genetic algoritluns optimized fuzzy controller for the indoor environmental management in buildings implemented using PLC and local operating networks[J].Engineering Applications of Artificial Intelligence,2002,15(5):417-428
[11]黃麗雯。新型PLC的特點(diǎn)及應(yīng)用[J].新特器件應(yīng)用,1999 , (6) : 27-29
[12]楊昌餛??删幊绦蚩刂破靼l(fā)展趨勢(shì)概述[J],基礎(chǔ)自動(dòng)化,1998 , (2) :1-5
[13]蔡偉,巨永鋒。PLC分布式控制系統(tǒng)[J].西安公路交通大學(xué)學(xué)報(bào),1996,16(3):20-25
[14]胡惠延。用PLC實(shí)現(xiàn)的一種集散型控制系統(tǒng)[J].煤礦自動(dòng)化,2000, (4) : 22-24
[15]陳勇,趙勇飛,徐莉。工控機(jī)與PLC分布式測(cè)控系統(tǒng)的設(shè)計(jì)[J].西安公路交通大學(xué)學(xué)報(bào),1999 , (6) : 41-43
[16]任俊杰,錢琳琳,劉澤祥?;赟IMATIC S7 PLC的現(xiàn)場(chǎng)總線控制系統(tǒng)[J],電工技術(shù)雜志,2004,(9):40-42
[17〕田紅芳,李穎宏。PLC與上位機(jī)的串行通訊[J].微計(jì)算機(jī)信息,2001,17(3):36-37
[18]姚錫凡,彭永紅,陳統(tǒng)堅(jiān),李偉光?;谀:酒募庸み^程智能控制[J].組合機(jī)床與自動(dòng)化加工技術(shù),2000, (2):26-29
[19]汪小澄,方強(qiáng)?;赑LC的模糊控制研究[J].武漢大學(xué)學(xué)報(bào),2002, 35(3): 79-81
[20]肖漢光。模糊控制在懸掛鏈同步控制中的應(yīng)用[M].廣州:華南理工大學(xué)碩士論文,2002: 20-31
[21]成曉明,柳愛美,田淑杭,PLC的爐溫多級(jí)模糊控制的優(yōu)化與實(shí)現(xiàn)[J].自動(dòng)化儀器與儀表,2000,(1) : 20-22
[22]李敬兆,張崇巍。基于PLC直接查表方式實(shí)現(xiàn)的模糊控制器研究[J].電子技術(shù)雜志,2001,(9): 18-21
[23]張璽,劉勇,張小兵。二次開發(fā)Wincc模糊控制算法[J].計(jì)算機(jī)應(yīng)用,2002,(1):69-71
[24]孫東衛(wèi),周立峰。預(yù)測(cè)模糊控制在渠道系統(tǒng)中的應(yīng)用[J].現(xiàn)代電子技術(shù),2002,(4): 82-85
[25]石紅瑞,孫洪濤,馬智宏。二次開發(fā)RSView32嵌入廣義預(yù)測(cè)控制算法[J] .測(cè)控技術(shù),2004 23(9) : 52-54
[26西門子公司。西門子57-300系統(tǒng)參考手冊(cè)[M].北京:西門子自動(dòng)化與驅(qū)動(dòng)集團(tuán),2002: 10-200
[27西門子公司。STEP? V5.1編程手冊(cè)[M].北京:西門子自動(dòng)化與驅(qū)動(dòng)集團(tuán),2002:40-60
[28]王磊,王為民。模糊控制理論及應(yīng)用[M].北京:國(guó)防工業(yè)出版社,1997: 17-29
[291章為國(guó),楊向忠。模糊控制理論與應(yīng)用[M].陜西:西北工業(yè)大學(xué)出版社,1999:15一19
[30]蔡自興。智能控制一基礎(chǔ)與應(yīng)用[M].北京:國(guó)防工業(yè)出版社,1998: 35-37
[31]孫增折。智能控制理論與技術(shù)[M].北京:清華大學(xué)出版社,1997; 55-62
[32]齊蓉,林輝,李玉忍,謝利理,通用模糊控制器在PLC上的實(shí)現(xiàn)[[J].工業(yè)儀表與自動(dòng)化裝置,2003, (4):23-25
[33]聞新,周露,李東江,貝超。MATLAB模糊邏輯工具箱的分析與應(yīng)用〔M].北京:科學(xué)出版社,2001: 44-45
[34]許建平,劉添兵。PLC控制軟件的模塊化設(shè)計(jì)[J].九江職業(yè)技術(shù)學(xué)校學(xué)報(bào),2003,(3):13一14
[35]張運(yùn)波。PLC梯形圖設(shè)計(jì)中的關(guān)鍵技術(shù)[J].長(zhǎng)春工程學(xué)院學(xué)報(bào),2000,1(1):30-32
[36] Richalet J, Rault A. Model Predictive Heuristic Cortrol:Application to Industrial Process[J] .Automatica, 1978,14(1):413-428
[37] Rouhani R,Mehra R K. Model algorithmic control (MAC):Basic Theoretical Properties[J].Automatica,1982,18(4):401-414
[38] Culter C R,Ramaker B L .Dynamic Matrix :ontrol-A Computer Control Algorithm[M].San Francisco: American Automatic Control Council,1980:221-230
[39] Clarhe D W, Mohtadi C.Constrained receding hori:on predictive control[J].IEEProc-D, 1991,13 8(4) : 347-3 54
[40] Garica C E,Morari M. Internal Model Control-A Unifying Review and Some New Results[J] .Process DesDew, 1982,(21):308一32;5
[41]Richalet J .Predictive functional control-Appliation to fast and accurate robots[J].Proc Of 10“ IFAC World Congress, Munich, FRG, 1987, (1): 25I-258
[42]許超,陳治鋼,邵慧鶴。預(yù)測(cè)控制技術(shù)及應(yīng)用發(fā)展綜述[J].自動(dòng)化及儀表,2002,29(3):1一10
[43]舒迪前。預(yù)測(cè)控制系統(tǒng)及其應(yīng)用[M].北京:機(jī)械工業(yè)出版社,1996: 225-228
[44]李紹勇,陳希平,王剛,范宗良,樹龍,蔡穎。換熱機(jī)組供水溫度的廣義預(yù)鋇(控制[J].甘肅科學(xué)學(xué)報(bào),2004, 16(3):95-97
[45]俞樹榮,祁振強(qiáng),商建平。集中供熱系統(tǒng)熱力站二段換熱機(jī)組系統(tǒng)建模及研究[J].甘肅工業(yè)大學(xué)學(xué)報(bào),2002, 28(2):57-61
4、論文提綱。
第一章前言
1. I論文研究的目的和意義
1. 2論文研究的主要內(nèi)容及工作簡(jiǎn)述
1. 3國(guó)內(nèi)外文獻(xiàn)綜述
I. 3. 1先進(jìn)控制的發(fā)展及現(xiàn)狀
1 .3 . 2 PLC在工業(yè)控制領(lǐng)域的應(yīng)用
1.3 . 3 PLC基本控制方法
1. 3. 4 PLC模糊控制器
I. 3. 5 PLC預(yù)測(cè)控制算法
第二章SIMATIC S7-300 PLC及STEP7系統(tǒng)
2.1 SIMATIC 57-300 PLC系統(tǒng)
2.1.1 S7-300 PLC
2.1.2 S7-300 PLC控制系統(tǒng)
2.2 STEP7系統(tǒng)
2.2.1 STEP7功能及結(jié)構(gòu)
2.2.2組態(tài)環(huán)境及編程語言
2.2.3基本控制算法的實(shí)現(xiàn)二
第三章PLC模糊控制器的研究與實(shí)現(xiàn)
3.1模糊控制算法與系統(tǒng)
3.1.1模糊控制理論
3.1.2模糊控制系統(tǒng)
3.1.2.1模糊控制器的組成
3.1.2.2模糊控制算法
3.1.2.3模糊控制器的結(jié)構(gòu)
3.2 PLC模糊控制器設(shè)計(jì)
3.2.1 PLC模糊控制器結(jié)構(gòu)
3.2.2模糊控制器離線部分設(shè)計(jì)
3.2.2.1模糊控制器離線部分算法設(shè)計(jì)內(nèi)容
3.2.2.2基于MATLAB模糊邏輯工具箱的設(shè)計(jì)
3.2.3 STEP7實(shí)現(xiàn)模糊控制器設(shè)計(jì)
3.2.3.1模糊算法流程圖
3.2.3.2模糊算法的功能塊
3.2.4 PLC模糊控制器的仿真驗(yàn)證
3.2.4.1仿真系統(tǒng)的建立
3.2.4.2仿真結(jié)果驗(yàn)證
第四章PLC預(yù)測(cè)控制器的研究與實(shí)現(xiàn)
4.1廣義預(yù)測(cè)控制算法
4.1.1單值廣義預(yù)測(cè)控制
4.1.2單值廣義預(yù)測(cè)控制律計(jì)算
4.2 PLC單值廣義預(yù)測(cè)控制器的設(shè)計(jì)與實(shí)現(xiàn)
4.2.1單值廣義預(yù)測(cè)算法的實(shí)現(xiàn)步驟
4.2.2單值廣義預(yù)測(cè)控制器的設(shè)計(jì)
4.3單值廣義預(yù)測(cè)控制器的仿真驗(yàn)證
4.3.1仿真模型的建立
4.3.2仿真結(jié)果分析比較
第五章基于PLC的空調(diào)性能檢測(cè)實(shí)驗(yàn)室計(jì)算機(jī)控制系統(tǒng)
5.1工藝流程與控制方案
5.1.1工藝過程簡(jiǎn)述
5.1.2控制要求
5.1.3控制方案設(shè)計(jì)
5.2控制系統(tǒng)結(jié)構(gòu)及配置
5.3監(jiān)控系統(tǒng)組態(tài)設(shè)計(jì)
5.4 57-300 PLC控制系統(tǒng)設(shè)計(jì)
5.4.1硬件系統(tǒng)組態(tài)
5.4.2 PLC控制程序設(shè)計(jì)
5、論文的理論依據(jù)、研究方法、研究?jī)?nèi)容。
目前,PLC的應(yīng)用十分廣泛,涉及到過程控制的方方面面。但在控制策略上,它依然沿用傳統(tǒng)的PID控制。許多PLC開發(fā)商把PID算法做成模塊,固化在PLC中。
但從長(zhǎng)遠(yuǎn)角度看,對(duì)于一些復(fù)雜的控制系統(tǒng),PID很難滿足控制要求,這就需要把先進(jìn)的控制算法嵌入到PLC的設(shè)計(jì)中。本課題以此為主要研究?jī)?nèi)容。
工業(yè)過程的復(fù)雜性以及對(duì)于控制日益提高的要求,各種先進(jìn)控制算法越來越多地深入到控制領(lǐng)域,但由于PLC的編程目前還限于低級(jí)語言(如梯形圖),所以,給在PLC上實(shí)現(xiàn)先進(jìn)控制算法帶來了困難。SIEMENS在PLC的編程系統(tǒng)STEP7中提供了比較豐富的功能模塊,因此,本課題首先是通過對(duì)控制算法的研究與改進(jìn)和對(duì)STEP?功能的開發(fā),使先進(jìn)控制策略在S7-300 PLC上得以較好的實(shí)現(xiàn)。本論文重點(diǎn)研究基于PLC的模糊控制器的實(shí)現(xiàn),這一領(lǐng)域目前研究的比較多,因此在總結(jié)前人研究方法的基礎(chǔ)上,設(shè)計(jì)出一個(gè)基于PLC的通用的模糊控制器,并使其固化在STEP7軟件中。此外,對(duì)于PLC預(yù)測(cè)控制雖已有一些研究,但都僅限于理論方面,尚未給出PLC上實(shí)現(xiàn)的實(shí)例。本課題也想在此方面有所創(chuàng)新,開發(fā)出基于PLC的預(yù)測(cè)控制實(shí)現(xiàn)技術(shù)。
本論文第一章簡(jiǎn)要介紹了課題的來源背景、主要內(nèi)容、目的意義以及國(guó)外相關(guān)工作的研究狀況等。
第二章介紹了SIMATIC S7-300 PLC的主要特點(diǎn),系統(tǒng)組成及控制系統(tǒng)的配置與實(shí)現(xiàn),同時(shí)介紹了STEP?軟件的功能及結(jié)構(gòu),組態(tài)環(huán)境,以及一些基本算法的實(shí)現(xiàn)方法。
第三章重點(diǎn)闡述了模糊控制的基本理論、模糊控制算法、模糊控制器的結(jié)構(gòu)及設(shè)計(jì)方法。提出了基于PLC的模糊控制器的實(shí)現(xiàn)方法,即采用MATLAB離線設(shè)計(jì),PLC在線查詢的方式。給出了STEP?實(shí)現(xiàn)模糊算法的流程圖及部分程序。
最后建立一個(gè)過程仿真系統(tǒng),對(duì)PLC模糊控制器進(jìn)行仿真驗(yàn)證。
第四章介紹了預(yù)測(cè)控制的基本理論,重點(diǎn)闡述了廣義預(yù)測(cè)控制算法,并結(jié)合PLC的特點(diǎn),提出了基于PLC的單值廣義預(yù)測(cè)控制器的設(shè)計(jì)方法,給出了STEP7實(shí)現(xiàn)單值廣義預(yù)測(cè)算法的步驟與流程圖。最后建立一個(gè)二階大滯后的對(duì)象模型,構(gòu)成仿真控制系統(tǒng),與PID控制進(jìn)行比較分析,驗(yàn)證PLC預(yù)測(cè)控制器的有效性。
第五章是作者在研究生期間參加的某空調(diào)性能檢測(cè)實(shí)驗(yàn)室基于PLC實(shí)現(xiàn)的計(jì)算機(jī)控制系統(tǒng),從系統(tǒng)控制方案的設(shè)計(jì)、系統(tǒng)配置和硬件構(gòu)成、監(jiān)控系統(tǒng)的設(shè)計(jì)等幾個(gè)方面分別進(jìn)行了詳細(xì)的論述。
第六章結(jié)論與體會(huì),總結(jié)自己在課題研究和項(xiàng)目研究的過程中的一些體會(huì)和心得,分析了工作中的不足,提出了以后工作的注意事項(xiàng),改進(jìn)方法。
6、研究條件和可能存在的問題。
I.盡快建立樣板工程,把己經(jīng)取得的研究成果應(yīng)用到工程實(shí)際過程中,通過實(shí)踐檢驗(yàn),發(fā)現(xiàn)問題以便不斷改進(jìn)和提高。
2. PLC預(yù)測(cè)控制器目前只應(yīng)用了簡(jiǎn)單的單值廣義預(yù)測(cè)算法,有其自身的局限性,如控制精度不高。目前,應(yīng)用較為成熟的是MPC算法,因此可以把PLC-MPC控制器作為今后研究的一個(gè)重點(diǎn)。
3.對(duì)于PLC模糊控制器的改進(jìn),主要是在算法上,為了提高控制效果,單純的模糊算法是不足的,改進(jìn)型模糊算法如模糊PID可以改善控制器性能,因此可以開發(fā)PLC模糊PID控制器。
4.進(jìn)一步挖掘STEP?軟件的功能,開發(fā)過程對(duì)象仿真模塊,給出基于PLC建立仿真系統(tǒng)的方法和步驟,為工業(yè)實(shí)阮應(yīng)用縮短調(diào)試時(shí)間,保證系統(tǒng)的可靠性。
7、預(yù)期的結(jié)果。
1.通過對(duì)先進(jìn)控制各種算法的分析比較,對(duì)先進(jìn)控制理論有了進(jìn)一步認(rèn)識(shí),從中學(xué)到了不少解決問題的方法,理解了傳統(tǒng)控制方法與先進(jìn)控制方法的區(qū)別。
2.基于PLC實(shí)現(xiàn)先進(jìn)控制與基于PC實(shí)現(xiàn)先進(jìn)控制相比較,最重要的一個(gè)優(yōu)勢(shì)在于PLC實(shí)現(xiàn)先進(jìn)控制不需要通訊協(xié)議,而基于PC實(shí)現(xiàn)先進(jìn)控制,在系統(tǒng)設(shè)計(jì)和運(yùn)行之前必須正確的配置PC與PLC之間的通訊協(xié)議,因此可以降低系統(tǒng)得開發(fā)時(shí)間。其次,在系統(tǒng)運(yùn)行時(shí),在下位機(jī)上完成先進(jìn)控制算法比在上位機(jī)完成更具有實(shí)時(shí)性。在可靠性方面,由于基于PC實(shí)現(xiàn)先進(jìn)控制,現(xiàn)場(chǎng)的數(shù)據(jù)和信號(hào)要經(jīng)過通訊傳給上位機(jī),這難免會(huì)出現(xiàn)數(shù)據(jù)的丟失和信號(hào)的誤差,從而使系統(tǒng)的控制精度下降,而基于PLC實(shí)現(xiàn)先進(jìn)控制避免了這類現(xiàn)象的發(fā)生。
3.西門子57-300 PLC功能強(qiáng)、處理速度快、模塊化結(jié)構(gòu)易于擴(kuò)展,被廣泛的應(yīng)用于自動(dòng)化控制系統(tǒng)中;其相應(yīng)開發(fā)軟件STEP7采用模塊化編程方法,提供多種編程語言,豐富的功能模塊,能實(shí)現(xiàn)較為復(fù)雜的功能和算法。因此二者結(jié)合 起來,為先進(jìn)控制的設(shè)計(jì)與開發(fā)提供了很好的軟硬件平臺(tái)。
4. PLC模糊控制器采用MTALAB離線設(shè)計(jì)和PLC在線查表的方法,把復(fù)雜的模糊推理過程交給計(jì)算機(jī)離線完成,得到模糊控制量查詢表供PLC在線調(diào)用。此方法將復(fù)雜瑣碎的模糊控制系統(tǒng)的開發(fā)工作變得簡(jiǎn)單明了,大大縮短了開發(fā)周期,同時(shí)也提高的PLC控制的實(shí)時(shí)性,是目前被廣泛采用且效果良好的PLC模糊控制器的設(shè)計(jì)方法。
5. PLC單值廣義預(yù)測(cè)控制器采用簡(jiǎn)單實(shí)用的單值廣義預(yù)測(cè)控制算法,它需要調(diào)整參數(shù)少、在線計(jì)算時(shí)間短,可適用于PLC類控制采樣周期較短的快速動(dòng)態(tài)過程系統(tǒng)。仿真結(jié)果表明:PLC單值廣義預(yù)測(cè)控制器保持了預(yù)測(cè)控制的性能,控制效果較PID控制有很大改善,同時(shí)具有計(jì)算量小,響應(yīng)迅速的優(yōu)點(diǎn)。
8、論文寫作進(jìn)度安排。
20XX.05-20XX.06 開論文會(huì)議
20XX.06-20XX.07 確定論文題目
20XX.07-20XX.02 提交開題報(bào)告初稿
20XX.02-20XX.06 提交論文初稿