Design of an smart camera and its implementation based on multi-DSP

（1長(zhǎng)春光學(xué)精密機(jī)械與物理研究所 2 中國(guó)科學(xué)院研究生院3 吉林大學(xué)）

肖傳偉  周懷得  李志慧  郝志航  

XIAO Chuan-wei ZHOU Huai-de li Zhi-hui HAO zhi-hang

摘要：提出了并實(shí)現(xiàn)了基于TI的TMS320VC5402多DSP智能相機(jī)，該相機(jī)采用模塊化，結(jié)構(gòu)化的設(shè)計(jì)。利用FPGA配置靈活的特性實(shí)現(xiàn)了模塊的可擴(kuò)展性，而且可以實(shí)現(xiàn)相機(jī)拓?fù)浣Y(jié)構(gòu)的可重構(gòu)，并實(shí)現(xiàn)了與硬件特性相結(jié)合的算法。該相機(jī)的設(shè)計(jì)方案有廣泛的適應(yīng)性，對(duì)軟件的結(jié)構(gòu)和算法稍作修改即可應(yīng)用于不同的工作場(chǎng)合。

關(guān)鍵詞：智能相機(jī) 數(shù)字信號(hào)處理器（DSP）FPGA 模塊化

中圖分類(lèi)號(hào)：TP391    文獻(xiàn)標(biāo)識(shí)碼：B

Abstract：A smart camera was presented based on TI TMS320VC5402 with multi-DSP processors．A modular and reconfigurable architecture was adopted in this system．FPGA was used to implement modules expanding easier. It analyses the system structure and working principle of all modules in this multi—DSP system .The system combines merit between FPGA and DSP, such as，rapidity、agility and currency．It is important for the system that it is easy to modularize，expand and then it can improve the parallel efficiency of algorithm．Experimentation shows that exploitive period of the system is short，maintenance convenient.

Key words： multi-DSP; smart camera; FPGA; modularize system expand

智能相機(jī)作為一種低能耗，低成本，高性能的嵌入式系統(tǒng)，廣泛應(yīng)用于工業(yè)控制，智能交通，安全門(mén)禁等各個(gè)領(lǐng)域，是各系統(tǒng)中監(jiān)控部分的核心器件。但隨著這些系統(tǒng)所要處理的圖像數(shù)據(jù)量越來(lái)越大，采用的算法越來(lái)越復(fù)雜，這對(duì)于采用單處理器的智能相機(jī)提出了一個(gè)巨大的挑戰(zhàn)。目前解決該問(wèn)題一般采用兩種方法：采用性能更好的處理器，但在提高性能的同時(shí)也提高了成本；采用多處理器組成互聯(lián)系統(tǒng)，能夠在增加整體數(shù)據(jù)處理能力的同時(shí)有效的控制成本 。本文提出了一種采用多DSP并行處理，具有模塊化特征的智能相機(jī)。該相機(jī)的結(jié)構(gòu)實(shí)現(xiàn)靈活，可以很容易的重構(gòu)和擴(kuò)展。這樣一方面可以通過(guò)軟件編程來(lái)適應(yīng)處理問(wèn)題的算法的升級(jí)和改進(jìn)；另一方面可以通過(guò)簡(jiǎn)單的硬件擴(kuò)展來(lái)適應(yīng)處理數(shù)據(jù)的大量增加 。

1：硬件系統(tǒng)的設(shè)計(jì)

該多DSP智能相機(jī)圖像獲取部分采用的是Philips公司生產(chǎn)的LM9617COMS圖像傳感器，該圖像傳感器是一款高性能，低能耗的1/3’’ 的灰度圖像傳感器，能夠獲取靜態(tài)和動(dòng)態(tài)圖像，支持12位灰度圖像，圖像分辨率為648×488(pixels)，實(shí)驗(yàn)中我們采用了8位灰度圖像，每幅需要占用的存儲(chǔ)器空間是300K（bytes）。圖像處理采用的是TI公司生產(chǎn)的數(shù)字信號(hào)處理器（Digital Signal Processor，DSP）TMS320VC5402,該DSP采用改進(jìn)的哈佛結(jié)構(gòu)，專(zhuān)門(mén)硬件邏輯的CPU，片內(nèi)存儲(chǔ)器，片內(nèi)外設(shè)和專(zhuān)用的指令集，模塊化的結(jié)構(gòu)設(shè)計(jì)，高性能低功耗的IC工藝，并且成本低廉，峰值處理能力達(dá)到100MIPS。圖像存儲(chǔ)在主控制模塊和擴(kuò)展模塊中都采用了ISSI公司生產(chǎn)的SRAM，其中主控制模塊采用的是IS61LV10248，其容量為1M（bytes）。而在擴(kuò)展模塊中采用的是ISWV20488，其容量為2M（bytes）。主控制模塊中的地址發(fā)生與控制采用的是Lattice公司生產(chǎn)的CPLD ispMach4256V.，該CPLD提供了128個(gè)I/O,可以滿(mǎn)足地址邏輯和控制的要求。而在擴(kuò)展模塊中為了擴(kuò)展的方便采用了Xilinx生產(chǎn)的SpartanII系列的FPGA，該FPGA提供了284個(gè)I/O和14個(gè)RAM塊，其邏輯結(jié)構(gòu)能夠高效實(shí)現(xiàn)SRAM訪問(wèn)控制，并能滿(mǎn)足顯示和控制的要求。主控制模塊中之所以需要地址發(fā)生與控制邏輯是因?yàn)镈SP TMS320VC5402的外部數(shù)據(jù)和I/O空間最大只能達(dá)到64K，要訪問(wèn)更大的地址空間范圍只能通過(guò)CPLD或FPGA來(lái)產(chǎn)生高位地址，這樣DSP才可以訪問(wèn)到超過(guò)64K地址范圍外的數(shù)據(jù)。一款高性能的多DSP智能相機(jī)不僅僅要求有高速的運(yùn)算能力，還應(yīng)當(dāng)有較好的數(shù)據(jù)交換能力和擴(kuò)展性。在本設(shè)計(jì)中并沒(méi)有采用共享總線的結(jié)構(gòu)，因?yàn)樵诠蚕砜偩�系統(tǒng)中各個(gè)處理模塊要分時(shí)使用總線，這樣會(huì)影響系統(tǒng)的數(shù)據(jù)交換能力；而是將數(shù)據(jù)線直接接到DSP與SRAM上，這樣可以加快數(shù)據(jù)的訪問(wèn)速度。

圖2 監(jiān)控系統(tǒng)的層次框圖

算法實(shí)現(xiàn)上為了提高處理速度，將算法的設(shè)計(jì)與硬件的結(jié)構(gòu)結(jié)合在一起，大大提高了算法的執(zhí)行速度與效率。其中擴(kuò)展模塊中硬件實(shí)現(xiàn)采用了大容量的SRAM來(lái)提高算法對(duì)存儲(chǔ)空間的要求，并將SRAM的存儲(chǔ)空間映射到兩塊DSP的程序空間，通過(guò)對(duì)FPGA的配置使得DSP可以讀寫(xiě)SRAM中的任意地址的數(shù)據(jù) 。存儲(chǔ)器映射實(shí)現(xiàn)如圖3所示：

外部存儲(chǔ)空間的內(nèi)容只能映射到TMS320VC5402的內(nèi)部DRAM地址范圍在0x4000－0x8000的存儲(chǔ)空間，這是DSP器件的特性決定的。通過(guò)該映射的實(shí)現(xiàn)我們的算法設(shè)計(jì)作了如下改進(jìn)：當(dāng)圖像經(jīng)過(guò)預(yù)處理存儲(chǔ)到SRAM中進(jìn)行進(jìn)一步處理時(shí)，可以首先確定有效圖像數(shù)據(jù)在SRAM中的地址范圍，當(dāng)進(jìn)一步對(duì)圖像處理時(shí)就不需要讀入整幅圖像，而只需讀入要處理的圖像部分，這樣可以大大提高處理速度，也避免了無(wú)用的圖像數(shù)據(jù)干擾，圖像處理的精度也提高了。

圖2 監(jiān)控系統(tǒng)的層次框圖

算法實(shí)現(xiàn)上為了提高處理速度，將算法的設(shè)計(jì)與硬件的結(jié)構(gòu)結(jié)合在一起，大大提高了算法的執(zhí)行速度與效率。其中擴(kuò)展模塊中硬件實(shí)現(xiàn)采用了大容量的SRAM來(lái)提高算法對(duì)存儲(chǔ)空間的要求，并將SRAM的存儲(chǔ)空間映射到兩塊DSP的程序空間，通過(guò)對(duì)FPGA的配置使得DSP可以讀寫(xiě)SRAM中的任意地址的數(shù)據(jù) 。存儲(chǔ)器映射實(shí)現(xiàn)如圖3所示：

外部存儲(chǔ)空間的內(nèi)容只能映射到TMS320VC5402的內(nèi)部DRAM地址范圍在0x4000－0x8000的存儲(chǔ)空間，這是DSP器件的特性決定的。通過(guò)該映射的實(shí)現(xiàn)我們的算法設(shè)計(jì)作了如下改進(jìn)：當(dāng)圖像經(jīng)過(guò)預(yù)處理存儲(chǔ)到SRAM中進(jìn)行進(jìn)一步處理時(shí)，可以首先確定有效圖像數(shù)據(jù)在SRAM中的地址范圍，當(dāng)進(jìn)一步對(duì)圖像處理時(shí)就不需要讀入整幅圖像，而只需讀入要處理的圖像部分，這樣可以大大提高處理速度，也避免了無(wú)用的圖像數(shù)據(jù)干擾，圖像處理的精度也提高了。

圖3 存儲(chǔ)器映射的實(shí)現(xiàn)

本文作者創(chuàng)新點(diǎn)在于以動(dòng)態(tài)可重構(gòu)、模塊化、易于擴(kuò)展的思想構(gòu)造了多DSP智能相機(jī)．并詳細(xì)地分析了主控制模塊、擴(kuò)展模塊和顯示控制模塊的體系結(jié)構(gòu)和工作原理并完成了可移植的監(jiān)控程序的設(shè)計(jì)。如果由于算法的復(fù)雜性增加,現(xiàn)有多DSP系統(tǒng)不能滿(mǎn)足實(shí)時(shí)計(jì)算要求時(shí)，本系統(tǒng)還可根據(jù)算法對(duì)計(jì)算能力的需要方便地?cái)U(kuò)展，通過(guò)增加DSP數(shù)目的方法來(lái)達(dá)到提高系統(tǒng)處理能力。今后應(yīng)進(jìn)一步研究系統(tǒng)的容錯(cuò)能力，在一片DSP損壞時(shí)如何能夠?qū)⒃揇SP處理的任務(wù)無(wú)縫的遷移到另一片DSP上并能順利處理完任務(wù)。當(dāng)對(duì)擴(kuò)展模塊進(jìn)行擴(kuò)展時(shí)，若采用4片或更多片DSP時(shí)如何設(shè)計(jì)更有效的并行結(jié)構(gòu)與分配算法，使得圖像數(shù)據(jù)在各DSP之間分配處理達(dá)到效率最佳。

參考文獻(xiàn)：

[1]Huang Kai，Xu Zhiwei．Scalable parallel computers for real-time signal processing． IEEE Sign al Processing Magazine，1996，13(4)：50～66

[2]呂宇 吳嗣亮.DSP+FPGA實(shí)時(shí)信號(hào)處理系統(tǒng)中FPGA設(shè)計(jì)的關(guān)鍵問(wèn)題.微計(jì)算機(jī)信息 2005，21(5)：80～81

[3]王岳環(huán)，汪國(guó)有，張?zhí)煨颍�一種模塊化多DSP實(shí)時(shí)圖像處理系統(tǒng)．華中科技大學(xué)學(xué)報(bào)，2000，28(3)：63～64

[4]曹治國(guó)，王岳環(huán)，左崢嶸等．多總線多DSP實(shí)時(shí)圖像處理操作系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)．計(jì)算機(jī)學(xué)報(bào)，2002，25(7)：708～715

[5]邵貝貝 等 嵌入式實(shí)時(shí)操作系統(tǒng)uc/OSII 北京：北京航空航天大學(xué)出版社 2003

[6]http://ecos.sourceware.org/

[7]黃鎧．高級(jí)計(jì)算機(jī)體系結(jié)構(gòu)(英文版) 北京：機(jī)械工業(yè)出版杜．1999

作者簡(jiǎn)介：肖傳偉（1971－ ），男，漢族，吉林長(zhǎng)春人，長(zhǎng)春光學(xué)精密機(jī)械與物理研究所博士研究生，主要研究方向?yàn)闄C(jī)器視覺(jué)、模式識(shí)別。

Author Briefing:Xiao chuan-wei, Male, Born in 1971, Han, Major: Optical engineering; Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences; Research field: Machine Vision and pattern recognition

(130033 吉林長(zhǎng)春中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所)

(No.16 Dong Nanhu Road, Changchun, Jilin, P.R.China Postcode:130033)

通訊地址：吉林省長(zhǎng)春市東南湖大路16號(hào) 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所空間光學(xué)部0715室      郵編：130033