本論文的主要目的是研究以視覺為基礎，建構出複雜背景下物體追蹤控制系統。其中利用視覺來感測出目標物在空間中的位置，並控制馬達來追蹤目標物。整個系統主要分為影像處理模組、影像感測器和追蹤控制器部份，其中，影像處理模組部份主要是以可程式邏輯閘陣列(field programmable gate array, FPGA)來完成；影像感測器則是採用CMOS黑白影像感測器；而追蹤控制器部份是以數位訊號處理器為控制核心。在移動物體偵測的方法上，本論文採用了連通物件標記法(connected component labeling)及面積濾波(size filter)，而這兩種方法應用上容易因影像雜訊太多而產生誤差，為了解決這個問題，本論文嘗試以中值濾波器(median filter)與形態學濾波器(morphological filter)來抑制影像雜訊之影響。經過分析及驗證後，本論文證實了演算法的可行性。