本論文主要研究目的在於建構多相機視覺追蹤系統，利用兩顆相機模擬人類雙眼，以移動目標物的顏色資訊進行視覺追蹤。整個系統結構可分為全景搖攝機構，影像處理模組以及馬達控制模組，藉由多相機影像處理演算法得知物體於空間中的位置，並以數位訊號處理器實現馬達控制器，帶動全景搖攝機構追隨空間中的移動目標物，使目標物維持在相機的視野中。由於利用目標物的色彩資訊作為目標物判斷的依據，使該視覺追蹤系統在背景的選擇上更具彈性，能夠在更為複雜的背景中擷取到目標物。在本論文中，將以質點拋體作為追蹤的目標，並引進卡門濾波器對拋體軌跡進行軌跡預測，使追蹤過程更趨流暢。此外，也利用質點拋體運動學對拋體進行落點預測。本論文藉由模擬與實作驗證了演算法的可行性，完成以目標物色彩資訊為基礎之視覺伺服追蹤系統。