L¿incremento della potenza di calcolo e di visualizzazione ha spinto la realizzazione di sistemi sempre più sofisticati per augmented reality. In questi sistemi l¿azione di un attore ripresa nel mondo reale, viene visualizzata su monitor sovra impressa ad una scena virtuale 3D
Questi sistemi hanno un particolare interesse nel campo della chirurgia per il training e la pianificazione di interventi chirurgici. Come affermato da un noto endoscopista americano già una decina di anni fa: "Un migliaio di operazioni sono richieste per diventare veramente abili nell¿esecuzione di un¿endoscopia, chi vorrebbe essere tra i primi cento pazienti?¿
I sistemi di questo genere sono architetture a 2 livelli. Il primo livello si occupa di catturare in tempo reale il movimento del chirurgo; il secondo livello si occupa della visualizzazione tridimensionale di un modello degli strumenti maneggiati dal chirurgo sovrapposti alla scena operatoria virtuale. I sistemi commerciali più accurati sono basati sulla tecnologia a marker passivi (e.g. sistema Aurora, Northern Digital): sugli strumenti vengono posto dei marcatori ed alcune video-camere riprendono la scena. Attraverso un¿elaborazione adeguata, la posizione 3D dei marcatori viene ricostruita, e da questa la posizione dello strumento.
I sistemi commerciali soffrono di due problemi; il primo è l¿ingombro: per potere misurare tutti i gradi di libertà degli strumenti, compresa la rotazione assiale, occorre creare una struttura relativamente ingombrante. Il secondo problema è legato alla sovrapposizione tra marcatori sulla linea di vista delle camere che fa sì che l¿accuratezza nel calcolo della posizione dei marcatori diminuisca. Scopo di questo progetto è superare queste due limitazioni e creare un sistema di motion capture adatto alla chirurgia virtuale di dimensioni contenute, con un¿elevata accuratezza.