Rođen je 11. svibnja 1949. godine u Beogradu. Njegovi roditelji su bili partizani, majka je otišla u rat kada joj je bilo samo šesnaest godina, a otac s devetnaest. Pored Voje imali su i starijeg sina, koji je rođen u Karlovcu. Kada je nastupila rezolucija Informbiroa, Vojin otac je smatrao da je Tito izdao interese radničke klase, i obitelj Brajović tada na neki način postaje državni neprijatelj. Izbačeni su iz stana i preselili su se u Valjevo. Voja je tada još bio beba.

Osnovnu školu i Gimnaziju završava u Valjevu, gdje će se početi baviti glumom. Kao dječak bio je nestašan i često boležljiv. Obitelj je živjela veoma skromno, ali se Vojina majka uvijek trudila da svi izgledaju pristojno.

Svoje prve glumačke korake započinje u amaterskom društvu “Abrašević”. U to vrijeme, mladi Voja želio se baviti likovnom umjetnošću, ali mu se gluma učinila praktičnijim zanimanjem. Ujedno, glumačka grupa iz  “Abraševića” doživjela je veliki uspjeh na natjecanju jugoslavenskih amatera održanom na Hvaru. Voja dobija komplimente od žirija, inače veoma utjecajnih ljudi iz svijeta glume, što ga je dodatno motiviralo da odabere svoje sadašnje zanimanje.