Zbog teških uvjeta življenja i loše cestovne povezanosti stanovnici Dragovije napuštali su mjesto i selili u nizinske krajeve što je najviše bilo pedesetih i šezdesetih godina prošlog stoljeća. 1974 godine u mjestu je bilo samo 8 osoba, uglavnom starijih.