Samuelis gimė Hamiltone, Viktorijoje, Maree ir Clifford Samuel sūnus. Jis užaugo Adelaidėje, Pietų Australijoje, o 2001 m. baigė Rostrevor koledžą. Jis turi jaunesnįjį brolį Benediktą, rašytoją, prodiuserį ir aktorių, taip pat vyresnę seserį Bridžitą, scenos vadybininkę. Nepaisant vidurinės mokyklos baigimo Rostrevor koledže, Samuelis baigė paskutinius kurso dramą „Christian Brothers College“, glo... Daugiau bojamas Amandos Portus, kur atliko Tomo Snout (siena) vaidmenį Rostrevoro koledžo pastatyme Šekspyro „Vasarvidžio nakties sapnas“ ir vaidina „Belvilį“ CBC spektaklyje Aphra Behn „The Rover“ („The Banished Cavaliers“). Vėliau Xavier Samuel 2005 m. lankė Flinderso universiteto dramos centrą, kur studijavo pas garsią vaidybos mokytoją profesorę Julie Holledge. Jis vaidino Hamletą absolventų pastatyme.