Gimusi meniškų vengrų ir žydų tėvų gimtajame Budapešte (jos motina buvo tapytoja), mažybinė (4'11") pramogų atlikėja Elisa Gallay muzikinę karjerą pradėjo kaip pianistė būdama septynerių. Jos talentai buvo atrasti anksti, o sulaukusi devynerių ji buvo priimta į Liszt Ferencz (Franz Liszt) muzikos akademiją, kurioje studijavo 1930–1943 m. Ji taip pat studijavo šokį ir fortepijoną Karališkosios operos baleto studijoje ir Vengrijos karališkojoje muzikos akademijoje.