Née de parents musiciens (son père, Burrill Phillips, est compositeur, pianiste et pédagogue), elle est adoptée et élevée par ses grands-parents maternels qui ambitionnent pour elle une carrière au cinéma, à l'instar de
Shirley Temple. Elle apparaît dans trente-huit films américains entre 1939 (à huit ans) et 1951, année où elle se marie avec Robert Basart (décédé en 1993), s'installe avec lui à Berkeley (Californie), et renonce définitivement à cette première carrière qui l'intéressait peu, au profit de la musicologie. Ainsi, elle étudie l'histoire de la musique, d'abord à l'Université de San Francisco durant trois ans, puis à Berkeley, à l'Université de Californie où, après avoir obtenu son diplôme, elle travaillera comme bibliothécaire (section Musique) durant une vingtaine d'années. Dans l'intervalle, elle fonde également une maison de publication, "Fallen Leaf Press".
Durant sa brève carrière cinématographique (elle participe également à une série télévisée de 1950 à 1954), elle est souvent créditée "Ann Todd", d'où l'adjonction du "E." dans les années 1940, afin d'éviter la confusion (régulièrement faite) avec l'actrice britannique Ann Todd.