Jolivet nació en 1905 en el seno de una familia parisina acomodada que le proporcionó sólidos cimientos en arte, música y teatro. Su padre, pintor, y su madre, pianista, empezaron la formación musical de André a una edad temprana, y a los 13 años él había escrito tanto el texto como la música para una canción titulada Romance bárbaro. Empezó a estudiar chelo con Luis Feuillard un año después, y a los 15 construyó un teatro de marionetas y escribió un ballet para él, creando también los diseños escénicos y el vestuario. Se convirtió enmiembro del coro de Notre Dame de Clignancourt en París y tomó lecciones de armonía y de órgano del maître de chapelle de la iglesia, el abad Aimé Théodas. Los padres de Jolivet le desanimaron en su empeño de comenzar una carrera como músico, sin embargo, estudió la carrera de magisterio y enseñó en diversas escuelas mientras continuaba con sus estudios de composición de 1928 a 1933 con el compositor francés Paul Le Flem, un estudiante de D’Indy y Roussel en la Schola Cantorum. En 1930, Le Flem presentó a Jolivet a su amigo Edgar Varese, quien le inició en sus técnicas iconoclastas de orquestación y organización del sonido durante los tres años siguientes.