Alfred Lévy naît à Lunéville le 14 décembre 1840.
En
1860
il entre au Séminaire israélite de France à Paris, d'où il sort diplômé en 1866.
Il est nommé rabbin de Dijon pendant deux ans, puis de Lunéville pendant onze ans, avant de devenir grand rabbin de Lyon en 1880.
En 1907, succède à Zadoc Kahn à la tête du Consistoire central (il est donc grand rabbin de France). Cette élection l'a opposé à un autre candidat, Israël Lévi, qui le seconda quelques années plus tard.
Homme de culture, Alfred Lévy écrit plusieurs ouvrages à caractère historique. On peut citer notamment :
- Le Deuil et les cérémonies funèbres chez les Israélites (1872)
- Les doctrines d’Israël : sermons (1896)
Au début la première guerre mondiale il établit une liste des aumôniers militaires. Il édite chaque année de la guerre la Tefila du soldat, un petit rituel de prières "à l'usage des militaires israélites en campagne".
Pendant les deux dernières années de la guerre sa santé se détériore et Israël Lévi, qui avait été nommé grand rabbin adjoint en 1914, exercera de fait les fonctions de grand rabbin de France pendant cette période.
Alfred Lévy décède à Pau le 23 juillet 1919, et il est inhumé au cimetière du Montparnasse à Paris.
Il avait été nommé chevalier de la Légion d'honneur en 1888.
Alfred Lévy était le grand-père de Robert Gamzon, fondateur des Éclaireurs Israélites de France.