Fils de El Hadj Malick Sy, l'un des pionniers du tidjanisme au Sénégal, et de Sokhna Safiyatou Niang, Abdou Aziz Sy est né en 1904 à Tivaouane.

Il accéda au titre de khalife de la Tidjanya au Sénégal le 13 mai 1957, après la mort de ses frères aînés Seydi Ababacar Sy et El Hadj Mouhamadou Mansour Sy, eux-mêmes khalifes, et tous deux décédés quasi simultanément.

Durant son khalifat, il fit de nombreux voyages, notamment au Maroc, en Arabie saoudite, aux États-Unis, en France, en Mauritanie, suite aux nombreuses sollicitations qu'il reçut, en rapport avec la haute maîtrise qu'il avait du savoir islamique (droit islamique, sciences, grammaire, théologie, relations humaines, lettres). Son discours à la Mecque en 1965, au congrès islamique, où il fut remarqué, reste encore dans la mémoire du tidjanisme en Afrique.

Au Sénégal, il œuvra beaucoup dans le domaine agricole et reçut en 1965 une médaille dans ce domaine. C'était aussi un grand commerçant.

Doué en chant et en poésie, il mena plusieurs foix les chœurs religieux lors de la nuit du Maouloud, fête de la naissance de Mahomet. Il lutta aussi pour une meilleure cohésion entre les différentes confréries musulmanes du pays.

Il meurt le 14 septembre 1997 et Mansour Sy lui succède dans ses fonctions de khalife.