Após concluir o curso secundário nos seminários de Santarém e Almada, formou-se em Filosofia e Teologia no Seminário Maior de Cristo-Rei, dos Olivais, e licenciou-se em Teologia Dogmática, em 1968, pela Pontifícia Universidade Gregoriana de Roma.
A ordenação sacerdotal data de 1961, tendo sido nomeado bispo auxiliar de Lisboa em maio de 1978.
Em 1997, ao ser nomeado arcebispo coadjutor do patriarca de Lisboa, adquiriu o direito de sucessão, o que viria a acontecer um ano depois, após o falecimento do cardeal-patriarca António Ribeiro.
José Policarpo passou a ser o 16.º Patriarca de Lisboa e cardeal a partir do consistório de Fevereiro de 2001, cinco dias antes de completar 65 anos.
Sócio honorário da Academia Portuguesa de História e da Academia das Ciências de Lisboa, o actual presidente da CEP é académico de mérito da Academia Portuguesa de História.
Entre 1988/1992 e 1992/1996, José Policarpo foi reitor da Universidade Católica Portuguesa, sendo magno chanceler daquela instituição desde 1998.
