Era o Hospital Real de Todos os Santos, o primeiro edifício público hospitalar central criado em Portugal. A sua primeira pedra foi lançada em 1492 no contexto de uma reforma conduzida pelo rei D. João II, mas a sua conclusão só se daria no reinado de D. Manuel, muito embora o hospital tenha começado a funcionar antes.
O hospital marcou o desenho da cidade, e nele seria possível encontrar uma botica - antiga farmácia - uma cozinha, uma despensa, uma lavandaria, serviços administrativos e instalações para funcionários. No reinado de D. João III, ergue-se uma casa para doentes mentais e uma enfermaria para convalescentes.
Dois incêndios viriam a ameaçar o edifício: um em 1601 e outro em 1750. No dia 1 de novembro de 1755, o grande terramoto arrasaria por completo o hospital - o Hospital de Todos os Santos era assim destruído no dia de Todos os Santos.
Entretanto, foram criados hospitais provisórios em São Bento, na casa dos Almadas, no Rossio e às Portas de Santo Antão, para que, vinte anos mais tarde, o Hospital de Todos os Santos se transferisse para o Colégio de Santo Antão, onde se passaria a chamar Hospital Real de São José, em homenagem ao rei. O hospital ainda hoje se mantém na rua José António Serrano.