O forte é ergue-se sobre a formação rochosa conhecida como ilhéu de São José, e foi provavelmente construído em meados do século XVIII.

Localizado num dos dois ilhéus do porto do Funchal, e reconhecido como o primeiro local de abrigo aos descobridores da ilha, em 1419, o Forte de São José foi designado como o primeiro Porto do Atlântico e o mais ocidental da Europa, com papel relevante na expansão marítima europeia. Esta infraestrutura serviu ainda de quartel-general aos invasores e, posteriormente, de cadeia, aquando da ocupação das tropas inglesas, entre os anos de 1801 e 1807.

A edificação era pouco valorizada enquanto património histórico, arquitetónico e cultural da Madeira e de Portugal, até recentemente, quando foi adquirido por um particular que vem buscando revitalizá-lo, sustentando ser este o local da primeira fortificação madeirense, à época do seu descobrimento.