A partir da intensa atividade británica desenvolvida na região, o morro e o porto natural situado aos seus pés, eram conhecidos como Porto e Morro do Inglês (Morro Santo Antônio). Da mesma forma, uma das companhias que operava no sítio adoptou o nome de The Pan de Azúcar Bay (Baía de Pão de Açúcar). Os primeiros registros escritos de reconhecimento territorial realizados na expedição do Capitão Juan Hidalgo, datam do ano 1717.