As origens deste pequeno templo remontam a meados do século XVII. Pensava-se que tinha sido construído da parte de fora das muralhas medievais, adossado a uma das portas então existentes, no local onde as Visitações da Ordem Militar de São Tiago de 1565 referem ter existido um nicho. No entanto, novas revelações vieram pôr de parte esta suposição. Na sequência da Restauração da Independência, nas Cortes de 1646, D. João IV emitiu um voto de acção de graças, consagrando Nossa Senhora da Conceição padroeira de Portugal. Ordenou, então, que se colocasse às entradas das cidades e vilas uma lápide evocativa deste acontecimento. A lápide existente na fachada principal da Ermida de Nossa Senhora da Conceição de Loulé parece corresponder, não só aos desígnios do Rei D. João IV, mas também ao impulso que motivou a construção do templo, surgindo a data de 1656 como o ano provável do início das obras. Para além dos elementos característicos do Estilo Chão, detectáveis na utilização da planta de nave única e na sobriedade da fachada, nomeadamente nos vãos e nos enrolamentos do ático, referem-se como especificidades deste templo, a ausência de capela-mor, o revestimento total da fachada da Ermida com cantaria e o encontrar-se ladeada por habitações. Em meados do século seguinte, a Confraria de Nossa Senhora da Conceição das Portas da Vila foi responsável pela renovação da ornamentação interior da Ermida, resultando desta intervenção uma das mais interessantes manifestações artísticas setecentistas do Algarve. No entanto, algumas intervenções posteriores têm descaracterizado a ornamentação deste templo: a abertura de uma porta na parede do lado do evangelho e a consequente destruição de um dos painéis de azulejaria; a construção de um coro alto; a pilhagem de azulejos na parede do fundo e a completa destruição da pintura da cobertura, restando somente uma tela pintada e em mau estado de conservação. Foi classificada como Imóvel de Interesse Público pelo Decreto-Lei nº35443, de 2 de Janeiro de 1946. Entre 1743 e 1747 foram eleitos como responsáveis desta Confraria, Diogo de Sousa e Sarre, para Juiz, Henrique da Costa Pestana, para Escrivão, e Brás Camacho Navarro, para Recebedor. Apresentavam como projecto ornamentar o interior do templo. Para tal contrataram, no dia 20 de Dezembro de 1743, com o escultor farense Miguel Nobre, a feitura do retábulo, pelo preço de 350 réis. O dito escultor deveria fazer esta obra "conforme o risco que se lhe entregou" e transportá-la de Faro para Loulé, dando o trabalho concluído até 1745. Por sua vez, Diogo de Sousa e Sarre, o mais prestigiado pintor algarvio, comprometeu-se, juntamente com o seu colega de ofício, Rodrigo Correia Pincho, também morador em Loulé, a dourar, pintar, estofar e encarnar, não só a talha mas também as imagens do Arcanjo S. Miguel e do Anjo da Guarda, até ao dia da padroeira, no ano de 1747. O retábulo, enquanto elemento proeminente do conjunto arquitectónico, determinou o programa decorativo a realizar. A "cornija" de Talha, que percorre as paredes da Ermida, é a continuação do entablamento do retábulo e serve de delimitação aos painéis de azulejaria figurativa, cujo esquema iconográfico é a continuação da temática mariana, já apresentada no retábulo. Atendendo a que a talha deveria estar colocada no seu lugar até Dezembro de 1745, é natural que a azulejaria tenha sido posta simultaneamente, desconhecendo-se não só a oficina lisboeta que a realizou, mas também o mestre local que a encomendou e assentou. Os azulejos apresentam já alguns elementos do formulário rocaille, nomeadamente nos concheados das cercaduras das cartelas, onde se lêem inscrições latinas. O esquema iconográfico apresentado no retábulo, permite-nos conhecer as devoções desta Confraria e, particularmente, dos seus responsáveis. O local das diversas representações escultóricas obedece a uma hierarquia. A imagem de Nossa Senhora da Conceição, orago deste templo, ocupa o lugar principal, no centro da tribuna. Segue-se o Menino Jesus, colocado no nicho superior. Depois surge Sant'Ana, a mãe da Virgem, no centro da banqueta. O pai e o marido da Virgem, respectivamente, S. Joaquim e S. José, preenchem as peanhas dos intercolúneos. Finalmente, sem ligação com a temática mariana, o Anjo da Guarda e o Arcanjo S. Miguel estão na banqueta ao lado de Sant'Ana. Pelas afinidades formais de todas estas esculturas com as restantes representações figurativas existentes no retábulo, pode-se deduzir terem sido feitas pelo mesmo entalhador, o mestre Miguel Nobre. Na Monografia do Concelho de Loulé, Ataíde de Oliveira refere que "o tecto desta Ermida em 1841 estava maravilhosamente pintado pelo insigne pintor desta vila, o célebre Joaquim José Rasquinho. Hoje essa pintura foi substituída por trabalho a gesso (...) tendo ao centro um lindo quadro alusivo à assumpção da Virgem, obra do nosso insigne pintor Rasquinho, e que, antes da reforma do tecto, já ali existia". É provável que a cobertura deste templo apresentasse uma ornamentação coeva e semelhante à que hoje existe na Ermida de Nª Srª da Piedade, em Loulé, onde no meio da pintura em perspectiva e do período rocaille, pontua uma tela respeitante à padroeira.

A Câmara Municipal de Loulé, conjuntamente com a Paróquia de S. Clemente, candidatou a Ermida de Nossa Senhora da Conceição, de Loulé, ao Prémio Igreja Segura, organizado por várias entidades nacionais, entre elas o Instituto Superior de Polícia Judiciária. Após o concelho de Loulé ter ganho o Prémio Igreja Segura, no ano de 2005, a autarquia começou a desenvolver esforços para a recuperação do referido espaço. No ano de 2007 iniciaram as obras de conservação e restauro das estruturas interiores e exteriores. Durante este período procederam-se a escavações no interior deste espaço religioso, que vieram a revelar a existência da Porta de Portugal (uma das portas do castelo, cuja localização era desconhecida) no interior da Ermida. No mesmo período, quando se estava a retirar o reboco da parede de fundo da sacristia, ficou a descoberto um dos torreões do castelo.

No dia 29 de Novembro, de 2008, pelas 15h, procedeu-se à cerimónia de inauguração do restauro da Ermida de Nossa Senhora da Conceição, tendo sido apresentado o livro “Plano de Emergência Interno. Projecto Igreja Segura – Igreja Aberta”, mais um instrumento para a salvaguarda e protecção do património material.