Ao certo, não se sabe quando terá sido construído, mas sabe-se que, em 1064 já existia e surgia na documentação como Castellum Celoricu. Acredita-se que terá sido erguido no mesmo local de um antigo castro romanizado do qual a arqueologia encontrou vestígios.