La primera cosa que tenemos que decir cuando hablamos del castillo de Javier, es que no es un Castillo. Hacia el año 1000, una roca enorme fue utilizada para construir una torre. Fue ideada como una atalaya. Dada su estratégica situación, entre los Reinos de Navarra y Aragón, se construyó una muralla a su alrededor que fue creciendo entorno a la torre que acabaría convirtiéndose en la torre del Homenaje. En la Iglesia, que en aquellos tiempos no lo era, que hay junto al Castillo fue donde nació San Francisco Javier.
El interior del Castillo alberga un museo dividido en tres partes y una pequeña pinacoteca. También podemos encontrar la Sala de Escudos, en la que se encuentran los blasones de la familia Javier y el árbol genealógico.