De bouwgeschiedenis van het kasteel gaat terug tot de 14e eeuw. Door zijn eerbiedwaardige leeftijd is het rijk aan verhalen. Vijf eeuwen architectonische bouwgeschiedenis zijn zichtbaar en de oorspronkelijke plattegrond is nog nagenoeg intact. Al in de 14e eeuw duikt de naam op in de archieven als bezit van graaf Reinhoud I van Gelre. Familie Van Roderlo, naar welke familie het kasteel waarschijnlijk ook vernoemd is. Het huidige uiterlijk van het kasteel stamt grotendeels uit de 16e en 17e eeuw.