La única construcción de nueva planta que realizó Felipe II en la Fresneda, fue La Casa de los Frailes también llamada Casa de la Granja o de Los Pasadizos.
La construcción comenzó en 1565 y finalizó en 1569. El edificio se desarrolla en dos plantas estando la planta superior formada alrededor de un claustro renacentista con columnas de orden toscano abierto por el lado que da a la Casa del Rey.
Consta de tres grandes salas: el Refectorio, la Sala de juegos y la Botica.
Pueden ser acondicionadas para bodas, celebraciones, presentaciones, reuniones de empresa. Recibiendo la luz proveniente del claustro por su espectacular galería abovedada original del siglo XVI, este es desde luego, un lugar único para celebrar cualquier tipo de evento. Tiene una capacidad de hasta 230 personas.