Corría el 1.581 cuando una escultura de la Virgen tallada en madera, de 130 centímetros de altura, es robada de una iglesia de Toledo. Es trasladada a una mancebía de la calle del Carmen donde iba a interpretar un papel publicitario para el local. La cortaron los brazos y aparecía por una ventana y era manejada por un enero que escondido bajo su manto usaba sus brazos para tocar un violín. Esta forma de llamar la atención de los posibles clientes del prostíbulo no paso desapercibido al fraile Simón de Rojas que lo denunció al Santo Oficio.
Las consecuencias fueron inmediatas, cierre y demolición del edificio y quema en la hoguera de los implicados. En el solar El Caballero de Gracias mandó construir un monasterio que entre otros edificios albergaba la conocida Iglesia del Carmen.
La talla una vez reparada fue trasladada al antiguo Hospital General, el Clínico de San Carlos, que estuvo situado en el mismo edificio donde hoy se levanta el Museo de Arte Reina Sofía. La imagen fue tan venerada que llegó a ser por un tiempo Patrona de Madrid y fue la única Virgen que se sacaba en procesión.
La talla de la Virgen de Nuestra Señora de Madrid se encuentra en la actualidad en la Parroquia de San Vicente Ferrer, situada junto al Hospital Gregorio Marañón y que sirve para dar servicio entre otros a éste.