Здравствуйте!
Замена окон- относится к ремонту жилого помещения, но никак к его реконструкции. Проводить ремон за счёт материнского капитала нельзя. 
Однако, некоторые региональные дополнительные проекты могут лояльно отнестись к возможности улучшить качество жизни ребёнка за счёт капитала. Этот вопрос Вам лучше задать в инстанции своего населенного пункта. У разных регионов — разные условия, ограничения и поблажки.