Учитывать необходимо следующие моменты:
Не буду останавливаться на "почему?", но в подавляющем большинстве случаев под подоконником находится батарея, вот это первый вопрос который нужно учитывать.
Перед монтажом утеплителя демонтируем батарею (радиатор), просто помните что и летом внутри системы есть теплоноситель, то есть систему надо слить.
Если Батареи оборудованы кранами, то просто перекройте их.
Придётся демонтировать и крепление батареи к стене, толщина утеплителя уже не даст установить батарею на это же место, нужны более длинные кронштейны.
Любой утеплитель имеет толщину и даже если Вы приобретёте к примеру "Пенофол", он всё равно крепится с зазором и от стены и от финишной облицовки, а это миниму 4-е см, + толщина пенофола.
Я бы Вам посоветовал утеплить всю эту стену, а не часть стены.
Как вариант декоративные экраны на батарею,
в этом случае можно утеплить часть стены.
Вот это основные трудности, ну и конечно надо искать причину промерзания стены за батареей под подоконником.
Помните что наружное утепление гораздо эффективней внутреннего, тем более такого локального.
Сырую стену перед монтажом утеплителя надо просушить, убрать плесень, загрунтовать.
На трубы отопления придётся устанавливать уголки, батарея на это же место не встанет.