Вы имеете в виду без демонтажа гипсокартона?
Задача сложная, но попробовать можно.
Осмотрите наружные откосы, возможно у Вас проблема именно там.
Дело в том что монтажная пена которой "задували" расстояние между рамой и проёмом, во время установки окна, не используется что называется в открытом виде.
Солнце, перепады температур, дожди и так далее, очень быстро приведут пену в негодность, появятся щели.
Тут вариантов несколько, срезали выступающую пену, далее на выбор, или штукатурка, или пенополистирол по периметру окна, далее стеклосетка армирующая и штукатурка по утеплителю, в конце, к примеру покраска.
Пенополистирол сажаем на клей, откосы, выравниваем, грунтуем.
Если только наружное утепление не сработает, то без демонтажа гипсокартона на внутренних откосах не обойтись.
Увеличивать толщину откосов не куда, окно должно открываться не упираясь в откос, да и утеплитель монтируется под гипсокартон, а не на него.
И внутри откосы можно утеплить тем же пенополистиролом, в принципе работа та же, но на финише может быть и так полюбившийся Вам гипсокартон, который зашпаклюется и окрасится.
Особое внимание уделяйте щелям между гипсокартоном и рамой, между рамой и проёмом, понятно что холодный воздух поступает именно от туда.
Возможно понадобится силикон (герметик), именно им заполняют щели.
Ещё обратите внимание на подоконник, возможно и там потребуется герметизация швов, щелей.
Найти от куда дует не сложно, намочите руку и проведите по периметру окна, почувствуете холодный воздух, отметьте это место и уделите ему повышенное внимание.
Утепление откосов, не считается сверх сложной работой, подготовка, монтаж "пирога" вполне может быть выполнена человеком умеющим держать шпатель в руках.