Сложность заключается в том что не совсем понятно есть замазка и штапики, или только замазка без штапиков?
Если это старый Советский вариант, то есть пару гвоздиков удерживающие стекло, а вместо штапиков замазка, то можно и даже нужно использовать штапики.
Если штапики есть и под ними замазка, то вместо замазки можно использовать герметик.
Опишу первый вариант замены одного на другое.
Не бойтесь тщательно очистить замазку, стекло держится на гвоздях которые под замазкой, оно не упадёт.
После этого, аккуратно вынимаем те самые гвозди, далее снимаем стекло.
Подготавливаем раму под герметик и подготавливаем штапики к монтажу.
Штапики лучше покупать без сучков, сучки это их слабое место.
Очищаем посадочные пазы от пыли, грязи, остатков древесной пыли.
Затем работаем наждачной бумагой, завершаем начатое, готовим посадочное место.
Далее, снимаем размеры, режем штапики под углом 45-ь градусов, тут можно деже без стусла обойтись, если оно есть, хуже не будет.
Наносим герметик на край оконного стекла и по периметру этого самого стекла.
Вставляем стекло, если есть напарник, то он его придержит, если нет, будьте внимательны, или подбейте на четверть глубины гвоздик, гвоздь с той стороны где не будет штапика.
Вот и всё, штапики по периметру, лишний герметик удаляем, можно его же как бы втереть между стеклом и штапиком.
Штапики можно покрасить под цвет рамы и до установки и после, это не существенно (не принципиально).