Сложный вопрос.
Сложность заключается в следующем:
Щели оконных рам, то есть контакт шпаклёвки только дерево-дерево?
Если да, то нельзя, особенно если речь о гипсовой шпаклёвки.
Какая именно у Вас глубина и ширина щелей, на оконных рамах?
Финишные шпаклёвки (Вы о них спрашиваете) работают до 3-х мм, если глубина щелей, или их ширина больше, то финишной шпаклёвкой не обойтись.
Да и вообще по дереву есть свои шпаклёвки, они имеют совершено другой состав.
Шпаклевать древесину гипсовыми шпаклёвками вообще не надо, полимерные под вопросом, цементными
так же лучше не надо.
Можно что-то изобразить более менее соответствующее ситуации, к примеру добивать клей ПВА в шпаклёвку, но это всё не совсем правильные действия.
Я бы посоветовал мелкие опилки смешать с лаком и такой самодельной шпаклёвкой замазать все щели, затем шлифануть заподлицо и покрасить рамы.
Или купить шпаклёвку по дереву.
Шпаклёвкам для стен на стенах и место, стены бывают деревянными, но там и шпаклёвки используют иные, я так понял что скорей всего речь идёт о гипсовой шпаклёвки, почему-то именно её чаще вспоминают когда речь идёт об "обычных" шпаклёвках (заказчик просто не в курсе что шпаклёвок много и они разные).
Так же не забывайте что шпаклёвка разводится водой, пока она будет сохнуть (особенно если это цементная финишная шпаклёвка) древесина будет набирать влагу, а это совсем плохо.
Дерево "дышит" меняясь в размерах, просто шпаклёвка не продержится долго в таких условиях, нужна специальная шпаклёвка по дереву.