Сразу же отмечу, древесина не ржавеет, а это значит что следы ржавчины поверхностные (нет "рыхлой" ржавчины, если проще).
Ржавый гвоздь, нужно извлечь из древесины и заменить его новым.
Можно использовать клещи, можно гвоздодер, но не забудьте между клещами (или гвоздодером) и древесиной что-то проложить, чтобы не оставлять вмятины.
Например кусок фанеры, рейку, брусок и.т.п.
Дальше, гвоздь может быть загнутым и "вдавленным" в древесину, поде извлечения такого гвоздя останется углубление в дереве, помимо удаления ржавчины поверхность нужно выровнять.
Я покупал вот такую
шпаклёвку (акриловую) по дереву "Лакра".
Убрали гвоздь, далее наждачной бумагой с мелким зерном очищаем проблемный участок, следы ржавчины убираем по ходу.
Затем заполняем шпаклёвкой углубление от гвоздя, если шпаклёвка даст усадку (или слой значительный), дайте ей полностью высохнуть (первому слою) на наносим второй слой, шпателем, заподлицо с поверхностью.
Всё, просушка и можно шпаклевку "шлифануть" наждачкой, далее уже поверхность готовится к покраске (как вариант).
Если шпаклевать не нужно (гвоздь не загибался), то удаляем следы коррозии всё той же наждачкой, см. выше, ржавчина на поверхности древесины и достаточно снять небольшой слой древесины, чтобы её (ржавчину) удалить.
Помимо наждачной бумаги следы ржавчины можно удалить при помощи столового уксуса.
Смачиваем ватный диск уксусом, далее протираем проблемный участок, чуть ждем, при необходимости повторяем процедуру, в той же последовательности.
Ещё вариант лимон, можно выдавить сок лимона на ватный диск и далее работаем так же как и с уксусом, или отрезать дольку лимона и её протереть следы о ржавчины.
Ещё вариант сода и вода, разводим соду водой до состояния "густой сметаны" щеткой натираем проблемный участок, убираем ржавчину.
И ещё, важно учитывать о какой именно древесине идет речь, чтобы не было проблем, рекомендую любой из выбранных вариантов, вначале протестировать на незаметном участке.
Шпаклевку по дереву можно подобрать под цвет древесины.
Если планируете окрашивать древесину, то нет смысла сильно "озадачиваться" оставшимися следами ржавчины от гвоздей (достаточно зашкурить наждачкой), по ходу подготовки, дерева к покраске, она частично удалится, а далее "ляжет" краска.