ГФ это глифталевая грунтовка, если прочитать инструкцию по её применению к примеру грунтовка ГФ-021, перед нанесением разбавляется Сольвентом (при необходимости),
или смесью Сольвента с Уайт-спиритом (один к одному), значит и оттереть её можно тем же Сольвентом.
Можно Уайт-Спиритом.
Более продвинутый вариант, это покупка смывки, вот не плохая от "Новбытхим",
смывает любой ЛКМ включая грунтовки с любых поверхностей, дерево, металл, бетон, камень и так далее.


Уайт-спирит самый не дорогой из вариантов, можно бензином попробовать, тут уже надо чётко знать о какой грунтовки ГФ идёт речь и какая именно брусчатка у Вас уложена.


Скорей всего грунтовали, ибо красят красками, а грунтовками грунтуют.
Грунтовка промежуточный слой между поверхностью и краской.
Я бы посоветовал чуть подождать, Ваши соседи скоро начнут красить загрунтованный забор, просто нет смысла удалять грунтовку отдельно от краски, удалите уже всё одним заходом.