Вопросов рождается очень много.
Основные:
Зачем её (шпаклёвку) убирать, причина в не ровности стен, можно выровнять.
Материал основы (стены что под шпаклёвкой) какой?
Что предполагалось на финише (краска, обои, и так далее).
Речь идёт о стенах, или потолке?
Есть вариант не убирать шпаклёвку вообще, если на поверхности наблюдаются ямы, не ровности, то подсветите поверхность дополнительным светом
(это что бы видеть что делаете).
Дальше проходимся наждачной бумагой с мелким зерном.
Убираем пыль, грунтуем (междуслойная грунтовка архи важный момент) и дальше уже выравниваем поверхность вторичкой.
Но тут надо знать как держится тот самый толстый слой о котором Вы спрашивали.
Возможно необходимо армирование.
Если всё же надо снять что называется "в ноль", то и тут вариантов масса.
Пробейте шпаклёвку до основы (в любом месте), далее, берём в руки шпатель (металлический, жёсткий), держим шпатель практически параллельно стене и как бы поддеваем шпаклёвку пластинками.
Если всё плохо и шпаклёвку сложно поддеть шпателем, используем молоток и широкую стамеску, или нож от рубанка.
Можно приобрести зубило-лопатку под молоток, или под перфоратор.
Шпаклёвка перед таким инструментом не устоит.
Есть смысл стену смочить (работаем обычной "брызгалкой"), пыли будет много, влага эту пыль чуть "прибьёт".
Полы лучше застелить, можно плёнкой ПВХ.
Сразу всю шпаклёвку сбить не получится, работаем по участком, пробили до основы (можно топором) поддели, сняли что снимается и опять пробили.