В начале надо определиться это действительно только цемент, или цементный, или бетонный раствор.
Определиться с какой поверхности он удаляется.
Разные поверхности, разные средства и разная технология его удаления.
Если это только цемент, то прочность у него слабая, в нём нет песка, удалить его можно шпателем.
Держим шпатель под не большим уклоном к поверхности (почти параллельно) и удаляем остатки цемента, далее поверхность можно промыть, влажной губкой.
Если это раствор, к примеру на кирпичной стене, то покупаем вот такую лопатку (зубило)
к перфоратору, или просто лопатку-зубило под молоток.
Приставляем к раствору и бьём по зубилу молотком, сбивая цементный раствор с поверхности.
Точно те же действия пр работе перфоратором.
Можно приобрести специальное средство для удаления цементных растворов почти с любых поверхностей.
Вот не плохое "PROSEPT".
При помощи кисти, или методом распыления наносим средство на раствор.
Ждём минут 10-ь, раствор размякнет, далее влажной губкой убираем следы раствора с поверхности, на финише протираем сухой тряпкой.
Данное средство, концентрат.
Если это крупные остатки цемента и он давно высох, то не разбавляем водой.
Если остатки не большие, разводим с водой 1:3.