Плиточный клей на основе цемента, из этого надо и исходить.
В продаже есть огромное количество смывок (очистителей, удалителей) любых цементных растворов с любых поверхностей, включая гранит.
Это и "Master good",
"ПрофХим"
и так далее.
В начале удаляем крупные загрязнений механическим путём (шпатель, скребок).
Далее работаем с применением смывок, тут уже смотрите на тару, есть смывки-концентрат (разводятся водой в определённой пропорции) есть не концентрат.
Смывка наносится на загрязнённую поверхность кистью, ждать полного высыхания смывки не надо, примерно минут через 10-ь, после нанесения, смываем остатки смывки чистой водой (удобно работать губкой).
Работать с такими смывками надо в перчатках.
Есть и иные способы очистки гранита от клея, если клей свежий, то в принципе его и водой можно смыть, намочите губку в воде, положите на некоторое время губку на загрязнение и минут через 15-ь пробуйте оттереть чуть влажной ветошью.