Пустоту можно заполнить монтажной пеной, вот не плохая "Макрофлекс" (Makroflex),
это бытовая (полупрофессиональная) монтажная пена к ней не нужен "пистолет".
Пустоту под подоконником в начале очистите от пыли, затем чуть увлажните и можно задувать.
После того как пена полностью высохнет, её подрезаем глубже чем заподлицо примерно на 5-ь мм.
Далее прямо по пене шпаклюем уже заподлицо со стеной.
Эти 5-ь мм нужны для того что бы штукатурки (шпаклёвки) было куда лечь.
Это один из вариантов, пустоту надо видеть, возможно пойти и другим путём.
Очистка от пыли, грунтовка, просушка, бой кирпича на растворе (цемент + песок + вода 1 : 3), штукатурка заподлицо со стеной.


Если щели, то перед их заделкой раствором (см. выше) щель расшивается под углом в 45-ь градусов, а дальше по старой схеме, если нет возможности загрунтовать щель, то надо хотя бы увлажнить, можно при помощи обычной брызгалки.
Раствор можно вбивать в щель шпателями.