Ответить однозначно сложно, оба варианта (штукатурить, не штукатурить) рабочие.
Погреб это заглубленное в грунт строение, то есть гидроизоляция и качественая вентиляция нужны.
Если Вы произвели качественную наружную гидроизоляцию, нет проблем с вентиляцией погреба, то кирпич внутри погреба можно и не штукатурить.
Если наружной гидроизоляции не было уделено должного внимания, то я бы посоветовал заштукатурить кирпич.
Но кирпич в погребе не штукатурят "классическими" штукатурками (цемент, песок, вода).
Тут нужна гидроизоляционная штукатурка.
Вот не плохая, "Consolit 540" (Консолит),
работает и по кирпичу в том числе (это полностью водонепроницаемая штукатурка).
Перед нанесением штукатурки на кирпич, необходима грунтовка с просушкой.
Стены должны быть без пыли, без отслаивающихся штукатурок и так далее включая наплывы, которые можно сбить.
И ещё важный момент, если на Ваших стенах есть следы грибка, плесени, то эта проблема решается в первую очередь, плесень надо удалить, стены просушить.