Причин по поводу дыма в предбанник из топки может быть несколько и давайте попробуем немного разобраться в них, не прибегая к научным изысканиям по этому поводу.
Хотелось бы, конечно, хотя бы посмотреть на вашу печь в бане, чтобы сделать какие-нибудь выводы, но если нет такой возможности, то займемся только предположениями по поводу всего перечисленного в вашем вопросе.
Дело все в том, что для правильного горения топлива обязательно нужен воздух, а точнее кислород, который и способствует горению, поэтому при открытой дверце вашей топки и происходит горение, но при закрытой дверце у вас горение прекращается, а значит, скорее всего, все дело в вашей трубе, которая либо имеет диаметр меньше 120 мм, либо она имеет недостаточную высоту, что позволяет ветру попадать обратно в трубу, тем самым замедляя горение в вашей топке.
Ваша труба должна быть выше конька вашей крыши ( это значительно увеличит тягу в трубе ), а еще ее можно снабдить колпаком для предотвращения попадания ветра обратно в трубу.
А может вся причина в конструкции вашей печи, но для этого нужно будет ее видеть, а навскидку ничего по этому поводу сказать нельзя.