У дверной коробки, означает что та самая коробка с порогом.
Линолеум упирается в коробку, отсюда и то самое вздутие ("волны").
Тут в общем-то выход один, что бы выпрямить линолеум, его нужно подрезать.
Строительным ножом вдоль металлической линейки (профиля, бруска) подрезаем линолеум вдоль порога коробки, делаем зазор мм 3-и, или даже 5-ь.
Можно положить сверху гнёт и дать сутки на то что бы линолеум распрямился.
Затем приклеиваем линолеум к поверхности (если это надо), убираем пыль, грунтуем, просушиваем и клеим к примеру на битумную мастику.
Щель между порогом и линолеумом можно закрыть плинтусом,
нужен обычный деревянный плинтус, или любой другой который уже есть в Вашем помещении.
Крепится к примеру саморезами к порогу, или шуруп + дюбель к полу.
Вместо плинтуса можно использовать различные деревянные нащельники.
Из личного опыта, могу посоветовать прибить оконный штапик к порогу двери, и затем он окрашивается вместе с коробкой.
Штапик почти не виден и он скроет щель между линолеумом и коробкой.