Если именно бюджетный (не дорогой) вариант интересует, то я бы пошёл вот таким путём:
Естественно практически всё делал бы своими руками, при этом при отделки лоджии для зимнего сада использовал только натуральные материалы.
Для начала необходимо приобрести окна, отказываемся от пластика, покупаем б/у дерево и самостоятельно их устанавливаем.
При этом самостоятельно удаляем краску, далее можно обжечь паяльной лампой, , или морилка плюс лак.
Следующий этап это утепление, если не дорогое, то покупаем пенопласт, делаем каркас из брусков, бруски обязательно обработаны пропитками, или олифой, между брусков пенопласт на клей для пенопласта, можно ещё и "зонтики" добавить для надёжности.
Каркас готовим с расчётом того что дальше к у нас будет евровагонка (деревянная), евровагонку покупаем класса "С",
это самый не дорогой вариант с сучками, но нет ни чего страшного в этих сучках, опять морилка и лак.
Вагонку берём сосну, она дешевле.
Отопление придётся делать электрическое, заводить центральное не разрешат.
Потолок тот же каркас и та же вагонка.
Полы, или дерево, но это дорого, или кафель под дерево.
Можно рассмотреть вариант линолеума, не экологично, но зато очень не дорого.
Ещё вариант, это фанера, фанеру кладём на лаги.
Под фанерой утеплитель, кстати не забудьте и утеплитель под вагонку на потолке, ведь именно через потолок уходит всё тепло из помещения (его бОльшая часть).
В общем-то всё, мы сделали главное, сэкономили средства и достигли нужной экологичности.
Пластик и всё остальное будет смотреться нелепо в "зимнем саду".
Покраска, или обои не практичны.