Всё видимо зависит от плотности материала или наличия воздушных пор. Возьмите в руку зимой металл (любой) и дерево, сразу почувствуете разницу. Да что там сравнивать с металлом, если даже разные породы дерева разной температуры по ощущению, здесь даже скорее не температура, а "теплодержание" что ли. В Сибири и на Дальнем Востоке охотники-промысловики отлично знают, что самое тёплое зимовье елевое (срубленное из ели). Ведь охотник не постоянно там проживает, а наездами, то есть зимовье не топилось неделю, охотник приехал растопил печь. Елевое сразу прогревается, все остальные сначала мокнут (сыреют).
Ель довольно трудна в обработке, поэтому дома рубят из более податливой и доступной сосны.
Что касается кирпича, у него свои преимущества по сравнению с деревом, долговечность к примеру. А по плотности он что-то меж деревом и металлом.