Шифер может быть вредным, если вдыхать его пыль при распиливании, всегда при таких работах следует респиратор надевать.
А вот ничего такого ядовитого, что вымывалось бы влагой в почву, а из неё поступало бы в растения и отравляло бы потом едящих их плоды - в шифере нет. Отгораживайте, не бойтесь.