林業を否定するなら、天台宗では寺院も建設できないのではないでしょうか。 ／ 例えば薬草を薬に使ったとしても、殺生の罪業になるのでしょうか。 ／ 黒縄地獄幅の道具をみると、杣ばかりか大工や番匠まで卑しい存在とされていたようです。律令制下でも建築官司はあるわけですし、後の職業観を考えてみてもそうは断言できないように思うのですが…。

宗教というのは都合よくできていますので、樹木の殺害を罪業と捉えつつも、寺院建設を許容する仕組みはきちんと出来ています。これについては中国から、山神が進んで樹木を造寺のために提供したり、樹木が自から建設の場に集合したりする説話が残っています。仏法を宣揚する砦ですので、それを造ること／造られることは神聖な行為と認識されるわけです（草が薬草として使用される場合にも、同じようなことがいわれます）。ただし、中世以降に全国的に語られる樹霊婚姻譚には、ある柳の精霊が人間の男性と結婚し子供も儲けていたところ、その樹木が三十三間堂の棟木として伐採されることになり、柳の精は伐られること、運搬されることに抵抗する…というくだりがあります。樹木への感情移入が進んだひとつの結果でしょう。
大工や番匠にも樹木を扱う後ろめたさ、周囲からのやや差別的な視線は存在したと考えられます。例えば、江戸期の名匠である左甚五郎が工事を手伝わせるために木偶人形を作り、捨てられたそれが河童になっただの、いわゆる被差別者になってゆくという伝説が残っていますし、ある建物を建てる際に自分の妻を人身御供として捧げたというエピソードも伝わっています。杣や番匠には伐採、建築の際の特別な祭儀の方法も伝わっていたので、一般の人々から呪術師に近い目線で捉えられることもあったようです。