可能是违建

因为建筑物是否属于违建需要根据当地的规划、环保条例以及建设方是否遵守相关手续进行判断。

但是如果在寺庙围墙内建造建筑会占用寺庙的用地，是否符合相关的土地规划也需要考虑。

建造建筑物也需要遵守相关的建造标准和规定，否则可能会违反城市规划管理条例。

如果寺庙围墙内建造宿舍可以被归类为非违建，那么其他住户可以根据相关法规申请建造自己的宿舍。

这会导致围墙内面积过于拥挤，可能会对周围环境和生态产生一些负面影响。

因此，应当根据法规和规划要求来决定是否在寺庙围墙内建造宿舍。