唐僧见到雷音寺慌张的原因可能有几个方面。首先，唐僧是一个虔诚礼佛的僧人，他一路上见庙必拜，遇到与佛教相关的寺庙或者建筑，他都会表现出极大的尊敬和敬畏。因此，当他看见一座与佛教圣地——雷音寺相似的寺庙时，他可能会出于宗教信仰的原因感到紧张和慌乱。

其次，唐僧虽然在很多情况下会忽视孙悟空的劝告，但在白骨精事件后，他应该能明白孙悟空在除妖上是不会说谎的。而这次孙悟空再次提醒他这座寺庙有些异常，可能是妖怪聚集的地方，这让唐僧意识到这可能是一个危险的情况，从而感到慌张。

最后，唐僧的前世是如来佛祖的二弟子金蝉，他具有较高的悟性，能成为大唐屈指可数的高僧。他对佛教的理解和认识，可能让他在面临这样的情况时，产生一种敬畏和谨慎的情感，从而表现出慌张的情绪。