东晋元帝司马睿渡江南下时，望见此山紫气氤氲，就称之紫金山，还有简称“金山”的。

以科学眼光视之，钟山多紫红色的砂页岩，含云母矿物，经阳光照射，便有紫金色光芒；　亦有人认为山上曾栽种紫金楠木，故称紫金山。