高市贵，善无（今山西朔州右玉县）人也。少有武用。孝昌初，恒州内部敕勒刘仑等聚众反，市贵为都督，率众讨仑，一战破之。累迁抚军将军、谏议大夫。

及尔朱荣立魏庄帝，高贵预翼戴之勋，迁卫将军、光禄大夫、秀容大都督、第一领民酋长，赐爵上洛县伯。