当对方对你说“真的在挑战他的底线”时，这意味着你的某些行为或言论已经让他感到非常不满，甚至可能接近于让他爆发或生气的地步。

这种情况下，对方的底线是指他在乎并敏感的事物，可能是个人的情感、尊严或者一些特别的事情。这些事情对他来说非常重要，以至于他不愿意看到它们受到侵犯或伤害。

因此，当你听到这句话时，应该意识到你的行为可能已经超出了对方的容忍范围，应当更加谨慎，避免进一步激怒对方