50岁开始缴纳灵活就业人员养老保险不迟。因为灵活就业人员养老保险和职工养老保险都一样，都只要累计缴费达到15年，就可以再达到60周岁就办理退休手续。

你从50岁开始缴纳养老保险，那么交够15年也就是到了65周岁，这个时候你就可以去办理退休手续了，虽然比正常的60周岁多了五年退休，但是你可以在65岁后按月领取退休金，这还是挺好的。