只有银行卡号是不能直接追回钱的。因为对方的银行卡不在你手上，没有银行卡、没有对方的银行卡取款密码是无法取钱的。如涉及到诈骗等情况，建议报警，可以申请冻结对方账户的资金。

如果想要追回被骗的钱，可以拿着证据到公安机关报警。如果公安机关不立案，认为属于民事纠纷的，可以到法院提起诉讼，可以起诉对方不当得利和诈骗罪，追究刑事责任和要求对方返回款项。