清退借调人员是必要的，因为他们原本的工作岗位需要他们的工作岗位了。借调是临时性质的，是为了满足特殊工作需求而产生的，若工作需求解决，借调人员应回到原本的工作岗位上去。

如果长期占用工作岗位，将影响原单位的正常工作，也会让借调人员在担心未来的情况下，心理难受。

因此，清退借调人员是为了正常的工作秩序和员工的心理健康考虑，是必要的。