直管公房是由国家或国有企业、事业单位投资兴建、销售的住宅，其产权归国家所有。一般情况下，直管公房不能随便收回。根据相关法律法规，除非承租人违反租赁合同规定或出现特定情形，如连续拖欠租金达六个月以上、擅自转租、转借、调换房屋等，公房管理部门有权收回直管公房。

在收回房屋时，公房管理部门应当按照法律法规规定的方式和程序进行操作，并给予承租人合理的补偿。因此，直管公房不能随便收回，只有满足一定条件时才能收回。