一般情况下，如果已经给宝宝办了新生儿医保，早产儿住保温箱是可以报销的。在住院的时候可以直接报销，也可以在出院的时候带上费用清单、出院小结等资料去社保中心的医保报销窗口进行报销。

但具体的报销政策可能会因地区和保险计划的不同而有所差异。因此，建议咨询当地的社保部门或保险公司，了解具体的报销政策和流程。同时，确保在宝宝出生后及时办理新生儿医保，以便在需要时能够获得相应的医疗费用报销。