根据快递拒收了是否需要自己掏钱退回去，这要看具体情况和快递公司的规定，以及你和快递公司的合同约定。
通常情况下，如果寄件人（也就是你）在寄件时选择了“运费到付”或“先付款后寄送”的方式，并且收件人明确表示拒收，那么这通常意味着快递服务已经完成，运费由收件人承担。在这种情况下，快递公司可能会将包裹退回给你，而你需要承担退回的运费。
然而，如果寄件人选择了“到付运费”（即收件人支付运费），并且收件人拒收，那么运费通常由快递公司和收件人协商解决。如果协商不成，快递公司可能会将包裹退回给你，你需要承担退回的运费。
此外，如果寄件人和快递公司有特殊的合同约定，那么需要按照合同约定处理。
总之，建议你查看快递单上的条款，或者直接联系快递公司了解具体的退回政策和费用承担方式。如果对快递公司的处理有异议，可以联系消费者协会或相关监管部门寻求帮助。