求教：还未确认收货，已私下退货处理

五天前新入一手机，三天前收到，不是太尽如人意。所以当天就与卖家协商作了退货处理，淘宝网上申请了退货退款，然后快递原路寄回。
今天关注了下快递进度，提示卖家已签收。找到卖家问其处理退款，答非所问，说正在与店内客服沟通。我想问的是，万一卖家拒绝了我的退款申请，我会不会物财两空？