2020年2月份，我与王某达成口头协议与他进行合作，一起批发某儿童品牌的衣服，2020年2月至4月我用微信，支付宝，银行转帐等形式先后汇款66.52万元，但是对方从4月开始一直没有按照约定时间发货给我（都有聊天记录），因为对方不能准时给我提供货品，所以我决定从不再继续合作，但是对方钱款迟迟不肯退换，后来6月份我们交涉后达成一致将钱款抵作秋季货品的货款，可是秋季货品又没有按照时间发齐，目前我与对方沟通还有2万余元钱款不愿继续与其合作，但是对方现在表示2万不可能退还，是作为合作的保证金，因为我们没有合作一年，所以不肯退回，我想咨询一下，这样我可以采取起诉或者什么方式追回我这2万块钱吗？