城关区铁路西村街道新村十字和政路69号电梯安装纠纷。我是城关区铁路新村和政路69号居民。自从去年本单元申请安装电梯，因为疫情影响，今年3月18日才开始进入具体实施阶段。并且签订合同，缴纳了押金。因为施工方办理开工手续等原因一直拖到现在还没有施工，任何材料都未入场。我家因小孩上学不在此地居住，所以提出退出电梯安装。施工方以违约为借口拒不退还3月18日缴纳的押金。并且擅自将我们两户缴纳的押金抵扣本单位其他住户应付押金，关于各户分摊计划弄得乱七八糟。一共公布出来五个分摊方案。甘肃三安电梯服务公司收到押金。然后让我们去找邻居协商退还押金。在我们邻里之间挑拨离间恶意推动矛盾。请问该如何解决？