Обязан ли покупатель возмещать убытки продавцу при одностороннем отказе от договора?

Достраиваю дом на своем участке. Знакомые тоже делают ремонт. Оказалось, что мы заказываем материал у одной и той же фирмы. Эта фирма задержала поставку товара знакомым на несколько недель. Дата поставки товара тогда для меня еще не подошла. Но я побоялся того же и оба написали заявление о расторжении договора и возврате денег. Товар был оплачен заранее. Теперь поставщик просит написать заявление об отказе от товара. А в договоре прописано, что в случае одностороннего отказа, покупатель обязан возместить убытки поставщику. Как быть дальше, чтобы не платить никакой компенсации?