委托人可以随意解除委托合同吗

可以。根据《民法典》的规定，委托人可以随时撤销委托，委托人即可单方解除委托合同，无须征得受托人的同意即可发力。
因解除合同造成对方损失的，除不可归责于该当事人的事由外，无偿委托合同的解除方应当赔偿因解除时间不当造成的直接损失；
有偿委托合同的解除方应当赔偿对方的直接损失和合同履行后可以获得的利益。
法律依据：
《民法典》第九百三十三条
委托人或者受托人可以随时解除委托合同。
因解除合同造成对方损失的，除不可归责于该当事人的事由外，无偿委托合同的解除方应当赔偿因解除时间不当造成的直接损失；
有偿委托合同的解除方应当赔偿对方的直接损失和合同履行后可以获得的利益。