今年我家按人口分了点地

你当时签订的协议里的永久是不符合法律规定的，农村的土地不可以买卖。只可以转让使用权。他告你改变土地用途是没效的，改变土地用途例如，将农业用地变成了工业用地这就叫改变土地用途，你种上果树更本就没有改变土地用途。法理是在你这一边。建议到土地资源网的土地论坛上了解更多的这方面的土地知识。