友情链接交换后发现对方降权了？

没有交换之前，他的网站没有问题，交换两个星期发现他的站被降权了，我有点担心，会影响我的网站吗？我的站是权4他是权重2，如果真的影响，我要不要解除友情？