外出经营许可证过期了，可以去机构所在地税务机关续办的，再到业务发生地的税务机关备案登记。

一般税务机关不会为难你的，实在要写说明的话，需要付款方提供一份证明尾款尚未付清，交机构所在地税务机关一份，交业务发生地税务机关一份，就没有问题了。