至急、相談に乗って欲しいです。

14年前、子供が4歳の時に離婚したシングルマザーです。
子供が小4の時に婚活サイトで知り合った人と8年付き合い、週末婚でしたが、モラハラがひどく結婚に至らず、昨年末私からから別れました。
しかし、息子は実の父のことは何も覚えていないけど、物心ついてから8年間いた彼とは縁を切りたくないらしく…
別に結婚していないので養育費をもらえるわけでもないけど、最低月に一度は会いたいと言っていて
勝手にラインをして食事に行く約束をしていました。
彼も「全然いいよ、でもママには内緒で」と言っていてモヤモヤします。
子供の気持ちを尊重したいので、会うのは構わないんですが、ママには内緒で、と言われているのが、なんか気分悪いです。
子供が会いたいというなら許すべきでしょうか。