别人欠我4万赌债该不该要？

大家好，这里是牌技帝国 ，我们的网址是www.ipaiji.com                                    好久没在帝国发帖了，平时自己也没有什么朋友，除了利益上的朋友外，真正的朋友一个也没有。。。。白活三十年啊，大家可别像我一样啊。好了说正题，我虽然不是什么专业的老千，但是赌牌没少赢钱，上个月有个人通过朋友介绍找上我，去了他的牌局，都是几个做海鲜的普通老板。什么也不会，我去了玩了大概有3-4次，现金赢了6万多，还有赌债4万多点。我们玩的是诈金花。我就是普通的手法，发底+4A做桥，没什么更高深的技术，但是我感觉这些技术足够用了。现在我离开那个地方了，可是赌债你们都知道的，都是没谱的事。给那个欠钱的打了几次电话后来感觉人还算不错，有点后悔赢人家太多钱了。最后这4万块钱，他说不敢让老婆知道了，每天从货款里给我偷偷扣下400块。。。过阵凑齐了给我，这个人有点太忠厚老实了，现在我心里有点不忍，你说要是不要了吧。。。他还主动要给我，这也是好几万块啊。。。。心里纠结啊，好多个晚上都没睡好了，真的想和他说，这钱不要了。。。那人家不起疑心吗？真不知道怎么办才能两全其美。。。做老千真的要心狠手辣吗，我做不到啊。。。