我和他都是已婚的人了，是网络上认识的，起先只是聊天，很单纯的朋友。不久，他要求见我，因为我们是一个城市，所以就顺利见面了。后来见面次数多了，我们的关系就起了变化。我就常常以他同学的身份出现在他身边（除了他老婆的地方），我们现在已经是情人关系了，天天电话联系，隔三岔五就在一起。我们都有家庭，以后该怎么办？