我觉得我有恋父情结

从小到大，我就对自己大十几岁左右的成熟有气质男士有好感，最近我发现我爱上了一个有妇之夫，他比我大十五岁，我才十七，他是很负责任的那种男人，我对他也仅仅是爱慕，一点都没有想破坏别人家庭的意图，可是我总是克制不住想他，我不想这样，他说我还是学生，不会做出那种不道德，被千夫所指的事，我该怎么办呢？