乳腺增生乳腺纤维瘤可以不做手术吗

前两年查出乳腺增生和纤维瘤，去年做复查时检查出了两个纤维瘤，比上次检查时稍微大了2mm左右，大夫当时说增大的不是很多，让我过半年后再检查看看是否还在变大，在考虑手术治疗。现在没有服任何药剂。我是想听说这个手术之后很容易复发，但是又听说只要纤维瘤开始变大了就一定要切除，但是我觉得复发的可能性很大啊一定要手术吗？