精子质量差却怀孕了有影响吗

没怀孕之前两人都没吃好东西，每天都是粗茶淡饭，性生活过度，精液颜色也变了，感觉每天跟没魂似的，腿也疼的厉害，但是还是控制不住同房了，但是感觉都流出来了。之后就测出来怀孕了，心里一直担心到现在恐怕对胎儿有什么影响。网上也有的说第一胎打掉也不好，但是不知道这样以后出生孩子会不会很傻什么的。心有余悸。谢谢！