如果男人的生理问题已经严重影响到了婚姻关系的稳定和质量，那么夫妻双方是否有必要维持婚姻关系，需要视具体情况而定。

需要考虑男人的生理问题是否可以治疗或改善。如果男人的生理问题可以通过治疗或药物得到改善，那么夫妻双方可以一起寻求专业的医疗帮助，并尝试共同面对这个问题。在这种情况下，维持婚姻关系是有可能的，但需要夫妻双方付出更多的努力和时间来解决问题。

需要考虑夫妻之间的相互需求和情感联系。如果夫妻之间在情感上相互依赖、相互支持，而且男人的生理问题并没有影响到彼此的信任和稳定，那么维持婚姻关系是有意义的。在这种情况下，夫妻双方可以通过其他方式来满足彼此的需求，例如情感上的交流、亲吻、拥抱等。

如果男人的生理问题已经严重影响到了夫妻之间的信任和稳定，或者夫妻之间在其他方面存在较大的差异或不和谐，那么维持婚姻关系可能就变得困难了。在这种情况下，夫妻双方需要认真考虑他们的需求和感受，并考虑其他的选择，例如分居或离婚等。

需要考虑婚姻对夫妻双方的意义和价值。婚姻对每个人的意义和价值是不同的，有些人认为婚姻是爱情的延续，有些人认为婚姻是一种责任和承诺。因此，夫妻双方需要认真思考他们的婚姻意义和价值，并考虑他们的决定是否符合他们的价值观和生活目标。

男人生理不行是否需要维持婚姻关系，需要夫妻双方认真考虑多方面的因素。无论做出什么决定，夫妻双方都需要坦诚地沟通、相互理解和支持，并一起寻找最适合他们的解决方案。