何も話せなくなる、って、頭の引き出しが少なすぎない?

最近、セクハラ問題がメディアによく出て、その中でも特に疑問なのが「何でもかんでもセクハラにされたら、何も喋れなくなる」という男性側からの言葉です。
えーとつまり、会社で女の子と喋れなくなる、と言いたいんですよね、きっと。
…ふつうに仕事の指示だけしてればいいんじゃないですか?とは、言いませんよ、さすがに。
ちょっと仕事と離れた雑談…いわゆるコミュニケーションを取りたいと思うのは、人間として当然ですからね。
でもそこに、相手が女性だからこそ出る話題を出すから悪いんじゃないですかね…?
男性同士でも下ネタになったりしがち、とは言われますが、でも、例えばお堅いお偉いさんにその話出来ますか?って。
もちろん、容姿を褒めても嬉しいという女性も居ますから、それは例えば社長の娘だと思って褒めれば間違いは無いんじゃないかな…と思うんですよ。
セクハラって要は立場を利用して、下と思ってる人に嫌な話を無理やり聞かせるのがセクハラなので、上の立場の人に話せることを全員にすればいいんじゃないかな…と思うんですよね…。