一般的に「I’d rather not say」または「I prefer not to say」といいます。

Aさん：Is there a candidate whom you support in the upcoming election?

Bさん：(I’m sorry but) I’d rather not say.

難易度：6/10
関連リンク：「I am sorry」と「I feel sorry」に違いはありますか？