「いい加減にしないと怒りますよっていうんですけど、すこしも堪えないのが腹立たしいです」の「堪えないのが腹立たしい」 とはどういう意味ですか?

質問を翻訳

ヘマハエル「ん？　ああ、マスターでしたか。てっきりマシトかと。あれはすこし調子にのりすぎるところがありますので」
ヘマハエル「マシトは、アフ姉様もおもちゃにする傾向があるので、気をつけてやってください」
ヘマハエル「いい加減にしないと怒りますよっていうんですけど、すこしも堪えないのが腹立たしいです」

それは「怒りますよっていうんですけど、すぐ怒る自分がむかつく」という意味でしょうか？
教えていただけると幸いです。