この場合の「違う土俵」とは、「価値観の違い」ということです。
誰かと会話をしていてモヤモヤすることや腑に落ちないことがあるかもしれません。
そういう場合、その人と自分は「土俵が違う」ことを意識さえしてれば、イライラすることもなくなるでしょう。