森雅之出生於北海道上白石村（現在札幌市白石區）。父親是小說家有島武郎，母親是陸軍大將男爵神尾光臣的女兒。

1932 年，森雅之從京都大學哲學科中途退學以後，立志當一名舞台演員。他在小築地劇場初次登台表演，從 1937 年到戰後 1950 年，他一直參加演出劇團民藝。

1947 年，森雅之在叔父小說作品改編的電影《安城家的舞踏會》中扮演落沒家族的長男開始受人矚目，進入了電影界。並相繼主演了同樣是改編自文學作品的影片《雨月物語》、《浮雲》等。給森雅之帶來國際名譽的是《羅生門》，他出演片中的丈夫。後參演了黑澤明的《白痴》，利用深厚的舞台背景，為角色帶來豐富微妙的演繹。晚年，森雅之曾活躍於電視連續劇中。

1972 年，劇團民藝公演的舞台劇《三人姉妹》成為了森雅之最後的作品。