En 1967, Mark Ruffalo naît dans la ville industrielle de Kenosha, dans le Wisconsin aux États-Unis, d'une famille aux origines italiennes et canadiennes. Sa mère, Marie Rose, est coiffeuse et styliste, tandis que son père, Franck Laurence Ruffalo Jr, est peintre en bâtiment. Élevé dans la foi catholique par sa famille, Ruffalo fréquente une école catholique dans sa jeunesse. Il a deux soeurs, Tania et Nicole, et a eu un frère, Scott, décédé en décembre 2008. Ruffalo a lui même déclaré avoir eu une "enfance heureuse" et une éducation s'étant déroulée "au sein d'une très grande famille italienne avec beaucoup d'amour". Par la suite, il fréquente une école progressiste et est élevé à proximité de la communauté locale des Bahá'í dont son père était membre. Ruffalo passe sa dixième année à Virginia Beach, en Virginie, où son père travaille alors, et est diplômé de la First colonial High School. Avec sa famille, il déménage ensuite à San Diego, en Californie, et plus tard à Los Angeles, où il suit des cours au Stella Adler Conservatory et co-fonde la Orpheus Theatre Company, au sein de laquelle il est tour à tour scénariste, metteur en scène et comédien. Parallèlement, il passe les neuf années qui suivent à gagner sa vie comme barman.
Ruffalo devait initialement jouer dans le long métrage
Signes de
Shyamalan mais, ayant une tumeur au cerveau, il ne put y participer. La tumeur,bénigne, put être soignée. Il vit désormais à Virginia Beach avec sa famille.