Jimmy Smits est né à Brooklyn, New-York. Son père, Cornelius Smits est un immigrant surinamien d'origine néerlandaise, à la tête d'une entreprise de sérigraphie, tandis que sa mère, Emilina, est une porto-ricaine, qui travaillait comme infirmière. Il a deux soeurs, Yvonne et Diana. Il été élevé dans un environnement familial profondément catholique, au coeur de quartiers ouvriers, et a passé une partie de son enfance à Porto Rico. Il obtient son bachelor's degree du Brooklyn College en 1980, et un Master ès Beaux-Arts (MFA) de l'Université Cornell en 1982. Bien que né à New-York, ses origines porto ricaines lui sont chères, et il se rend par ailleurs fréquemment sur l'île. Il a été arrêté pour sa participation aux manifestations contre les essais de la Marine Américaine dans les îles Porto Ricaines de Vieques.
L'un des premiers rôles majeurs tenus par Jimmy Smits est celui du premier partenaire de Sonny Crockett dans la série Deux flics à Miami, mais son personnage décède suite à un coup monté qui se déroule mal. Il a également joué Victor Sifuentes dans les cinq premières saisons de la série La Loi de Los Angeles.
Le public commence à véritablement remarquer Smits pour son interprétation du Sénateur Bail Organa d'Alderaan qui apparaît dans Star Wars, épisode II : L'Attaque des clones et devient ensuite le père adoptif de la princesse Leia dans Star Wars, épisode III : La Revanche des Sith. On peut également retrouver ses traits physiques et sa voix pour le même personnage dans le jeu vidéo Star Wars : le Pouvoir de la force.
Il devait animer les Latin Grammy Awards broadcast de 2001, mais ce fut annulé à cause de l'attaque terroriste de ce jour, et il donna à la place une conférence de presse non diffusée à la télévision afin d'annoncer les vainqueurs.
Il joua le rôle de Matt Santos, personnage fictif et membre du Congrès Américain, de Houston, puis candidat démocrate à la présidence des Etats-Unis, dans les deux dernières saisons de la série À la Maison Blanche, retrouvant l'acteur
John Spencer de la série La Loi de Los Angeles.
Dans la troisième saison de Dexter (série télévisée), Smits endosse le rôle de Miguel Prado, procureur général de Miami qui se lie d'amitié avec Dexter, et avec lequel il développe une relation particulière. En outre, il interprète Alex Vega dans Cane, série néanmoins retirée des écrans par CBS à cause de la grève des scénaristes de 2007.
Smits a été marié à Barbara Smits en 1981, mais ils divorcent en 1987. Ils eurent alors deux enfants, Taina (née en 1973) et Joaquin (né en 1983). Il entretient depuis 1986 une relation avec l'actrice Wanda de Jesus, ils vivent actuellement à Los Angeles.