Elle est la plus jeune de trois soeurs. Son père est écrivain publicitaire et sa mère est une ancienne danseuse de l'American Ballet Theater. Juste avant qu'elle ne sache marcher, Margulies et sa famille sont partis s'installer à Paris, où ils ont vécus pendant deux ans avant d'emménager en Angleterre. Quand elle eut 5 ans, ils sont retournés à Spring Valley, et cinq ans plus tard, ils ont à nouveau emménagé en Angleterre. A 14 ans, Margulies est entrée au collège du New Hampshire. Elle est diplômée du Sarah Lawrence College en histoire de l'art, où elle est apparue dans plusieurs pièces. Après le collège, elle a joué dans des productions théâtrales régionales et notamment le Yale Repertory Theater.

Plus tard, le producteur/scénariste Tom Fontana lui a créé un rôle récurrent dans une série sur la NBC : "Life on the Street" en tant que serveuse et violoniste qui attire le détective Bolander (Ned Beatty). Elle a été acclamée par la critique dans le "Paradise Road" de Bruce Beresford avec Glenn Close. Elle a également joué dans "The Traveler" avec Bill Paxton. Ses films les plus récents comprennent "The Newton Boys" avec Matthew McConaughey, et "A Price Above Rubies" avec Renee Zellweger.

Julianna est fiancée à Ron Eldard (l'interprète de Shep), rencontré sur le tournage de la série. Elle a choisi de quitter Urgences à la fin de la saison 6. Gagnante en 1995 d'un Emmy Award pour le meilleur second rôle féminin dans une série dramatique, Julianna Margulies a reçu trois nominations consécutives aux Emmy pour le personnage de Carol Hathaway, l'infirmière en chef d'"Urgences". Elle a gagné en 1998 un Guild Arwards pour sa performance remarquable d'actrice féminine dans une série dramatique, et elle a également été nominée pour un Golden Globe Award.