Baumgartner era un actor de carácter del día a día antes de obtener el cómodo papel regular del contador Kevin Malone en “The Office”, que ocupó entre 2005 y 2013. – variedad “oye, es ese tipo”. Pero Baumgartner trabaja mucho.
Desde 2013, ha conseguido alrededor de dos docenas de papeles como invitado, que abarcan uno o dos episodios, en una amplia variedad de programas de televisión, cable y transmisión. Entre sus muchas apariciones especiales y apariciones recurrentes se encuentran trabajos en dramas y comedias, como “Mike and Molly”, “Criminal Minds”, “Law and Order: Special Victims Unit”, “The Bridge”, “Hot in Cleveland”, “Scream Queens”, “Blunt Talk”, “Chicago Fire”, “Hand of God”, “Melissa and Joey”, “Sneakerheads”, “Life in Pieces”, “Good Behavior” y “The Goldbergs”. También ha prestado su voz a proyectos dirigidos a niños como “Trash Truck” y “Summer Camp Island”.