Joshua Winslow Groban va néixer a Los Angeles, Califòrnia, el 27 de febrer de 1981. El seu pare té ascendència jueva rus-polonesa però convertit al cristianisme i la seva mare és d'ascendència noruega. Chris, el seu germà menor, va néixer el mateix dia que ell, però quatre anys després. Va debutar com a cantant en setè curs, però després ho va deixar per uns anys. Entre 1997 i 1998 va assistir al centre Interlochen Arts Camp en Míchigan, seguint cursos de teatre musical, és quan va començar a prendre lliçons de vocalització fora de l'escola. A més, el 1998 va conèixer al seu mentor i productor David Foster. Va assistir als Angeles County High School for the Arts i es va graduar en 1999. Més tard, es va llicenciar en art dramàtic a la Universitat Carnegie Mellon i un any després el va contractar Warner Bros Records gràcies a David Foster. Groban va treballar amb Foster com a cantant d'assajos en diversos espectacles molt reconeguts, incloent el lliurament de Grammys de 1999, on, com a substitut d'Andrea Bocelli, va assajar "The Prayer" amb Céline Dion.