Juhan Simmi haridustee algas Suislepa valla- ja Tarvastu kihelkonnakoolis. Viimases sai köster David Birkenthali käe all alus pandud ka viiuli- ja harmooniumimängule. 1898. aastal asus Simm õppima Tartu Reaalkooli, mille orkestris hakkas mängima algul viiulit, siis vioolat ja lõpuks tšellot. Tšellot mängis ta alates 1900. aastast ka Aleksander Lätte sümfooniaorkestris. Koos viiuldaja Heino Elleriga osales ta tšellomängijana ka Rudolf Tobiase asutatud Eesti esimese keelpillikvarteti tegemistes. Reaalkoolis asutas Simm aga meeskvarteti (kus laulis ise I tenorit), millele aastatel 1904–1907 lisandus Tartu Eesti Evangeeliumi Noortemeeste Seltsi koorijuhi amet.

Aastatel 1906–1910 õppis Simm Tartu ülikooli füüsika-matemaatikateaduskonnas, jätkates samal ajal oma muusikaharrastusi Eesti Üliõpilaste Seltsis Ühendus, Vene Muusikaarmastajate Ringis, muusikateatri alal "rattasõitjate seltsis" Taara. 1908. aastal asutas Simm omanimelise meeskoori, millest 1912. aastal kasvas välja Eesti Üliõpilaste Ühendatud Meestekoor, praegune Tartu Akadeemiline Meeskoor.

Pärast Reaalkooli lõpetamist tihenesid Simmi sidemed Vanemuisega, kus ta aastail 1906–1910 mängis orkestris tšellot, aastal 1905 proovis aga August Wiera käe all näitemänguski kaasa teha.

Pöördepunktiks Simmi elus sai 1912. aasta, kui ta Rudolf Tobiase õhutusel asus Berliini Sterni konservatooriumi õppima dirigeerimist Alexander von Fielitzi ning kompositsiooni Wilhelm Klatte juhendamisel. Aastal 1924 täiendas Simm end lisaks veel ka dirigeerimise alal Pariisi Grand Opera juures.

1914. aastal jätkus tegevus Vanemuises, mille muusikaetendusi jäi ta juhatama 1940. aastani. Aastatel 1916–1925 juhatas Simm ka Vanemuise Muusikaosakonna segakoori. 1923. aastal kasvas tema juhatatud vanemuislaste ansamblist Sinine Vares välja Tartu Meestelaulu Selts.

Veel oli Simm aktiivne Tartu, Pärnu ja Haapsalu suvemuusika korraldaja ja dirigent.

Simm oli VIII (1923), X (1933), XI (1938), XII (1947) ja XIII (1950) üldlaulupeo üldjuht, millele lisandusid arvukad kohalikud ja meestelaulupäevad.

Pedagoogilise tööga tegi Simm algust 1914/15 õppeaastal Treffneri gümnaasiumis, jätkates seda 1926–1927 ja 1944–1951 Tartu muusikakooli muusikateoreetiliste ainete ja dirigeerimisõpetajana.

Juhan Simmile välimuses oli iseloomulikuks tunnuseks suur juukselakk, mille tõttu on teda nimetatud ka Eesti Beethoveniks, ja mulgi murre. Tõelise mulgina oli ta uhke ja suurejooneline, kuid mitte upsakas ega eemaletõrjuv. Tema rõhutatud iseteadlikkus oli seotud abivalmiduse ja suuremeelsusega. Asjaolu, et tema kui populaarse muusikamehe ees olid avatud rikkaimate ärimeeste uksed, kasutas ta nii mõnigi kord selleks, et endaga kaasavõetud puudustkannatavale näitlejale kasvõi õhtusöök muretseda. Kui talt aga küsiti, palju ta laulupeo juhatamise eest nõuab, vastas kurjalt: "Egas ma siia teenima es tule!"

Aga tööd tuli Simmil palju teha. 1914. aastal abiellunud Juhan ja Alide Simmil (sünd. Ungerson) oli kolm last koolitada. Nii tuli otsida kõrvalteenistust suvemuusika ja muu näol.

„Küllap Simm teab, mis talle jutustavad pikkade aastate rähklemised taktikepiga käes. Ning ta laseb oma poega õppida ehitusinseneriks.“

30. detsembril 1938 kinkis Tartu linnavolikogu Juhan Simmile 1800-ruutmeetrise ehituskrundi Riia mnt 29, Oskar Lutsu krundi naabrusse. 1940. aastal valmis maja, mille õnnistas 8. juunil 1940 Tartu Peetri koguduse õpetaja Jaan Treumann.

5. juulil 1970 kogunes enamik Viljandimaa koore ja Juhan Simmi nimeline meeskoor Tartust (asutatud 1962; dirigent kuni 1999. aastani Peeter Lokk) Simmi sünnikohta Suisleppa teeneka muusikamehe mälestuslaulupeole. Juhatati Simmi isikliku taktikepiga. Eriti soojalt võeti vastu meistri enda laulud.