Dzimis kalpa ģimenē Martinišķu muižā, Žagares tuvumā, Lietuvā. Mācījies Šķibes pagastskolā. Bijis laukstrādnieks, vēlāk strādnieks Rīgā. Par mēģinājumiem nodibināt Kurzemē laukstrādnieku biedrību ticis vajāts un no 1902. līdz 1903. gadam vairākkārt apcietināts. 1904. gadā emigrē uz Ziemeļameriku, kur bijis strādnieks, tad skolotājs. Mācījies Leklēras un Valparaiso koledžā, studējis Viskonsinas universitātē tautsaimniecību (1907–1912). No 1913. gada Šmits strādā Čikāgas universitātes bibliotēkā. Sastāda Čikāgas publiskās bibliotēkas latviešu grāmatu bibliogrāfijas rādītāju "Latvian books" ("Latviešu grāmatas", 1929). 1913.–1914. gadā rediģējis žurnālu "Kanādietis", kas iznāca Vinipegā. 1922.gadā iebraucis Liepājā, pēc tam atkal atgriezies ASV. Miris pēkšņā nāvē vilcienā, ceļā no Čikāgas uz Ņūorleānu. Apglabāts Ņūorleānā.
Šmits rakstījis stāstus un tēlojumus, kas publicēti almanahā "Jauna raža", žurnālā "Austrums", laikrakstā "Dienas Lapa" un citos izdevumos. Pirmā publikācija - tēlojumi "Saprašanās" un "Skaņu valstī" ("Jauna raža", nr. 3, 1899). Šmita prozā galvenokārt mīlestības tematika. Periodikā publicē arī rakstus par sabiedriskajiem jautājumiem ar pseidonīmiem Febs un Enejs.

1913.gadā par Jāņa Šmita dzīvesbiedri kļūst bibliotekāre Grācija Šmite.