Beidzis Rīgas Daiļamatniecības vidusskolu. No 1944. gada līdz 1950. gadam mācījies Latvijas Mākslas akadēmijas Tēlniecības nodaļā, kuru beidza ar diplomdarbu – stājportretu „Jānis Rainis” (diplomdarba vadītājs T. Zaļkalns).

Jau no 1950. gada regulāri piedalījies republikas un Vissavienības mākslas izstādēs. Būdams vēl Mākslas akadēmijas students, V. Albergs piedalījās Salaspils nometnes upuru pieminekļa konkursā, kurā saņēmis I prēmiju. No 1950. gada ir Mākslinieku savienības biedrs, 1971. gadā viņam piešķirts Latvijas PSR Nopelniem bagātā mākslas darbinieka goda nosaukums.

Kopš 1968. gada strādājis par pedagogu Mākslas akadēmijā. 1983. gadā kļūst par Mākslas akadēmijas profesoru.

Sākumā V. Albergs darbojies stājtēlniecībā. Pazīstamākie darbi – „J. Šilfs-Jaunzems un A. Arājs-Bērce” (1957), „Čellists”(1963), „Audriņi. Sena tēma” (1965). Sākot no 60. gadu beigām strādāja galvenokārt monumentālajā tēlniecībā – piemineklis Lielā Tēvijas kara cīnītājiem Vietalvā (1968, līdzautori tēlniece Z. Zvāra, arhitekts E. Šēnbergs), Latviešu strēlnieku piemineklis (1971, arhitekti Dz. Driba un G. Lūsis-Grīnbergs), par kuru 1972. gadā piešķīra PSRS Valsts prēmiju., piemineklis 1905. gada revolucionāriem Rīgā 1905. gada revolūcijas parkā Grīziņkalnā (1975, arhitekti G. Lūsis-Grīnbergs un L. Kraukle), piemineklis I. Sudmalim Liepājā (1978, arhitekti I. Strautmanis un O. Ostenbergs).

Kopā ar Oto Kalēju veidojis figūras Dziesmu svētku estrādei.

Darbiem raksturīga vīrišķīgi skarba noteiktība, tēlu psiholoģiskais risinājums, monumentalitāte. Visvairāk lietotais materiāls – granīts.