Kara laikā tēvs viņam izgādāja dažādus darbus, tostarp arī loča dienestā, kas viņu pasargāja no iesaukšanas armijā. Tomēr 1943. gada martā Alfrēdu iesauca  vācu armijas palīgdienestā.

Alfrēdu nosūtīja uz Volhovas purviem rakt tranšejas, jaunajam vīrietim bijis ietiepīgs raksturs, viņš nereti runāja pretī augstākstāvošajiem, par to arī ticis sodīts. Aiz pārpūles darbā un bada viņš saslima ar mazasinību. Tuvojoties 1944. gada rudenim, Alfrēdu nogādāja kara hospitālī. Vecākiem tika paziņots, ka visticamāk dēls slimības dēļ mirs. Kad vācu armija atkāpās, Alfrēds, līdz ar pārējiem, no armijas hospitāļa tika evakuēts uz Vāciju. Vēl ilgi pēc kara beigām ģimene nezināja, kas noticis ar dēlu.

Tā kā Alfrēds bija kalpojis vācu dienestā, atgriezties pie savas ģimenes jau Padomju Latvijā viņš nevarēja.Pēc kara Alfrēds devās uz Austrāliju labākas dzīves meklējumos, kur viņš pavadījis raibu mūžu. Trīs reizes precējies, uzaudzinājis divus dēlus un meitu Debru. Alfrēds uzbūvējis arī pats savu laivu, jo, līdzīgi kā tēvs un jaunākais brālis, bijis kaislīgs burātājs. Māte viņu vienīgo reizi apciemo 1973. gadā, Žanis - četrus gadus vēlāk.

Iestājoties vācu armijas palīgdienestā, Alfrēds Lipke paglāba savu tēvu, māti, jaunāko brāli, cilvēkus, kas slēpās bunkuros, kā arī pārējos iesaistītos. Visu atlikušo dzīvi Alfrēds ilgojās pēc ģimenes un savām dzimtajām mājām.