Lettland möter Sverige i sista omgången och om inte Tjeckien och USA kryssar efter 60 minuter i sitt möte på måndagen finns slutspelschansen kvar. Sverige och Lettland möts på tisdag.
Lettland låg under med både 0–2 och 1–3.
Inför den sista perioden var underläget 2–3, men två mål i numerärt överläge gav segern.
Andris Dzerins blev matchvinnare när han gjorde 4–3 efter 13.11 av tredje perioden.
Lettland tvingades till ett målvaktsbyte i den andra perioden när Elvis Merlikins, Columbus, fick bryta matchen på grund av skada.
Lettland ligger femma på åtta poäng, två bakom Tjeckien och USA, men har förlorat mot bägge lagen. De fyra främsta lagen går vidare från gruppspelet.
Jumbon Storbritannien har fortfarande chansen att hålla sig kvar i A-VM, men måste vinna den helt avgörande matchen mot Österrike i ordinarie tid på måndagen för att rädda sig kvar.
I grupp A vann Tyskland över gruppjumbon Kazakstan med knappa 5–4 och gick förbi Kanada, som har en match mindre spelad, och upp på andra plats bakom Schweiz.