Bottenlaget chockade ligaledaren med att ha 2–0 redan efter en knapp kvart.
Aaron Ramsdale bjöd Carlos Alcaraz på ledningsmålet efter en halvminut. Arsenalmålvakten stod för en jätteblunder när han serverade Alcaraz bollen via ett misslyckat uppspel.
Förre Arsenalspelaren Theo Walcott följde upp med att rulla in 0–2-målet efter nytt grovt slarv av hemmalaget.
I det läget samlade Oleksandr Zintjenko hemmalaget för ett allvarligt samtal. Det gav effekt. Några minuter senare skickade Gabriel Martinelli in reduceringen som gav kontakt.
Arsenal öste på, men fick väldigt lite vettigt uträttat i chansväg.
Tidigare under säsongen hamnade Arsenal i ett 0–2-underläge hemma på Emirates mot Bournemouth. Den gången lyckades klubben vända till 3–2-seger djupt in på tilläggstid.
Inget talade för att något liknande skulle hända igen.
I stället för kvittering gick Zintjenko bort sig i markeringen på en hörna och Duje Caleta-Car nickade in 1–3.
Ridå för ett Arsenal? Inte alls.
Martin Ødegaards sena 2–3-reducering följdes upp med Bukayo Sakas kvittering i 90:e minuten.
På tilläggstid prickade Leandro Trossard ribban, en av många heta chanser till ett segermål och en sensationell vändning.
Londonklubben leder fortfarande ligan, men jagande Manchester City, fem poäng bakom, har två matcher färre spelade och på onsdag i nästa vecka kommer Arsenal till Etihad Stadium i Manchester.
En match Arsenal sannolikt måste ta poäng i för att vinna ligan för första gången sedan 2004.