Quando iniziarono le ostilità con lo scoppio della seconda guerra mondiale, lo Zero veniva ritenuto il miglior caccia basato su portaerei del mondo, perché associava una eccellente manovrabilità ad una autonomia molto estesa. Nei primi combattimenti aerei, lo Zero si guadagnò una leggendaria reputazione come "cacciatore", ma nel 1942 le nuove tattiche di combattimento consentirono ai piloti Alleati di ingaggiare duelli in termini più equilibrati. La Marina Giapponese utilizzò frequentemente il velivolo anche basandolo a terra. Nel 1943, le debolezze insite nel progetto originale e la crescente indisponibilità di motori aeronautici più potenti, portarono gli Zero a diventare meno efficaci contro i caccia americani di generazione successiva, dotati di maggiore potenza di fuoco, corazzatura, velocità e che cominciarono ad avvicinarsi ai livelli di manovrabilità dell'aereo giapponese. Sebbene l'A6M fosse superato nel 1944, rimase in produzione. Negli ultimi anni del conflitto, dei 10 937 esemplari prodotti, molti furono trasformati in kamikaze.
I primi A6M2 divennero operativi nel luglio 1940 e, pochi mesi dopo, ebbero il battesimo del fuoco in Cina. Gli Zero ottennero le prime vittorie aeree il 12 settembre 1940, quando tredici Mitsubishi guidati dal Tenente Saburo Shindo attaccarono ventisette Polikarpov I-15 e I-16 dell'aeronautica della Cina Nazionalista. A fronte di nessun aereo perso, gli Zero distrussero l'intero contingente di caccia cinesi. Prima che, dopo un anno, fossero rischierati, gli Zero avevano distrutto novantanove aerei cinesi. Solo due caccia Mitsubishi erano andati perduti e per fuoco da terra. All'entrata in guerra del Giappone, gli Zero costituivano la punta di forza della componente aerea imbarcata. Grazie a una combinazione di eccellente maneggevolezza e potenza di fuoco, il caccia della Mitsubishi si sbarazzò con facilità dell'eterogenea collezione di aerei Alleati inviatigli frettolosamente contro, mentre il suo enorme raggio operativo (di oltre 2.600 km) gli permetteva di apparire su fronti così distanti da dare ai comandanti Alleati l'errata convinzione che i giapponesi disponessero di un numero di Zero assai superiore a quello reale. In realtà, all'epoca dell'attacco di Pearl Harbor c'erano solo 420 Zero attivi nel Pacifico. Il modello 21 imbarcato su portaerei era il tipo incontrato più spesso dagli americani, spesso molto più lontano dalla sua portaerei di quanto atteso. Lo Zero si guadagnò rapidamente una grande reputazione. Da Pearl Harbor in poi, fino alla battaglia delle Midway del giugno 1942, mantenne incontrastato il dominio del cielo. Fu proprio in questo periodo che entrò in linea la seconda principale versione dello Zero, la A6M3, potenziata nel motore e nell'armamento. Comunque fallì nel raggiungere una completa superiorità a causa di alcuni limiti strutturali e dello sviluppo di tattiche innovative da parte degli Alleati che utilizzavano il vantaggio del volo in formazione e del supporto mutuo sistematico.
Il modello 22
Per correggere le mancanze del Modello 32 venne introdotta una nuova versione del Modello 21 con ali pieghevoli, nuovi serbatoi di carburante nelle ali e punti di aggancio per un serbatoio sganciabile da 330 litri sotto ogni ala. La scorta di carburante venne pertanto incrementata a 570 litri, recuperando in tal modo l'autonomia perduta.
Con il ritorno alla fusoliera originaria, mantenendo il motore, questa versione ricevette la designazione navale di Modello 22, mentre la Mitsubishi lo chiamò A6M3A. Il nuovo modello iniziò la produzione in dicembre e ne vennero prodotti 560. Vennero anche prodotti alcuni esemplari armati con un cannone da 30 mm Tipo 5, con la designazione di A6M3b (Modello 22b)