Jau pašā vārdā „tostermaize" slēpjas atslēga tās nozīmei, jo „tostum" latīņu valodā apzīmē grauzdēšanu, apdedzināšanu.
Kopš seniem laikiem maizes tostēšana jeb grauzdēšana bija veids, kā pagarināt maizes mūžu, turklāt to darot pie ugunskura, nevis ērtās maizes krāsnīs vai īpašās ierīcēs. Tomēr „agrīnajai" tostermaizei bija savi trūkumi: klaips bija par lielu, lauzts maizes gabals mēdza sadrupt, apdedzinot ēdāja pirkstus, savukārt no apaļām maizītēm sviests kusa un tecēja nost. Galu galā vispiemērotākā grauzdēšanai izrādījās tieši maizes šķēle.
Maizi šķēlēs, protams, varēja sagriezt ar nazi, tomēr par īstu apvērsumu tostermaizes vēsturē kļuva maizes griešanas iekārtas izgudrošana.
1912. gadā ASV Otto Frederiks Roveders radīja ierīci, kurā maizes klaipu pirms sagriešanas turēja cepures adatas, tomēr tas nebija īpaši veiksmīgs risinājums. 1928. gadā tapa mašīna, kas sagrieza maizi un iesaiņoja to speciālā papīrā, tādējādi pasargājot no sakalšanas. Kopš tiem laikiem angļu valodā ar teicienu "The greatest thing since sliced bread" (Lieliskākā lieta kopš sagrieztas maizes) apzīmē izcilus sasniegumus un izgudrojumus.
Senatnē maizi grauzdēja, turot virs uguns vai noliekot uz karsta akmens, bet, laikam ejot, cilvēki izgudroja dažādas palīgierīces – rāmjus un režģus, lai neapdedzinātu pirkstus.
Kādā sadzīves tehnikas muzejā Masačūsetā, ASV, var apskatīt dzelzs režģi, kurā ieslidināja maizes šķēles, bet pašu ierīci novietoja virs uguns. Režģi varēja pagriezt, un sievietes to mēdza pagrūst ar kurpes purngalu. Iespējams, ka tā esot radies vārdu salikums „toe stir" (kustināt purngalu), kas vēlāk pārveidojies par „toaster" jeb tosteri.
Pirmais elektriskais tosteris tika radīts 1893. gadā Lielbritānijā, bet no jauna izgudrots 1909. gadā ASV. Jaunizgudrojums maizi apgrauzdēja tikai no vienas puses, un kādam vajadzēja ar rokām šķēli apgriezt uz otru pusi, kad tā izskatījās gatava. Moderno tosteri, no kura maize izlec pati, izgudroja Čārlzs Straits 1919. gadā ASV.
Pagājušā gadsimta 40-tajos gados pasauli pārņēma īsts tostēšanas bums, bet Latvijā tosterus un tostermaizi sāka iepazīt vien 90-tajos gados. Daudzi karsto siermaizīšu cienītāji kļuva neuzticīgi cepeškrāsnīm un pievērsās tosteriem. Maiznieki sāka piedāvāt pilnīgi jauna veida maizi – tostermaizi, kuras garšas un aromāta īpašības vislabāk izpaužas tieši pēc grauzdēšanas. Mūsdienās tostermaize tiek uzlabota ar dažādām veselīgām piedevām (Druva tostermaize ar klijām, Fazer tostermaize ar rudzu šķiedrvielām, Mmm... Mana tostermaize Sēklu u.c.), lai ikkatrs var atrast sev ko piemērotu plašajā tostermaižu piedāvājumā.