В начале и середине первого тысячелетия нашей эры в зоне междуречья Волги и Оки обитали позднегородецкие и пьяноборческие племена, которые и были предками современных народностей мокша и эрзя. Племена активно взаимодействовали с персами, славянами, в раннем Средневековье очутились под влиянием Хазарского каганата.

В IX-XIII веках территория проживания мордовцев попала в зону интересов Волжской Булгарии и Руси. В одной из летописей упоминается, что уже в XII столетии мордва платила Владимиру Мономаху дань медом. Однако позже народ захватили татаро-монголы, под влиянием которых мордовцы находились до XVI столетия, а после падения Казани присоединились к Ивану Грозному.

Активная христианизация и колониальная политика не пришлись по нраву народу, поэтому часть из них мигрировала в соседние, уральские или южные регионы. Оставшиеся же на исторической родине мордовцы не раз поднимали восстания за независимость, однако все они быстро подавлялись.