Учился в Институте корпуса гражданских инженеров в Петербурге (1854-56), на юридическом факультете Московского университета (1860-62). Затем привлечён отцом к участию в его предприятиях. В 1860-х гг. кандидат в члены правления и член правления Общества Московско-Ярославской железной дороги. В 1869 унаследовал часть состояния отца. С 1872 директор Общества Московско-Ярославской железной дороги. В 1870-х гг. купец 1-й гильдии, избран гласным Городской думы, членом Общества любителей коммерческих знаний. С 1894 председатель правления преобразованного Общества Московско-Ярославско-Архангельской железной дороги, где Мамонтов был главным акционером. Одновременно Мамонтов создавал конгломерат связанных между собой предприятий.

Долги, сделанные Мамонтовым в попытке финансировать грандиозный проект, ошибки и нарушения финансового законодательства вызвали крушение мамонтовского дела. В 1899 Мамонтов арестован, заключён в Таганскую тюрьму. В 1900 Московский окружной суд признал отсутствие корыстного умысла в его действиях, однако объявил Мамонтова несостоятельным должником. Впоследствии он отошёл от активного предпринимательства. С 1867 Мамонтов вместе с женой Е.Г. Мамонтовой (дочь Г.Г. Сапожникова) жил в доме на Садовой-Спасской улице (ныне д. 6), подаренном ему отцом. Дом неоднократно перестраивался и из небольшого двухэтажного постепенно превратился в крупный особняк; флигель выстроен по проекту М.А. Врубеля. При доме был обширный зимний сад.

В 1870 Мамонтов приобрёл на имя жены у С.Т. Аксакова имение Абрамцево близ станции Хотьково Московско-Ярославской железной дороги. В конце 1860-х - 70-х гг. в московском особняке Мамонтова и в Абрамцеве формировался «мамонтовский кружок», в который входили художник и архитектор В.А. Гартман, скульптор М.М. Антокольский, искусствовед А.В. Прахов, художники И.И. Левитан, Н.В. Неврев, И.Е. Репин, А.М. Васнецов, В.М. Васнецов, Врубель, В.А. Серов, В.Д. Поленов, К.А. Коровин. Многие из произведений этих художников вошли в художественное собрание Мамонтова. Его коллекция в московском особняке включала также картины Н.А. Ярошенко, В.Е. Маковского, И.С. Остроухова, В.Г. Перова.

В конце 1900, после суда, Мамонтов поселился в Бутырском проезде у Бутырской заставы при гончарном заводе «Абрамцево» (основан в 1889, переведён в Москву в 1896). Изделия завода продавались в Москве и Петербурге, удостоены золотой медали и приобретены французским правительством на Всемирной выставке 1900 в Париже. Весной 1902 дом Мамонтов на Садовой-Спасской, стоявший опечатанным после его ареста, распродан вместе с коллекцией для уплаты долгов. Несколько картин благодаря вмешательству Серова и Остроухова были приобретены для Третьяковской галереи, некоторые - Русским музеем, другие - частными коллекционерами. А.А. Бахрушин купил рояль, на котором учился играть Ф.И. Шаляпин. Ему же Мамонтов завещал большую часть своего архива. Похоронен в Абрамцеве.