Родился в 1781 году в семье пензенского губернского предводителя дворянства Алексея Емельяновича Столыпина и Марии Афанасьевны, урождённой Мещериновой. Его старшая сестра Елизавета - любимая бабушка М. Ю. Лермонтова.
В военную службу вступил в 1795 году, служил в Кинбурнском драгунском полку. В 1800 году произведён в майоры и в 1808 году получил чин подполковника. 26 января 1810 года назначен командиром Ямбургского уланского полка. 7 октября 1812 года произведён в полковники. Во время Отечественной войны 1812 года блестяще проявил себя в сражении 26 октября под Витебском и за отличие был представлен к ордену св. Георгия 4-й степени. Однако император Александр I своим рескриптом от 31 июля 1813 года заменил 4-ю степень ордена св. Георгия на 3-ю степень. В Заграничных кампаниях 1813 и 1814 годов Столыпин особенно отличился под Данцигом. 1 июня 1815 года был переведён на должность командира в Оренбургский уланский полк и здесь он находился до 19 июля 1818 года, когда был произведён в генерал-майоры. С 1826 года, состоя в чине генерал-лейтенанта, был начальником 3-й уланской дивизии. В 1829-1830гг. – военный губернатор Севастополя.
В конце весны 1830 года он находился в Севастополе на губернаторской должности, когда там вспыхнул бунт, и был растерзан толпой.