О детстве и юности Остермана почти ничего не известно. Сын лютеранского пастора. Считается, что он учился в университете Йены, откуда, обвиненный в убийстве, бежал сперва в Эйзенах, а затем в Амстердам. Здесь в 1703 он был впервые принят на русскую службу. Поскольку в это время ему было не более семнадцати лет, очевидно, что глубокого образования Остерман получить не успел, однако он владел немецким, французским, голландским, итальянским и латынью, а впоследствии в совершенстве освоил русский язык. Именно знание иностранных языков стало залогом его успешной карьеры и в 1708 он стал переводчиком Посольского приказа, служа в Походной канцелярии Петра I. По-видимому, он довольно быстро зарекомендовал себя исполнительным чиновником, отличавшимся ясным умом, четкостью мышления, способностью принимать самостоятельные решения. В общении с окружающими он умел быть гибок, а позднее, занимая высшие государственные посты, проявил себя мастером закулисной политической интриги. В течение многих лет Остерман умел сохранять власть, всякий раз уходя в тень (нередко сказываясь больным) в самые критические моменты. Как дипломат, он умел часами вести переговоры с иностранными представителями, не говоря ни «да», ни «нет» и не отвечая прямо ни на один поставленный вопрос. Политические взгляды Остермана отличались откровенным прагматизмом. По-видимому, он не испытывал патриотических чувств ни по отношению к России, ставшей его второй родиной, ни по отношению к Германии или какой-то другой стране, но он был верным учеником Петра I, в своей практической деятельности всегда ставил на первое место интересы государства. Современники не любили Остермана за его хитрость, изворотливость, двуличность. К тому же в быту он был патологически нечистоплотен и общение с ним было настоящим испытанием для собеседников.

Первые дипломатические поручения были даны Остерману царем уже в 1710, когда он был послан сперва к польскому королю Августу II, а затем в Пруссию и Данию. В 1711 во время Прутского похода он вместе с П. П. Шафировым участвовал в переговорах с турками, а в 1713-15 выезжал с дипломатическими миссиями в Берлин и Амстердам. В 1717 Остерману было поручено сопровождать Я. В. Брюса на Аландский конгресс, где он фактически играл основную роль. Уже в 1720 он был назначен тайным советником Коллегии иностранных дел, а в 1721 подписал от имени России Ништадтский мир со шведами, после чего был пожалован титулом барона и чином тайного советника.

Остерман также считается основным автором петровской «Табели о рангах».

Расцвет карьеры Остермана пришелся на время после смерти Петра I. В 1725 Екатерина I сделала его вице-канцлером и действительным тайным советником, в 1726 он стал членом Верховного тайного совета. При этом впервые в его ведении оказалась не только внешняя политика, но и дела внутреннего управления: под его началом оказались почты и Комиссия о коммерции. Остерман много сделал для установления регулярного почтового сообщения между важнейшими городами страны, а также для налаживания торговли. По инициативе Комиссии о коммерции был открыт для внешней торговли Архангельский порт, восстановлены торговые связи с Хивой и Бухарой, в 1729 введен в действие первый в России вексельный устав, а в 1734 — новый таможенный тариф. Одновременно с этим время Екатерины I было для Остермана временем торжества его внешнеполитической доктрины, важнейшее место в которой занял заключенный в 1726 союзный договор с Австрией, надолго определивший направленность внешней политики России. В 1727 он был пожалован орденом Андрея Первозванного и назначен обер-гофмейстером великого князя Петра Алексеевича (будущего императора Петра II). После смерти Екатерины I он явился главным организатором заговора против А. Д. Меншикова и, когда тот был сослан, фактически возглавил правительство. Впрочем, он безуспешно боролся за влияние на нового императора с князьями Долгорукими и лишь в последние месяцы его жизни сумел добиться некоторых успехов. Неучастие Остермана в «затейке верховников» 1730 обеспечило ему сохранение могущества и в царствование Анны Иоанновны. Уже по восшествии ее на престол он был возведен в графы, назначен сенатором, а с 1731 был кабинет-министром, причем с 1734 , после смерти Г. И. Головкина, стал первым кабинет-министром. На протяжении всего царствования Анны Остерману удавалось успешно балансировать между фаворитом императрицы Э. И. Бироном и другими членами кабинета, фактически руководя не только внешней политикой, но и участвуя в принятии важнейших политических решений. Так, с 1733 он возглавлял военно-морскую комиссию и немало сделал для упорядочения судостроительства. Во время предсмертной болезни Анны Иоанновны и назначения Бирона регентом Остерман сумел остаться в тени, но затем поддержал переворот, возглавленный Б. К. Минихом. После этого он получил чин генерал-адмирала и оставался главным советником Анны Леопольдовны в течение всего ее правления. Остерман был осведомлен о готовящемся против нее новом заговоре и безуспешно пытался убедить правительницу принять превентивные меры.

С воцарением в ноябре 1741 императрицы Елизаветы Петровны Остерман был арестован, предан суду и приговорен к смертной казни. Больного, его на носилках взнесли на эшафот, где был зачитан указ императрицы о замене казни ссылкой в Сибирь. Отправленный в Березов, Остерман прожил там еще несколько лет.