Сначала Елизавета намеревалась выдворить "Брауншвейгскую семью" из России, но передумала, испугавшись, что за границей она будет опасна, и приказала посадить в тюрьму бывшую регентшу и ее мужа. В 1742 году в тайне для всех вся чета была переведена в предместье Риги - Дюнамюнде, затем в 1744 году в Орениенбург, а после, подальше от границы, на север страны - Холмогоры, где маленький Иван был полностью изолирован от родителей. Долгие северные походы сильно отразились на здоровье Анна Леопольдовны: в 1746 году она умерла.

Боязнь Елизаветы переворотов привела к новому путешествию Ивана. В 1756 году его перевезли из Холмогор в одиночную камеру в Шлиссельбургской крепости. В крепости Иван находился в полной изоляции, ему не разрешалось никого видеть, даже крепостных служителей. За все время заключения он так и не увидел ни одного человеческого лица. Однако документы свидетельствуют, что узник знал о своем царском происхождении, был обучен грамоте и мечтал о жизни в монастыре. В 1759 году у Ивана стали наблюдать признаки неадекватного поведения. Об этом с полной уверенностью утверждала и императрица Екатерина II, но тюремщики полагали, что это лишь жалкая симуляция.

Пока Иван был в заточении, предпринималось много попыток освободить свергнутого императора и вновь возвести на престол. Последняя попытка обернулась для молодого заключенного гибелью. В 1764 году, когда на российском престоле уже воссияла звезда молодой Екатерины II, подпоручик В. Я. Мирович, несший караульную службу в Шлиссельбургской крепости, склонил на свою сторону часть гарнизона, чтобы освободить Ивана. Но осторожная Елизавета, не забыв, с каким трудом ей досталась законная власть, приказала приставить к камере Ивана Антоновича двух сторожей, которые скорее умертвили пленника, чем выпустили бы его на волю. Как только в тюремных палатах было прослышано о заговоре, Иван был убит стражниками.