Действия Конева на посту командующего армией были высоко оценены Сталиным. Командовал войсками Западного фронта чуть более месяца (сентябрь — 10 октября 1941 года), за это время фронт под его командованием потерпел одно из тяжелейших поражений за всю войну в так называемой Вяземской катастрофе. Потери войск фронта составили, по разным оценкам, от 400 000 до 700 000 человек погибшими и попавшими в плен.

С января 1942 года имя Конева тесно связано с тяжелейшей и малоудачной для советских войск Ржевской битвой, его войска участвовали в Ржевско-Вяземской операции 1942 года, потерпели новое поражение в Холм-Жирковской оборонительной операции.

Провёл Первую Ржевско-Сычёвскую операцию и операцию «Марс», в которых войска Западного фронта при огромных потерях добились лишь незначительного продвижения на несколько десятков километров.

В феврале 1943 года также неудачно была проведена Жиздринская операция.

22—26 февраля окончилась провалом наступательная операция войск 5-й армии по освобождению Гжатска.

В итоге 27 февраля 1943 года Конев был снят с поста командующего Западным фронтом с формулировкой «как не справившегося с задачами руководства фронтом».

14 марта 1943 года был назначен командовать гораздо менее важным Северо-Западным фронтом. Однако и там ему не удалось отличиться, войска этого фронта понесли тяжёлые потери и не добились успеха в Старорусской операции.

Считается одним из самых искусных советских полководцев во Второй мировой войне.