С детских лет он мечтал стать актёром. В 1940 году окончил театральную студию при Ленинградском театре музыкальной комедии и некоторое время работал актёром эстрады.
С началом Великой отечественной войны ушёл добровольцем на фронт и служил в разведке, пройдя практически всю войну до конца, от рядового до лейтенанта. Был кавалером ордена Красной Звезды и орденов Славы 2-й и 3-й степени. Такие награды дают за личное мужество. Считается, орден Славы – это советский аналог легендарного Георгиевского креста. Однако встретить победу в Берлине ему не удалось. Во время одного из боев он был сильно контужен и после длительного лечения в госпитале комиссован домой. На театральную сцену вернулся в 1946 году, став актёром труппы Ленинградского государственного театра музыкальной комедии. Яркий комедийный талант довольно быстро привлёк внимание и кинематографа. В 1961 году на экраны страны вышли сразу два фильма с участием Смирнова, которые имели хороший прием у публики: «Полосатый рейс» и «Вечерах на хуторе близ Диканьки».
Однако настоящее открытие Смирнова для всесоюзного кинозрителя произошло благодаря Леониду Гайдаю. В новелле «Вождь краснокожих» из фильма «Деловые люди» он доверил Смирнову роль Билла — добродушного увальня, решившего заработать себе на жизнь с помощью киднеппинга. Фильм имел прекрасный приём, причем львиная доля успеха выпала именно на новеллу «Вождь краснокожих», в которой помимо Смирнова участвовало ещё двое актеров: Георгий Вицин и Сережа Тихонов.
В 1965 году на экраны вышла культовая комедия Леонида Гайдая «Операция «Ы» и Другие приключения Шурика». Алексей Смирнов в этой картине исполнил роль хулигана и тунеядца Феди. Уже в первый год проката фильм посмотрела треть страны. В последующие годы он бессчётное количество раз демонстрировался по ТВ. В результате картина удостоилась редкой чести: она теперь — достояние коллективной памяти, органичная часть её «действующего фонда», отчего реплики персонажей, да и они сами ведут автономную жизнь.
Реплики типа «Надо, Федя, надо» уже принадлежат народу. Картина пережила эпоху, в которой появилась, став вневременным явлением. Острохарактерные комедийные роли сделали Смирнова любимцем советских зрителей, но сам актёр всегда мечтал играть драматические роли. Однако режиссёры и слышать не хотели о том, чтобы доверить этому увальню серьёзную роль. И только Леонид Быков увидел израненную душу Смирнова. Роль Макарыча в фильме «В бой идут одни старики» стала его лучшей ролью.

Заслуженный артист РСФСР Алексей Макарович Смирнов умер от разрыва сердца 7 мая 1979 года в Ленинграде.