Несмотря на неудачу с разностной машиной, Бэббидж в 1834 году задумался о создании программируемой вычислительной машины, которую он назвал аналитической (прообраз современного компьютера). В отличие от разностной машины, аналитическая машина позволяла решать более широкий ряд задач. Именно эта машина стала делом его жизни и принесла посмертную славу. Он предполагал, что построение новой машины потребует меньше времени и средств, чем доработка разностной машины, так как она должна была состоять из более простых механических элементов. С 1834 года Бэббидж начал проектировать аналитическую машину.

Архитектура современного компьютера во многом схожа с архитектурой аналитической машины. В аналитической машине Бэббидж предусмотрел следующие части: склад (store), фабрика или мельница (mill), управляющий элемент (control) и устройства ввода-вывода информации.

Склад предназначался для хранения как значений переменных, с которыми производятся операции, так и результатов операций. В современной терминологии это называется памятью.

Мельница (арифметико-логическое устройство, часть современного процессора) должна была производить операции над переменными, а также хранить в регистрах значение переменных, с которыми в данный момент осуществляет операцию.

Третье устройство, которому Бэббидж не дал названия, осуществляло управление последовательностью операций, помещением переменных в склад и извлечением их из склада, а также выводом результатов. Оно считывало последовательность операций и переменные с перфокарт. Перфокарты были двух видов: операционные карты и карты переменных. Из операционных карт можно было составить библиотеку функций. Кроме того, по замыслу Бэббиджа, Аналитическая машина должна была содержать устройство печати и устройство вывода результатов на перфокарты для последующего использования.

Для создания компьютера в современном понимании оставалось лишь придумать схему с хранимой программой, что было сделано 100 лет спустя Эккертом, Мочли и Фон Нейманом.

Бэббидж разрабатывал конструкцию аналитической машины в одиночку. Он часто посещал промышленные выставки, где были представлены различные новинки науки и техники. Именно там состоялось его знакомство с Адой Августой Лавлейс (дочерью Джорджа Байрона), которая стала его очень близким другом, помощником и единственным единомышленником. В 1840 году Бэббидж ездил по приглашению итальянских математиков в Турин, где читал лекции о своей машине. Луиджи Менабреа, преподаватель туринской артиллерийской академии, создал и опубликовал конспект лекций на французском языке. Позже Ада Лавлейс перевела эти лекции на английский язык, дополнив их комментариями по объёму превосходящими исходный текст. В комментариях Ада сделала описание ЦВМ и инструкции по программированию к ней. Это были первые в мире программы. Именно поэтому Аду Лавлейс справедливо называют первым программистом. Однако, аналитическая машина так и не была закончена. Вот, что писал Бэббидж в 1851 году: «Все разработки, связанные с Аналитической машиной, выполнены за мой счёт. Я провёл целый ряд экспериментов и дошёл до черты, за которой моих возможностей не хватает. В связи с этим я вынужден отказаться от дальнейшей работы». Несмотря на то, что Бэббидж подробно описал конструкцию аналитической машины и принципы её работы, она так и не была построена при его жизни. Причин этому было много. Но основными стали полное отсутствие финансирования проекта по созданию аналитической машины и низкий уровень технологий того времени. Бэббидж не стал в этот раз просить помощи у правительства, так как понимал, что после неудачи с разностной машиной ему всё равно откажут.

Только после смерти Чарльза Бэббиджа его сын, Генри Бэббидж, продолжил начатое отцом дело. В 1888 году Генри сумел построить по чертежам отца центральный узел аналитической машины. А в 1906 году Генри совместно с фирмой Монро построил действующую модель аналитической машины, включающую арифметическое устройство и устройство для печатания результатов. Машина Бэббиджа оказалась работоспособной, но Чарльз не дожил до этих дней.

В 1864 году Чарльз Бэббидж написал: «Пройдёт, вероятно, полстолетия, прежде чем люди убедятся, что без тех средств, которые я оставляю после себя, нельзя будет обойтись». В своём предположении он ошибся на 30 лет. Только через 80 лет после этого высказывания была построена машина МАРК-I, которую назвали «осуществлённой мечтой Бэббиджа». Архитектура МАРК-I была очень схожа с архитектурой аналитической машины. Говард Айкен на самом деле серьёзно изучал публикации Бэббиджа и Ады Лавлейс перед созданием своей машины, причём его машина идеологически незначительно ушла вперёд по сравнению с недостроенной аналитической машиной. Производительность МАРК-I оказалась всего в десять раз выше, чем расчётная скорость работы аналитической машины.