Впервые Бэббидж задумался о создании механизма, который позволил бы производить автоматически сложные вычисления с большой точностью, в 1812 году. На эти мысли его натолкнуло изучение логарифмических таблиц, при пересчёте которых были выявлены многочисленные ошибки в вычислениях, обусловленные человеческим фактором. Ещё тогда он начал осмысливать возможность проведения сложных математических расчётов при помощи механических аппаратов.

Также очень большое влияние на Бэббиджа оказали работы французского учёного барона де Прони, который предложил идею разделения труда при вычислении больших таблиц (логарифмических, тригонометрических и др.). Он предлагал разделить процесс вычисления на три уровня. Первый уровень — несколько выдающихся математиков, подготавливающих математическое обеспечение. Второй уровень — образованные технологи, которые организовывали рутинный процесс вычислительных работ. А третий уровень занимали сами вычислители, от которых требовалось лишь умение складывать и вычитать. Идеи Прони навели Бэббиджа на мысль о замене третьего уровня (вычислителей) механическим устройством.

Однако Бэббидж не сразу начал заниматься развитием идеи построения вычислительного механизма. Лишь в 1819 году, когда он заинтересовался астрономией, он более точно определил свои идеи и сформулировал принципы вычисления таблиц разностным методом при помощи машины, которую он впоследствии назвал разностной. Эта машина должна была производить комплекс вычислений, используя только операцию сложения. В 1819 году Чарльз Бэббидж приступил к созданию малой разностной машины, а в 1822 году он закончил её строительство и выступил перед Королевским Астрономическим обществом с докладом о применении машинного механизма для вычисления астрономических и математических таблиц. Он продемонстрировал работу машины на примере вычисления членов последовательности. Работа разностной машины была основана на методе конечных разностей. Малая машина была полностью механической и состояла из множества шестерёнок и рычагов. В ней использовалась десятичная система счисления. Она оперировала 18-разрядными числами с точностью до восьмого знака после запятой и обеспечивала скорость вычислений 12 членов последовательности в 1 минуту. Малая разностная машина могла считать значения многочленов 7-й степени.

За создание разностной машины Бэббидж был награждён первой золотой медалью Астрономического общества. Однако малая разностная машина была экспериментальной, так как имела небольшую память и не могла быть использована для больших вычислений.