IBM的歷史可以追溯到電子計算機發展前的幾十年，在電子計算機發展之前，它經營穿孔卡片數據處理設備。IBM于1911年6月15日在賓厄姆頓西幾英里處的紐約恩迪科特作為CTR公司注冊。三個獨立公司合并建立了CTR公司，它們是：列表機公司(1896年創立于華盛頓）、計算表公司(1901年創建于俄亥俄州代頓）和國際時代唱片公司(1900年創辦于紐約州恩迪科特）。那時列表機公司的總裁也即創辦人是Herman Hollerith。合并背后的關鍵人物是金融家Charles Flint，他召集三家公司的創始人提出兼并，并在CTR中任職直到1930年退休。

Thomas J. Watson是IBM的創始人，1914年擔任CTR總經理，1915年擔任總裁。1917年，CTR以國際商用機器有限公司進入加拿大市場，1924年2月14改名為國際商業機器公司（IBM）。

公司合并成CTR制造各種產品，包括員工計時系統、磅秤、自動切肉機，而且最重要的是發展計算機、穿孔卡片設備.一段時間CTR集中精力專做穿孔卡片，不再參與其他活動。

IBM在1932年投入巨資100萬美元建設第一個企業實驗室，這個實驗室在整個30年代的研發讓IBM在技術產品上獲得領先。在整個經濟大蕭條期間，IBM一直在研發和新產品上投資，它的產品比所有其他公司都更好、更快、更可靠，它因此贏得了獨家代理羅斯福新政會計項目的合同。1935年時IBM的卡片統計機產品，已經占領美國市場的85.7%，IBM公司因卡片機的大量銷售而積累雄厚的財力和強大的銷售服務能力，為以后成為計算機領域的主宰奠定了重要的基礎。

IBM與中國的緣分源遠流長。早在1934年，IBM 公司就為北京協和醫院安裝了第一臺商用處理機。1936年，IBM在遠東地區的第一個辦公室就設立在上海，為其在中國乃至整個東亞地區布局發展奠定了基礎。1937年，中國第一個越洋電話，就從IBM上海辦公室撥出，從此開辟了中國與世界連接的新途徑。