1948年，路德维格·古特曼爵士在英国斯托克曼德维尔组织了一场体育比赛，16名二战中脊髓受伤的老兵参加了比赛。四年后，来自荷兰的竞争对手加入进来。这项现在被称为残奥会的国际运动诞生了。

1960年，在罗马首次为残疾人运动员组织了奥运会风格的运动会。赛事在罗马奥运会结束后不久开幕，吸引了来自23个国家的400名运动员参加。他们在8个运动项目上展开了激烈争夺。

此后残奥会每四年举行一次，与奥运会在同一年举行、至今为止残奥会已经发展成为世界上最大的体育赛事之一，在促进社会包容方面做出了巨大贡献。

1964年东京奥运会之后，残奥会开始在不同于奥运会的城市举行，其中就包括1976年在瑞典恩舍尔兹维克举行的第一届冬季残奥会。同年在多伦多，随着其它类型残疾团体的加入，将不同的残疾团体汇聚在一起参加国际体育比赛的想法就此诞生。

奥运会和残奥会在不同的城市举办一直延续到1988年汉城夏季运动会和1992年阿尔贝维尔冬季运动会之前，在上述两届赛事中，奥运会和残奥会回到在同一城市举行的传统，残奥会比赛在奥运会后不久在相同的场馆举行。

2001年6月19日，国际奥委会和国际残奥委会签署了一项协议，旨在保护残奥会的组织工作，确保执行“一次申办，一个城市”的做法。

这意味着希望主办奥运会的城市必须自动将残奥会纳入其申办计划。该协议在2008年北京残奥会时开始生效，之后的2010年温哥华冬季残奥会同样如此。

自2002年盐湖城奥运会以来，同一个奥组委需要肩负组织和举办奥运会和残奥会的重任。奥运会和残奥会运动员住在相同的奥运村，享受同样的餐饮服务、医疗保健以及配套设施。奥运会的票务、技术和交通系统无缝延伸到残奥会。

如今，就门票销售而言，残奥会是世界第三大体育赛事；只有奥运会和国际足联世界杯的票比残奥会卖的更好。

2016年里约残奥会吸引了来自159个国家的4328名运动员参赛，他们参加了22个运动项目的争夺。一个由两名难民运动员组成的独立残奥会运动员团队也参加了比赛。那届残奥会在150多个国家吸引了创纪录的41亿电视观众，售出了215万张门票。

在残奥会之前，里约市投资改善基础设施，造福残奥会和未来几代人。包括让所有人都能够抵达旅游目的地，以及发展公共汽车快速运输系统，让能力各异的居民和游客能够在城市各处走动。

巴西政府还在圣保罗为巴西残奥委员会创建了一个世界领先的残奥训练中心。该训练中心为15个运动项目提供世界级设施，全年都有来自世界各地的巴西运动员和其它国家残奥委员会选手使用。

2018年3月，韩国举办了破纪录的冬季残奥会。那届冬残奥会有来自49个国家的567名运动员参赛，创造了纪录。此外，平昌冬残奥会累计电视观众达20.2亿，比以往任何时候都多，观众人数创下34.3万人的纪录。