多媒体：对多种媒体的融合，能够同时采集、处理编辑、存储、展示2个及以上不同类型信息媒体的技术。这些信息媒体包括：文字、声音、图形、图像、动画、活动影像……

1.多媒体的基本概念

媒体：1.信息的物理载体（存储、传递信息的实体）；2.承载信息的载体（信息的表现形式、传播形式）。即CCITT定义的存储媒体、表示媒体

　　分类：视觉类媒体、听觉类媒体、触觉类媒体。视觉、听觉是信息传播的内容；触觉是人机交互的内容。

　　CCITT（国际电报电话咨询委员会）分类：感觉媒体、表示媒体、表现媒体、存储媒体、传输媒体

超媒体：为了使不同的媒体能够有机地链接起来，往往按照实际需要建立的一种链接机制、结构。信息存储、检索系统。文本、图形、影视、动画、音乐……其他媒体

超文本：如果信息主要是以文字的表示形式。

多媒体特征：多样性；集成性；交互性；非线性；实时性；信息使用的方便性；信息结构的动态性；

虚拟现实（VR）：运用计算机对现实世界进行全面仿真，创建、实现社会类似的环境，通过多种传感设备使用户“投入”到该环境中，实现用户与该环境直接进行自然交互。

　　将现实世界的多位信息映射到计算机的数字空间生成相应的虚拟世界

　　主要特征：多感知；沉浸（临场感）；交互；

　　感官认知：视觉感知；听觉感知；力觉、触觉感知；

　　根本目标：达到真实体验和基于自然技能的人机交互。能够达到、部分达到这样的目标就称为虚拟现实技术。

　　分类：桌面虚拟现实、完全沉浸的虚拟现实；增强现实性的虚拟现实；分布式虚拟现实

2.声音

声音：通过空气传播的一种连续的波，声波。

模拟声音（音频）信号：声波在时间、幅度上都是连续的模拟信号。人耳可以听到的音频范围：20~20kHz

声音指标：音量（响度，幅度）、音调（频率）、音色（谐波丰富度）

声音信号：幅度（分贝）、频率（亚音信号[次音信号]、音频信号、超声波）

　　数字化：取样-量化法（采样、量化、编码）

波形声音：表示声音振幅的数据序列，是便于计算机存储、处理的数据格式

　　未经压缩的数字音频数据传输率（数据传输率）=采样率*量化位数*声道数

　　波形声音经过数字化后所需的存储空间（声音信号数据量）=数据传输率*持续时间/8（B）

　　数据压缩算法：压缩倍数高，信号失真小，算法执行快，成本低

　　示例：单位转换

数字语音压缩方法：波形编码、参数编码（模型编码）、混合编码

　　数字语音、全频带声音（感知声音编码）

声音合成：

　　1.语音合成（文语转换）：1.将文字玉莲转换为音韵序列（语言学处理）；3.由语音生成器生成语音波形（语音合成技术：发音参数合成、声道模型参数合成、波形编辑合成）。

　　2.音乐合成：基本单元：音符；要素。音调、音色、响度、持续时间。

MIDI（乐器数字接口）：数字音乐的国际标准，解决不同电子乐器之间不兼容的问题。

　　MIDI文件：计算机中用于存储、交换MIDI消息的一种数据文件，由一系列的MIDI消息组成。　　

　　　　包含：1.与音乐演奏有关的消息（音符、速度、表情……），2.与音响有关的控制信息（声像、效果、均衡）。

　　　　16个通道的演奏定义。

　　　　扩展名：.mid 音序软件的文件交换标准、商业音乐作品发行的标准。

声音文件格式：Wave文件（.WAV）;Module文件（.MOD）;MPEG(.MP3);RealAudio（.RA）;MIDI（.MID/.RMI）;Voice（.VOC）;Sound（.SND）;Audio（.AU）;AIFF(.AIF);CMF(.CMF)

3.图形和图像

彩色：创建图像的基础，通过光被人们感知。与光、被照射物体、观察者有关。

　　彩色空间（彩色模型）：彩色图像所使用的彩色描述方法。任何一种颜色都可以在彩色空间中精确的进行描述

　　　　分类：RGB彩色空间、CMY彩色空间、YUW彩色空间

色彩：

　　三要素：亮度、色调、色饱和度

　　三基色原理：任何一种颜色都可以用三种基本颜色按不同比例混合得到。RGB……

计算机中的图形数据表示：矢量图形、位图图像

图像的获取：将显示世界的劲舞、物理介质上的图文输入计算机的过程

　　方式：利用数字图像库选区图像；利用绘图软件创建图像；利用数字转换设备采集图像（采样-量化-编码）；　

图像的属性：分辨率（显示分辨率、图像分辨率）；图像深度（存储每个像素所用的位数，决定了彩色图像中可能出现的最多颜色书或灰度图像中的最大灰度等级）；真彩色（RGB）和伪彩色(色彩查找表，色彩索引)

图型图像转换：图形、图像的硬件转换；图形、图像的软件转换 

图像的压缩编码：减少图像数据量，提高传输速率

　　图像数据量=图像的总像素*图像深度/8（B）　　

　　分类：有损压缩、无损压缩（行程长度编码（连续同色范围）、增量调制编码[增量值]、霍夫曼编码[码表]）

　　国际标准：JPEG(静态、数字图像。以离散余弦变换DCF为基础的有损压缩、以预测技术为基础的无损压缩),MPEG（动态图像，数字视频。MPEG视频+MPEG音频+视频音频同步）,H.261（视频通信。基于DCT的变换编码和带有运动预测差分脉冲编码调制DPCM的预测编码混合）

图形、图像文件格式：BMP(.BMP);GIF(.GIF);TIFF(.TIF);PCX(.PCX);PNG;JPEG(.JPG);WMF(.WMF);EPS(.EPS);DIF(.DIF);CDR(.CDR)

颜色模型：即彩色空间

4.动画和视频

动画：将静态的图像、图形、图画……按一定时间顺序显示而形成连续的动态画面。

　　本质：运动

　　基本单元：帧

　　分类：

　　　　1.实时动画：采用各种算法来实现运动物体的运动控制

　　　　2.矢量动画：

　　　　3.二维动画：屏幕绘画+动画生成

　　　　4.三维动画：线框模型+表面模型+实体模型。目的：控制形体模型的运动，获得运动显示效果。最终生成一幅幅二位画面，并按一定格式记录下来。

　　着色（光和色的渲染）：材质、纹理（颜色纹理+几何纹理）、光源

视频：

　　基本单元：帧

模拟视频：

　　电视的制式：电视信号的标准。隔行扫描、逐行扫描

数字视频：

　　模拟视频数字化方式：

　　　　1.复合数字化：从复合彩色电视图像中分离出彩色分量，然后数字化，以获得YUV,YIQ,RGB分量信号；三个A/D转换器

　　　　2.分量数字化：对全彩色电视信号数字化，然后再数字域中进行分离，以获得YUV,YIQ,RGB分量信号；一个A/D转化器

数字视频标准：CCIR601标准，包括PAL,TSC,SECAM电视制之间确定了共同的数字化参数。

　　包括：采样频率=12.5MHz；分辨率；数据量

视频压缩：

　　目标：尽可能保证视觉效果的前提下减少视频数据率。

　　方式：

　　1.有损压缩、无损压缩

 　  2.帧内（空间）压缩、帧间（时间）压缩

　　3.对称编码、不对称编码

　　MPEG

 　  MPEG-1：针对普通电视的视频信号压缩的标准

　　MPEG-2：针对高清晰度电视的视频信号压缩的标准

　　MPEG-4：多媒体应用标准

　　MPEG-7：多媒体内容描述接口标准

　　MPEG-21：多媒体框架结构标准

　　MPEG-3只不过是被放弃的一种压缩技术，至于大家熟悉的MP3其实是MPEG-1 Layer 3的音频数据压缩技术，简称MP3。

视频文件格式：GIF(.GIF),Flic（.FLI/.FLC）,AVI(.AVI),Quick Time（.MOV/.QT）,MPEG(.MPEG/.MPG/.DAT),RealVideo（.RM）

5.多媒体网络

超文本：一种文本管理技术，以节点为单位组织信息，节点之间通过关系链加以连接，构成特定内容的信息网络

　　主要以文字的形式表示信息，建立的链接关系主要是文句之间的链接关系。

　　三要素：节点、网络、链

　　其他：超链接（热链接）

超媒体：用超文本组织、处理多媒体信息

　　用文本、图形、图像、动画、声音、影视片段……多媒体来表示信息，并建立它们之间的关系。

流媒体：在网络中使用流式传输技术的基媒体

　　流媒体技术：把连续的影像、声音经过压缩处理之后放到专用的流服务器上，让浏览者一边下载一边收看，而不需要等到多媒体文件下载完成就可以即时观看和收听的技术

　　流媒体系统组成：流媒体开发工具、流媒体服务器组件、流媒体播放器

　　相关技术：

　　1.流媒体系统通过某种流媒体技术，完成流媒体文件的压缩生成，经过服务器发布，然后再客户端完成流媒体文件的解压播放的整个过程。

　　2.流媒体一般采用建立在用户数据报协议之上的实时传输协议、实时流协议（RTP/RTDP）来传输实时的影音数据

　　3.流式文件格式与多媒体压缩文件有所不同，编码的目的是为了适合在网络环境中边下载边播放。将压缩文件编码成流式文件，还需增加许多附加信息。流媒体发布文件：作用是以特定的方式安排影视数据的播放。

　　4.浏览器通过因特网邮件来识别各种不同的简单文件格式。

　　5.媒体播放器是一个应用软件，主要功能是用于播放多种格式的音频、视频序列

　　应用：1.以文本为主的数据通信；2.以声音、视频图像为主的通信。

　　客户端读取声音、影视文件的方式：

　　1.通过Web浏览器把声音、影视文件从Web服务器传送给媒体播放器

　　2.直接把声音、影视文件从Web服务器传送给媒体播放器

　　3.通过多媒体流放服务器将声音、影视文件传送给媒体播放器。Web服务器用于Web页面服务；流放服务器用于声音、影视文件服务。

　　数据量=采样频率×（采样位数/8）×声道数时间

　　时间单位换算：1分=60秒

　　采样频率单位换算：1KHz=1000Hz

　　数据量单位换算：1MB=1024×1024=1048576B

　　　　1Byte=8bit

6.多媒体计算机系统

　　组成：多媒体硬件、多媒体软件。即将多媒体信息和计算机交互式控制相结合

　　多媒体计算机：具有对多种媒体进行处理能力的计算机

　　多媒体硬件系统：常规的硬件、；音频卡（声卡）；视频卡（显示卡、显卡）；光盘驱动器；扫描仪；光学字符阅读器；触摸屏；数字化仪；操纵杆；绘图仪、投影仪、激光视盘播放器

　　多媒体软件系统：

　　1.多媒体操作系统

　　2.多媒体创作工具软件

　　3.多媒体素材编辑软件：文本工具；图形/图像工具；动画工具；视频工具；音频工具；播放工具

　　4.多媒体应用软件