影像系列(1):什么是马赛克

您所在的位置:网站首页 数位马赛克有多厚 影像系列(1):什么是马赛克

影像系列(1):什么是马赛克

2024-07-05 12:18| 来源: 网络整理| 查看: 265

作者曰:写完中微子后小忙,加上亦师亦友的大佬丢过来一句“你写点摄影吧”,于是就以“命题作文马虎不得”的借口拖到了现在。近8年前,“理科男”和“工科男”因摄影相识,一跟就是7年。这期间,“理科男”成长为“理工男”,体会到了做技术和工程的乐趣,也感受到在神州做实体的不易,摄影始终是工作之余扯淡的重要话题。这期就先开个头吧。

这期究竟要讲啥?在“摘要”里还净往歪处带?

先来看看历史上第一张彩色照片:

一个领带结?

对的,1861年麦克斯韦(James Clerk Maxwell)……

等等,这名字好熟,莫非是第一期里提到的那位?

是的,就是那位大物理学家麦克斯韦。话说理科男一般动手能力都不咋地,所以都喜欢做“思想实验”。麦克斯韦1855年就提出了,如果通过红、绿、蓝三种滤镜拍下三张黑白照片,再用三个投影仪通过红、绿、蓝滤镜把这三张黑白照片投放到一起,这样就能看到彩色了。

Wiki之,哦,到了1861年,麦克斯韦终于找到了工科男Thomas Sutton,由Sutton实际拍了三张照片,第一次向世界演示了“彩色摄影”的原理。

自从有了维基百科,要显摆是越来越难了……看看这张照片红、绿、蓝的三个影像各是什么样子的:

为什么这三种颜色叠在一起就能凑出其他的颜色呢?为什么不是别的颜色呢?比如说红白蓝,这才是文艺女青年最爱的三颜色:

什么呀,下面这个才是红白蓝的真谛:

扯回正题。之所以是红、绿、蓝这三种颜色,是和人眼视网膜(retina)上的视锥细胞(cone cells)有关:

继续wiki,哦,红色框框里的就是视锥细胞,名字还挺贴切,看看这个大图:

视锥细胞负责人的彩色视觉,分L、M、S三种类型。

其实就是Long(长)、Medium(中)、Short(短)的意思,因为它们各自对可见光的长、中、短波段敏感:

最敏感的峰值出现在560nm、530nm和420nm的波长处,对应的就是红、绿、蓝三种颜色。

原来是这样呀。想想自然进化出眼睛这样神奇的结构,人类发现其秘密后,又利用它来“欺骗”自己,虚构另一个世界,真是有意思的事。

嗯,RGB(Red Green Blue,红绿蓝)三色原理构成了现代人类记录和显示彩色图像的基础。插一句,在麦克斯韦1861年那张彩色照片之前,其实有过用纯化学方法做出彩色照片的实验,据说颜色还更为准确,但没过多久颜色就迅速褪去,因此麦克斯韦的这张照片有“史上第一张永久的彩色照片”之称,也再一次证明了“物理”比“化学”要牛逼的多……

这仇恨,感情是被化学系同学的高工资给刺激的……

刚刚成为“文物”的胶片,是基于RGB三色原理来记录彩色图像:

各式各样的显示器,都是基于RGB来显示彩色图像:

这个是“白底黑字”的W在显示器上的“真实”图像。

啊!就是说我看到的“白”,其实是“红、绿、蓝”的叠加?

是的,显示器上的一个“像素”(pixel),其实是由红、绿、蓝三个“子像素”(subpixel)组成的,名副其实的“三位一体”。所谓全高清1920*1080的分辨率,有大约2百万个“像素”,6百万个“子像素”。

因为“子像素”很小,人眼分辨不出来,就自动把三色混在一起看,所以上面那色彩斑斓的W,才变成了“白底黑字”的W。是这样吧?

对的。扯了这么久,终于可以让“马赛克”出场了:

这个是现代传感器的大致结构。最上面凸凸的那个是微透镜(microlens,或OCL/On-Chip Lens),负责把光聚拢。接下来就是RGB的颜色滤镜,再下面的才是真正感光的光敏二极管(photodiode),最下面的是铜走线层,用于排布各种电子线路。

还没看到“马赛克”呢?

这个是RGB滤镜在传感器上的平面排布,学名“拜耳色彩过滤阵列”(Bayer Color Filter Array),俗称“马赛克”。

为什么绿色比红色、蓝色多?

观察挺敏锐嘛!因为人眼除了前面提到的视锥细胞,还有负责在光线暗的环境下感光的视柱细胞(rod cells),它们敏感的波段就在绿色附近,看看下图的虚线部分:

看图里视柱细胞只有一种,这就是在光线暗时,我们不大能分辨出颜色的原因吗?

对的!由于这两类细胞的特性,人眼整体上对绿色最为敏感,所以Bayer CFA里的绿色是红色、蓝色的两倍。传感器实际成像时是这样的:

得到的图像也是“马赛克”呀,还空了那么多……

来看一个具体的例子吧:

万紫千红娇弄色,娇态难禁风力摆……

来看看一个

120*80=9600

像素的传感器是怎么看这个场景的。经过RGB滤镜后,传感器看到的是这样的:

理工男果然是——回眸一笑百“霉”生,六宫粉黛无颜色!黯然失色也就算了,还长了那么多霉点点……

因为哪个像素对应哪个RGB滤镜是制造传感器时就定好了,我们可以把RGB信息补充上去:

这张图实际是由RGB三个颜色通道组成:

看来理工男眼里确实是Matrix的世界:

在这9600个点中,有4800个只有绿色信息,2400个只有红色信息,2400个只有蓝色信息。如果要组成一张能在显示器上显示的9600“像素”的图片,我们需要9600个红色“子像素”,9600个绿色“子像素”,9600个蓝色“子像素”。也就是说,我们现在还缺4800个绿色“子像素”,7200个红色“子像素”,以及7200个蓝色“子像素”,整整缺了三分之二!

那怎么办?

靠“猜”呗!为了显示我们的“猜”不同于你们的“瞎猜”,我们管这叫interpolation(插值),根据前后左右其他像素的信息,以及其他颜色通道里像素的信息,把空缺的信息一一补上:

猜得还不错嘛,特别是红色和蓝色,和“插值”之前简直是云泥之别呀!

嗯,拜耳还是很有一手的,不然别人也不会拿他的名字来命名这个阵列,并在数码成像里广泛应用。最终完成的图像是这样的:

这样一个把图2的黑白“霉点”图案,通过还原颜色、插值等生成图4的过程,就叫做“去马赛克”。图4里有些像锯齿一样的不平滑的地方,是因为我们举例的传感器才9600“像素”,只要把传感器像素提高到46万,就是图1的效果了。

等等,那看来数码相机的“像素”,和显示器的“像素”,还不一样了!一个号称200万像素的相机,其实是100万个绿色像素,50万个红色像素,50万个蓝色像素,然后通过“去马赛克”,凑出200万*3=600万个“子像素”,从而得到一张能在200万“像素”的显示器上显示的图片,对吧?

对的,结论是:显示器厂商市场部门里的文科生,比照相机厂商市场部门里的文科生,厚道3倍!

今天就先扯到这吧。顺便插一句,前面提到的和麦克斯韦配合的Thomas Sutton还制作了史上第一台单反相机(Single Lens Reflex,单镜头反射)……

就是下面这种“傻大粗”家伙的鼻祖?

对的。相机发展史扯起来也是令人感慨万分。像柯达,搞出第一台数码相机,又有拜耳等一群大牛,最后却被数码相机逼到破产,把自己的主业“胶卷”搞成了文物。又比如日本相机厂垄断世界相机业的故事,以及最近“家电厂”索尼猛放“黑科技”,都挺有意思,下次想到再说吧。

对于看到“马赛克”而遐想连篇的同学,最后给点补偿:

这位漂亮的妹子是谁?

Lenna,这幅照片是图像处理的标准测试照片,绝大多数学过这门课的理工男,都在这幅图上面折腾过无数“算法”。只是当年,老师只让我们看“局部的真理”……

搜索之,哇塞,这么好的提高全班男生学习积极性的素材老师居然没用!好奇(se)的同学到“参考文献”最后的链接自己看。

参考文献:

https://en.wikipedia.org/wiki/Thomas_Sutton_(photographer)

https://en.wikipedia.org/wiki/Cone_cell

https://en.wikipedia.org/wiki/Retina

https://en.wikipedia.org/wiki/Photographic_film

https://en.wikipedia.org/wiki/Bayer_filter

http://www.cs.cmu.edu/~chuck/lennapg/



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3