借助AI技术,美白瘦脸大眼瘦身长腿,大老爷们甚至可以变装为女人,也实现了智能场景拍摄和不知真假的“P月”图注:小视频里,阿纯通过AI成为小美女扫码支付实现了“无纸支付”,普及到了即使最偏远的乡间我的钱包比脸还干净,再找不到破开十元/百元后拿回一堆零钞的快感了人类历史上第一次有了通过手机直播的战争,影响了老百姓,反过来对战争又有影响今天讲述的CMOS图像传感器(简称CIS)芯片便是手机摄像头成像技术的核心图注:一颗CIS芯片图注:手机摄像头模组CCM (Camera Compact Module)结构(OPPO)图注:iPhone 14 Pro Max的摄像头模组 (源:PBK REVIEWS)值得骄傲的是,CIS诞生和发展的三十多年里,来自中国的科技工作者们前赴后继,做出了最为关键的贡献这是一个很长的故事,里面有矢志不渝的坚守,有精诚合作的团队,有惊心动魄的瞬间,也有千载难逢的机缘故事发生在爱丁堡大学(1987-95年,东大访问学者王国裕和陆明莹伉俪为最关键研发人员,VVL为意法ST收购),在硅谷(1995年,上交大55届洪筱英创办豪威科技(Omnivision),一些清华留学生合伙创业,为韦尔收购),在西安(1995年,王国裕归国创业,努力至今),在上海(格科微GalaxyCore赵立新、思特威SmartSens徐辰、芯视达CISTA杜峥等创业者们)......CIS是一颗可以在中国大陆独立发展的芯片,因为都是基于成熟制程(区别于先进制程)2020年,国际分析机Yole曾指出,中国大陆或有希望首先在CIS领域实现技术独立2021年,Yole继续指出:China becomes an image sensor land如果按数量计算,中国大陆已经排名第一2020年,全球生产了70亿颗CIS,,七成用于手机2021年出货13.亿支智能手机,每支配多个摄像头,大家调侃为“浴霸、莲蓬头、花洒、蜂窝煤、麻将牌”,还怕有“密集恐怖症”,连儿童手表也没被摄像头放过图注:网友调侃摄像头是麻将牌传统光学巨头和中国手机厂家合作徕卡先后和华为、小米(首推上亿像素)合作,OPPO旗下一加携手哈苏,蔡司从与诺基亚合作转向和VIVO合作他们主要是调校系统2020年,CIS市场总金额为207亿美元,2021年为213亿美元图注: CIS份额(按金额算)(源:YOLE)全文1.4万字,长文慎入第一章、胶片相机从繁荣到没落肖像画历史久远,画工毛延寿故意不画出王昭君之美1839年8月19日法国画家路易·达盖尔发明了世界上第一台真正的照相机清末,照相机进入了中国大地图注:电影《黄飞鸿》中的十三姨和她的宝贝相机80年代,我们兄弟俩还在读小学时,父亲任教的九都山学校组织看岳阳楼,这是我们第一次出远门,感受这“浩浩荡荡,横无际涯“有位小戴老师有相机(海鸥或凤凰),还会暗室冲洗照片少年的我甚是羡慕,也梦想有个相机,但不知道“何年何月能得偿所望”(星爷鹿鼎记台词)图注:岳阳楼黑白仰拍上世纪末参加工作后,我梦想成真,买过国货,也买过奥林巴斯不过,胶卷相机的没落也进入了倒计时,有道是:夕阳无限好,只是近黄昏2003年的最高峰,全球卖出了近十亿个胶卷,从此开始走下坡路,直到归于尘埃如今,富士胶卷奇迹般成功地转型医疗材料厂家,柯达胶卷在 2012 年申请破产重组,在新冠疫情中传说获得美国政府贷款进入制药行业柯达居然还是第一个发明数码相机的厂家,令人不胜唏嘘可以马上出照片的“立拍得”还有一些市场,但因为照片品质不高,也就和玩具无异了第二章:美国发明CCD和数码相机,日本发扬光大1、贝尔实验室发明CCD,获得诺贝尔奖1948年,贝尔实验室(现Nokia Bell Labs)发明了晶体管1954年,东通工(索尼前身)学习到该技术,并在收音机上发扬光大这样的故事在CCD上重演了1969年,贝尔实验室里发明了电荷耦合元件(Charge-coupled Device,简称 CCD)的发明CCD作为半导体固态图像传感器,是将“光”的信息转换成“电”的信息的魔术师,实现了用电子捕获光线(光可被电子化捕捉)两位美国科学家Willard S. Boyle和George E. Smith获得了2009年度的诺贝尔物理学奖图注:戴辉于诺基亚贝尔实验室拍摄的原始CCD芯片2、美国柯达率先做出数码相机1973年,美国硅谷的Fairchild(仙童科技)制成了商用CCD图像传感器,标志着CCD从实验室走向市场,进入了实用阶段图注: 美国仙童科技第一枚商用CCD(1万像素)1975 年,柯达公司的工程师史蒂文•塞尚(Steven Sasson)使用上述仙童公司(Fairchild)的CCD 元件以及柯达零件仓中的零件,制造了一个 8 磅重的设备,而该设备可提供 1万像素的黑白图像这是第一部数码相机,取代了只能使用传统底片摄影的功能,开启了影像产品的数字时代遗憾的是,柯达担心新技术会颠覆其强大的胶卷产业,技术跟进不力手握着一把好牌,打没了图注:柯达发明数码相机3、日本投入巨大,发扬光大1973年,索尼的越智成之实现用64像素画了一个粗糙的“S”曾任索尼的美国分社长、时任索尼公司副社长兼索尼中央研究所的所长岩间慧眼识英雄1973年11月,CCD立项,成立了以越智为中心的开发团队巨大投入之后,1978年3月制造出了支持11万像素的芯片1981年,索尼推出了马维卡(MAVICA)相机,它成为全球第一台向市场发布的数码相机,其传感器的像素达到28万左右1985年1月,索尼诞生了第一台CCD便携式摄像机M8,这是当时世界上重量最轻的只录摄像机,重量不到1KG真是漫漫长途啊
日本的各大公司把握技术革新的时机,占领了数码相机市场,创造出各种品牌数码相机和摄影机CCD的生产工艺复杂,只有索尼、富士、柯达、飞利浦、松下和夏普6家厂商可以批量生产,基本上都在日本索尼累计生产量超越1亿片以上,以50%的市场占有率成为领导厂商这个数字在当年很了不起,因为数码相机的普及率并不高4、数码相机和DV从繁华到没落进入新世纪后,数码相机浪潮兴起了我在2001年首次使用奥林巴斯数码相机之后购入了索尼Cybershot,甚至还有了一幅获奖摄影作品图注:夕阳下的船 戴辉04年摄于巴厘岛2009年之前,先后购入日本JVC的DV(磁带存储)、韩国三星DV(光盘存储)及佳能单反,本准备大展宏图拍点传世佳作,没承想这却成了最后的疯狂技术的剧烈变革真是触目惊心2017年10月,尼康位于无锡的数码相机工厂宣布关闭;2018年5月,奥林巴斯深圳工厂关闭;2022年1月,佳能位于珠海的相机工厂关闭值得一提的是,光学巨头奥林巴斯业务目前的八成收入来自医疗设备(内窥镜),瘦死的骆驼比马大现在的智能手机,拍照和拍视频很方便,下至幼童上至花甲老人,都玩得很溜我的DV和单反就一直在床底下蒙尘了,直到再也无法开机换个角度来看,被智能手机碾压了的电子产品又何止只有它们?辉煌数十载的日本消费电子品牌们从此没落第三章:爱丁堡单片CIS开创了新时代,中国学者伉俪是主要设计者1、为什么要发展CMOS技术CMOS(互补金属氧化物半导体Complementary Metal Oxide Semiconductor)目前是世界上最主流的芯片技术路线,CPU、GPU、手机处理器等都广泛采用这个工艺CMOS工艺跟随着摩尔定律发展,集成度越来越高(如7纳米、5纳米),功耗也越来越低,也可做模数混合单片集成是CMOS图像传感器最牛逼的地方图像传感与图像采集、模数转换、信号处理等后续功能集成实现在单颗芯片上(片上系统SoC),因此数码镜头可以做得体积小、功耗低、成像快、价格便宜上亿像素的手机已经比比皆是,最近看到居然有两亿像素了图注:CCD则输出模拟信号供后续处理,CMOS传感器可直接输出处理后的数据(源:COVENTOR)图注:CMOS图像传感器单片集成电路(ASIC)示意图随着机器视觉系统从传统板级式向小型智能系统的发展,CMOS图像传感器(简称CIS)替代了CCD成了最后的大赢家早在2006年,曾在索尼从事研发工作的米本和也在所着《CCD/CMOS图像传感器基础与应用》一书的引言中写得很清楚:到 90 年代初,CCD 技术已比较成熟,得到非常广泛的应用但是随着 CCD 应用范围的扩大,其缺点逐渐暴露出来首先,CCD 技术芯片技术工艺复杂,不能与标准工艺兼容其次,CCD 技术芯片需要的功耗大,因此 CCD 技术芯片价格昂贵且使用不便目前,最引人注目,最有发展潜力的是采用标准的CMOS技术来生产图像传感器,即 CMOS 图像传感器CMOS 图像传感器芯片采用了 CMOS 工艺,可将图像采集单元和信号处理单元集成到同一块芯片上由于具有上述特点,它适合大规模批量生产,适用于要求小尺寸、低价格、摄像质量无过高要求的应用,如保安用小型和微型相机、手机、计算机网络视频会议系统、无线手持式视频会议系统、条形码扫描器、传真机、玩具、生物显微计数、某些车用摄像系统等大量商用领域20 世纪 80 年代,英国爱丁堡大学成功地制造出了世界上第一块单片 CMOS 图像传感器件(备注:ASIC IMAGE SENSOR)目前,CMOS 图像传感器正在得到广泛的应用,具有很强的市场竞争力和广阔的发展前景图注:图像传感发展历程中1990年爱丁堡单片ASIC是关键转折从CCD图像传感器到CMOS图像传感器(CIS)的关键一跳感觉好像不远,但其实并不容易,正如那金沙江(长江上游)的虎跳峡我曾在那里徒步几日,若不小心,就可能掉下悬崖2、爱丁堡大学开辟CIS新时代,荣获兰克奖20世纪80年代末,数码相机高达数千美元一台,日本电子业雄霸天下欧美想逆袭,唯有图谋“弯道超车”1989 年,英国爱丁堡大学的Peter Denyer教授、David Renshaw博士,和当时在爱丁堡大学做科研的王国裕和陆明莹联袂发表了一篇论文,报道了CMOS 图像传感器(CIS)的工作1990年底,芯片流片成功,随后成功演示了世界上第一台单芯片 CMOS 摄像机,从此开创了一个新世界图注:爱丁堡大学网(css.eng.ed.ac.uk/history)爱丁堡大学之后,才有了后来美国、日本、中国跟进的研究和产业行为2008年2月4日举行的兰克奖(Rank Prize)颁奖仪式上,四位科研人员因为CMOS图像传感器上的重大贡献而获此殊荣图注:左二王国裕、左三、陆明莹、右三Peter Denyer、右二David RenshawThe Rank Prize是面向世界的光电子和生命科学领域的顶级的科学奖,杂交水稻之父袁隆平和光纤通信之父高锟先生曾获得图注:获奖事迹介绍3、王国裕和陆明莹的国内学习和工作生涯科技老兵戴辉辗转联系上了王国裕教授,了解到了一个LONG STORY,请听我细细讲起王国裕于77年冬天恢复高考后以优异成绩从泰州(当时还属于扬州)考入东南大学(注:1988年以前名为南京工学院)电子工程系半导体与集成电路设计与制造专业(63771班),他的嫡亲兄长于WG前考上了清华大学电机系陆明莹于南京同期考入,她的父亲是毕业于原民国中央大学和密歇根大学的陆钟祚教授,抗战期间,陆钟祚研制并生产的3000瓦归航机和参与研制并生产的400瓦地-空对讲机均成功地用于中国空军的对日作战出生于同年同月(1954年5月)的他们入学时已然24岁了,两人因成绩并驾齐驱而”惺惺相惜“,发展出”地下恋情“1982年毕业之后,王国裕以优异成绩考上了清华大学微电子所的研究生,陆明莹则在东大继续读研期间在陆家举行了简单的婚礼,证婚人是钱钟韩(钱钟书堂兄弟)84年,双双在东大任青年教师紧随世界潮流,他们是国内最早一批使用EDA进行集成电路正向设计仿真和推广的科研工作者,王国裕还应邀赴908项目之无锡华晶集团做学术报告1988年,东南大学出版社出版了他们所著的《SPICE-II通用电路分析程序使用方法及其应用》,这是国内第一部系统介绍EDA应用的书籍,影响了一代芯片设计人改革开放后,中国半导体科研界一步到位和国际接轨王国裕在东大的本科毕业设计就是一颗成功工作的小规模集成电路研究生就读的清华大学微电子学研究所里有一条集成电路工艺线王国裕采用SPICE进行正向设计和仿真,并流片得到了运算放大器样品,将“纸上谈兵”变成了完整的实践,后来发表了论文《MOS模拟集成电路的噪声分析和低噪声设计》,老师则有南德恒、李志坚、杨之廉等教授特别值得一提的是,王国裕在东大和清华,还有特别威水的地方,那就是各创立了一支管弦乐队,并担任指挥图注:王国裕担任黄河大合唱指挥图注:王国裕和指挥家中央乐团严良堃插叙一下,科技老兵戴辉曾经也是文艺积极分子,在中山大学担任研究生艺术团团长(兼跑龙套),还去华南理工演出过图注:穿越剧之“杜十娘流落到民国”,右一导演陈进4、中国伉俪加盟爱丁堡团队,选择CIS方向奋斗在教育部“中英奖学金计划”安排下,王国裕得以在87年11月作为东大访问学者来到了爱丁堡大学加盟的团队有两位学术领头人,大老板Peter Denyer教授和二老板David Renshaw博士访问学者没有什么具体任务,比较自由王国裕把所有课题捋了一遍,选择了CMOS 图像传感器件的项目这是一个探索性的课题,做过一些零星的研究,但尚未有任何进展和结论据说日立尝试用CMOS工艺来做但未能做不出来,以至于有一种结论是CMOS工艺不适合做成像器件,必须采用CCD工艺来做王国裕接手后,一个一个问题进行分析和实验,感觉有希望突破,这让大家都兴奋不已1989年,陆明莹作为东大访问学者也来到了这里这个芯片极具挑战性,设计过程是千难万难,团队四个人三天两头在一起讨论四个人是天作之合,再难的问题通过讨论总有解决方案这样的组合和互补作用工作起来特别顺畅,是一次难得的团队协作大老板挂帅,经常提出有见地的意见,在需要权衡取舍的时候,往往是他一锤定音二老板是黏合剂和预备队在设计曝光控制电路时,一度曾卡住,王国裕和二老板苦思冥想数日,一天早晨不约而同地提出解决方案,思路居然一致,所画的电路草图也雷同,真有点不可思议,那天大家都异常兴奋,喜悦难以言表王国裕是芯片主设计,承担了芯片主要部分如成像阵列和片上放大器的设计,提高放大性能是最关键的任务王国裕有着特殊的艺术感觉和严谨的工作态度,在东大打下的坚实基础和在清华使用SPICE的经验,都起了很大的作用数字控制和全电视信号产生部分则是陆明莹完成的,她在算法方面有丰富经验,之前设计电子琴芯片的经验和技巧也派上了大用场图注:陆明莹在爱丁堡实验室的工作场景5、惊心动魄的“搭桥手术”王国裕回忆了这个故事“90年底是一个寒冷的冬季,第一个芯片终于流片回来了,初步测试一下居然没有任何反应,手掌对着芯片移动,输出波形却纹丝不动,就是说这颗芯片是死的”对于大家热切的期望,这无疑是当头一盆凉水,我把自己关在一个房间思考,终于想出来一个地方可能错了,某一信号可能反了赶快打开工作站,找到这一部分版图检查,果然是也问题找到了,怎样解决呢,总不至于再去流一次片吧,可否在芯片上修复?我们联想到剑桥大学也许可以做这件事东大的同学崔铮博士当时在剑桥大学做访问学者,几个月前我们去看望他时闲聊到他们有一个新设备,可以做微小尺寸的割断和搭桥,当时并未在意,此刻在这个特殊情况下突然想起来,这是唯一的快速修复芯片错误的办法当即联系崔铮,立即赶往剑桥,在火车上构思了割断和搭桥的方案,当时并没有成功案例可供参考,他们实验室之前没有做过这样的事情他们很协助、很帮忙,先割断错误的电路连接,再搭桥实施正确的逻辑功能,相当于对芯片做了一次“搭桥手术”做完后在现场用示波器做了初步测试,那个波形随着手掌的移动又跳舞了,说明芯片“活”了暴风雪中,我坐出租车下半夜回到爱丁堡,稍事休息,天亮便去学校后面的测试便顺风顺水,一气呵成,芯片测试板终于调出了清晰的视频图像,在显示器终端上实时播放,这就构成了最初的CMOS成像演示系统“就这样,在这个寒冬,爱丁堡大学研究成功了黑白CMOS单片图像传感器,为256X256(约5万)像素,这是全球首创,引发了热切关注,到实验室来观看实验的人络绎不绝”6、引发科研界与媒体剧烈反响在巴黎举行的欧洲学术会议Euro ASIC 91上,作为主设计师的年轻的中国学者王国裕上台做了学术报告,首次报告了爱丁堡大学的重大技术突破:世界上第一个成功的单片CIS芯片,引起了代表们极大关注,该芯片荣获了这个会议的“最佳电路奖”图注:第一颗CIS芯片、91年度的”最佳电路奖“、媒体报道媒体期待未来有20英镑的数码照相机,并认为会冲击日本电子产品,没想到”一语成谶“有关创新被后来所有的CMOS摄像芯片沿用和不断更新,并申请了国际专利:“Solid State Image Device”无独有偶,王国裕1991年9月撰写的另一篇论文《芯片自动曝光控制技术》获欧洲集成电路年会(ESSCIRC 91)授予的“最佳论文奖”一个国际学术会议一般只评选一篇获奖论文,他们的论文连续两次获奖,说明了当时学术界的高度评价自动曝光控制对CMOS成像芯片的广泛应用非常重要,是必须具备的一个功能,是他们首次实现并报告的,其技术上的实现亦有新意,把数字扫描与控制算法巧妙地结合起来,这个算法带动了后来的一系列控制功能的开发,如“白平衡”…. 最终我们看到了现在手机照相那么简便,有很多的编辑功能供用户选用7、英国VVL公司大发展,中国人为核心研发人员1990 年,在大学和风险投资的支持下,爱丁堡大学成立了大学衍生公司 VLSI Vision (VVL),以销售单芯片摄像机设备并开发基于该技术的一系列新型成像设备王国裕担任了VVL公司的VLSI设计部经理,1990-1994年间在英国共主持设计成功了8个摄像芯片1993年3月,设计研发的“单片COMS摄像器件”获苏格兰政府授予的“苏格兰政府奖”,这是一颗彩色CMOS芯片(单片集成电路)为寻求晶圆厂代工伙伴的支持,他前往台积电欧洲总部进行汇报之后台积电启动了CIS项目东南大学校长韦钰访问了爱丁堡大学,和他们亲切交流韦钰的导师就是陆钟祚教授韦校长平易近人,94年我们班拍毕业照时,她已升任教育部副部长我们系是她创办的,因此沾光,我们班毕业拍照时,她坐一排正中VVL成功上市,并于1998年为意法半导体(ST Microelectronics)所收购,成立了该公司的新成像部门,以应对新兴的手机摄像头大众市场8、后注:CMOS成为主流的硅基芯片工艺的过程中,有挺多故事1976年,中国台湾工研院与美国RCA公司签订《CMOS集成电路技术移转授权合约》,第一块芯片是电子表芯片,从此开始了中国台湾的芯片事业,以至于今天到达世界之巅1981年,IBM定义PC规格采用的INTEL8086就是用CMOS工艺1982年 IBM的“Cheetah”原本计划使用Bipolar ECL(逻辑发射极耦合逻辑电路emitter coupled logic)工艺 ,在1984年采用了CMOS技术,IBM的POWER CPU系列也大发展2006年底,锐迪科微电子推出采用中芯国际 RF CMOS 工艺的FM收音机集成芯片,模数混合,火爆一时,一度成山寨GSM手机标配2013-14年,卓胜微用台积电的RF-CMOS工艺做GPS低噪放,也是从山寨机起家ODM公司(如华勤)可以带动很多国产小芯片的验证应用第四章、硅谷豪威受爱丁堡影响而创商业奇迹1、豪威以爱丁堡的VVL公司为榜样建立,目标市场是“电脑眼”1995年的硅谷,一片欣欣向荣移动互联网兴起,PC产业迎来了高速发展的伟大动力1992年,美国总统候选人比尔·克林顿提出建设信息高速公路,1993年它成为美国政府的建设计划1995年,中国CERNET(中国教育科研网开通),我们作为最早的中国网民,在中大的实验室里用惠普PC兴奋地上网冲浪,不小心连上了PLAYBOY九十年代,以兼容PC为核心的电子产业快速发展,电脑城”攒机“是很多人共同的经历,来自中国台湾的主板很有名美国硅谷和中国台湾都涌现出了华人芯片创业潮英伟达成立于93年做PC显卡,MARVELL成立于95年,做硬盘控制芯片世界十大设计企业之四的联发科(MediaTek)、联咏(Novatek)、瑞昱(Realtek)和奇景(Himax)也都是依赖中国台湾的PC相关产业起家的洪筱英(上交大55届)和吴日正(毕业自中国台湾中原大学)从80年开始就是摩托罗拉芯片业务(飞思卡尔)的好同事Raymond Wu要小17岁,一直称Shaw Hong为“老板”有一个说法是:两人相处的时间大概比许多夫妻在一起的时间都长图注:低调洪筱英在网上唯一的照片95年,两人结束了第一家联手创办的计算机应用芯片组公司HK Technology创业未成功,但他们并未丧气,在思索着下一步,要能看到三五年之后的趋势此时无论是CPU(中央处理器)、存储器,甚至是计算机周边产品都在飞速地进步,若计算机是一个“人”,那么“他”已是四肢健全,头脑灵敏,但独缺眼睛,它看不到外面的东西没错,技术高、成本低的影像感应器单晶片便成了豪威要走的路,要让产品有好的“眼睛”创办豪威时,最被质疑的是:“市场在那里?”而他们的答案总是:“我们要创造市场(create market),而不是替代日系的CCD市场(replace market)”OmniVision豪威起家的股东就来自中国台湾,陈大同介绍过这个故事:“入伙”之后,另一个Co-Founder,中国台湾来美的 Raymond Wu(注:吴日正),悄悄向俺吐露了一个惊天秘密:公司的启动资金是他“连蒙带骗”来的
当时,全世界只有一家英国创业公司(VVL)在研发CISRaymond神通广大,不知从哪儿拿到了他们的工程样品,然后擦去公司印记, 就冒充成了俺们OV公司的“研发样品”这种“样品” 当然不敢在硅谷露面,于是,Raymond带着它回到台湾, 四处演示最终,通过一个大学同学,认识了和成陶瓷 HCG(卫生陶瓷厂商)邱家的二少东,Stanley Chui估计 人家也是马桶做腻了,在Raymond的鼓动下,想玩玩高科技,于是投资200万美元,成立了OmniVision得知真相, 俺惊出一身冷汗,这上的是哪一条“贼船”呀
但上船容易下船难,还得硬着头皮往下干来自中国台湾的富鑫、和通等科技创投基金、电脑品牌厂宏碁也陆续投资了豪威华虹也进行了投资2、中国留美学生们一起努力奋斗豪威的工程师团队里面80%是华人,华人里面80%是留学生,团队创造性极强,干活非常玩命清华大学微电子所毕业生陈大同作为联合创始人加盟了这家公司,还有何新平、刘军、杨洪利、董其等清华人加入东大系留学生杜峥等人也加入了第一件事情就是看论文单记章回忆:印象最深的就是在最后测试代码的时候,公司创始人洪筱英先生就坐在我的身后,紧紧盯着电脑的屏幕,洪先生50多岁开始创业,跟我现在创业(注:黑芝麻)时的岁数相当,身上的压力很大,但我无暇感到紧张,因为一旦开始做事,就会全神投入,最后看到结果顺利,洪先生才终于松了一口气96年开始,全球有二三十家公司进入这个领域,不乏世界级芯片巨头1997年,豪威推出首颗芯片(ASIC),并开始用于电脑眼豪威科技成立5年后,尽管一直亏损,但还是于2000年登陆纳斯达克,这就是美国资本市场的魅力图注:作者戴辉于豪威LOGO前3、2001年,京瓷采用OV66302001年,日本京瓷的手机照相机附件”the Treva“上,豪威OV6630 CIF芯片得到了应用,11万像素随后,OV6630也进入了京瓷照相手机图注:照相机附件连接手机使用并存储在手机里2002年,豪威来到中国大陆,到上海松江建立模组厂,洁净车间是食堂改造的,测试则是依靠人工生产的模组最早是提供给摩托罗拉手机使用4、2009年,豪威进入苹果,图片质量接近数码相机从2007年乔布斯发布智能手机(采用美光2百万像素CIS)开始,苹果就举行年度摄影比赛2009年发布的iPhone 3GS采用 豪威的320万像素CIS,还有一个可以自动聚焦的镜头手机可以拍视频啦,每秒30帧,VGA分辨率(640-by-480 resolution)2009年,豪威和台积电合作的BSI(背面照度技术)制程产品成功量产,2010年获得了iPhone 4采用当年发布的iPhone 4(采用豪威500万像素CIS)的画质相当让人感到满意记得深南大路上的一溜公交车站广告牌都是美轮美奂的大幅照片,下面写着:“Shot on iPhone”还加入了前置摄像头,启用FaceTime视频通话功能,这是一个苹果自己的解决方案,而不是当时的3G视频通话标准图注:iPhone 4的显示和照相都不错iPhone 4是一代神机,很多水客从香港带货到深圳豪威也一度最高拿下全球50%+的份额,索尼仅7%豪威也一跃成为了台积电前十大客户之一5、索尼和三星受刺激而异军突起CMOS的大火,让索尼觉得死守CCD肯定不行了,于是也在CMOS芯片加大投入, 并进入苹果,应用在iPhone 4s上,从此索尼崛起索尼最后使用CCD的消费电子产品是2010年推出的A390数码单反索尼在2017年3月前逐渐停产CCD传感器,最后一次发货时间为2020年索尼将全部精力投入到CMOS图像传感器研发当中,退居幕后成为CMOS图像传感器芯片巨头,以至于每年的绝大部分利润皆来自这里三星凭借其手机和芯片制造的强大实力,其CIS也随后迅速发展了起来第五章、1995年,王国裕归国创业至今花开两朵,各表一枝1、王国裕来到西安创业做CIS,归国创业先锋1995年初,王国裕归国来到西安交通大学任教授,同时担任西安开元微电子科技有限公司总经理,董事长则由开元集团派任他很可能是改革开放之后,最早从海外归国创业设计芯片的人差不多时候归国的魏少军是王国裕在微电子所的同学,硕士毕业后于85年赴比利时从事芯片设计与科研95年10月归国加入电信科学技术研究院创立集成电路中心,从研发SIM卡出发,后成为大唐微电子魏少军目前是清华大学微电子所所长1997年,王国裕领衔开发出512X512 彩色CMOS图像传感器,这个进度和英国VVL同步,早于硅谷豪威作为中国大陆第一个单片CIS,里程碑贡献记录进入了中国集成电路编年史百度百科介绍,王国裕开发了国内第一个单片CMOS摄像芯片、国际上第一个高分辨率CMOS摄像芯片(40万像素)、国内第一个同时带有全电视信号输出和数字信号输出的单片CMOS摄像芯片、国内第一个单片CMOS彩色摄像芯片并以单片CMOS摄像芯片为核心,开发出国内第一个微型摄像头(曾在公交车上大量使用)和国内第一个电脑眼2000年,王国裕遇到了无法逾越的门槛原有的计算机工作站和“指南针”EDA软件由于2000年“时间窗”的问题都不能正常工作了此外,随着集成电路工艺不断进展,美国公司的几个主流EDA软件已经脱颖而出,原有的“指南针”EDA已经落后更新这些软硬件需要数千万元上海华虹(时任电子部部长胡启立兼任华虹集团董事长)愿接盘,但和母公司开元集团没有谈拢因研发难以为继,王国裕不得不辞去开元微电子总经理职务,专心西安交通大学的教学工作,为中国芯片事业培养学生“开元”作为知名芯片品牌也后继有人,西交大校友贾斌创立了开元通信研发滤波器等射频器件当年中国尚没有对集成电路进行大额风险投资的基金,而芯片又很烧钱,因此这样的结局现在看来是难以避免的2、国家成立7个集成电路设计产业化基地在王国裕等先行之士的大力呼吁下,2001年12月29日科技部批准在上海、北京、西安、无锡、成都、杭州、深圳7个城市批准了国家集成电路设计产业化基地各基地建立具有一定基础的IC设计技术服务平台,包括EDA工具、MPW流片、IP开发和复用、测试验证、SoC设计服务、人才培养、创新应用推广等服务我听过这段故事深圳基地首任主任张克科(武大人)回忆:深圳是最晚批复但最先推出全方位服务的基地深圳基地和当年技术领先的香港科技园联系,签署了7(个基地)+1(香港)的战略合作协议,周斌(东大)从深圳最早的独立芯片企业国微调出来服务诸多设计企业3、重新出发做音视频芯片,努力至今就是在2003年,陆明莹和王国裕自行出资创立西安西芯微电子有限公司,再次出发,研发DAB/DMB+多媒体音视频芯片,06-07年曾大量英国电商Argos销售,成为“一代拳王”(爆品)图注:曾大量在英国电商Argos销售的DAB收音机2004年,他们一同来到重庆邮电大学,专注于芯片设计方法研究和创新技术又是”十年磨一剑”,他们探索了一种全新的数字系统芯片设计方法,开发了又一重大原创基础性技术,在世界上首次提出并定义DMB+这个成果具备原始创新、核心技术、核心芯片和市场应用前景等诸多产业要素,技术已成熟,亦已有成功示范应用,正在和合作方一起做相关行业的规模推广他一直在努力第六章、2003年格科微创立,因山寨机而火爆本世纪初,因为国家鼓励芯片设计行业的发展,有了一个海外归国创业的小高潮1、赵立新从硅谷归国,”忽悠“中学同学投资赵立新是我所读的南县一中学长,黄慈和、熊有廉是我们共同的老师南县是小地方,人和人之间沾亲带故,算起来我们还是远房亲戚1990年,我填写大学志愿的时候,专程向他请教,当时他正在他父亲的作坊里干活打暑期工也正是在那一年,他从清华本科毕业后进入本校微电子所读研究生,比王国裕(82年进入)要晚8年赵立新在斯坦福大学图书馆了研究了500天,每天学习十几个小时,看了很多论文,确定CIS是最合适的方向每天结束时,会买一个冰淇淋犒劳自己2003年9月,赵立新从美国回来经过深圳,从中学同班同学夏风那里忽悠来了200万美元赵立新肯定听过豪威的故事,所以故意将芯片创业说得很轻松,就像“喝蛋汤”(老家方言)一样随后,赵立新在上海集成电路基地所在的张江创立了格科微(GalaxyCore)做CIS,最初也是瞄准了PC市场他遇到了一个好机遇中芯国际想做CIS的代工,因此和格科微一起干,格科微提供技术,中芯国际出研发费用2、为山寨机提供超高性价比产品2006年,华强北GSM山寨机爆发,一些手机采用廉价的CMOS(互补金属氧化物半导体)技术提供内置照相机,全世界无数老百姓有了人生的第一张数码照片传音手机针对非洲人黑皮肤拍照难这一问题,专门研发了新的拍照算法,即使在晚上自拍,也不会出现看不清自己的情况2006年开始,山寨GSM手机市场爆发格科微提供了超高性价比的芯片,最低可至10万像素,只有几毛钱美金一颗,配合独创的低价COM模组工艺,几乎成了低价山寨机的标配远在硅谷的豪威也注意到了这个机会,利用美国上市带来的资金优势,给了同行一个“下马威”赵立新回忆:“当时在深圳,他们(豪威)把自己库存的产品按斤来卖
” 这个举措搞得格科微账上一度只剩下200元,后幸运地获得风险投资后渡过难关早年没有自动化夹具和AI视觉检测手段,格科微招聘了很多年轻女工手工检测成像质量同学黄诚和陈伯友都去观摩过,感慨于这“劳动密集型”芯片测试工厂后来在嘉兴落成高度自动化测试工厂3、CIS成为中芯国际和广东粤芯的第一个海量产品连续数年,格科微是中芯国际第一大客户,CIS也成了中芯国际第一个海量产品目前,如果按发货量口径算,格科微全球排第一,不过,如果按金额算,那就不同了后起之秀广东粤芯一度七成产能是为格科微代工200万像素CIS格科微也曾在华虹投片格科微的BSI技术早期和三星联合推出格科微上市后,在上海临港建立了自己的12英寸晶圆厂,所谓”FAB-LITE“模式图注:上海临港滴水湖 作者戴辉摄3、GSM是中国芯片急剧发展的最宝贵机缘世界上做大了芯片产业的国家并没有几个,需要宝贵的机缘众所周知,PC的ODM产业带动了中国台湾的芯片设计产业的崛起无独有偶,中国大陆也遇到了伟大的契机——GSM在04年,3G干死2G(正如2G干死大哥大)的说法压倒一切科技老兵戴辉依据深刻理解,坚持推广GSM,孤身拓展出菲律宾马尼拉整网替换项目,这是全球第一个超级大都市的替换项目之后,全球GSM迅速发展,山寨GSM手机浪潮也随之兴起ODM企业(如华勤、闻泰、龙旗等)大量生产公板(类似电脑),在导入和验证国内芯片上起到了关键作用现在和未来,智能手机的爆发,进一步带动了很多颗大陆芯片的蓬勃发展,并屹立于世界强手之林
第七章、中国CIS产业生态群体崛起1、CIS芯片群体崛起2015年,豪威为中资以19亿美元的现金价格收购,2018-19年为韦尔科技所收购,CEO虞仁荣和格科微赵立新是清华大学的同班同学思特威徐辰、芯视达杜峥都曾在豪威工作,都在国内做CIS,服务手机、安防、汽车等领域图注:芯视达CEO杜峥和作者戴辉2、供应链群体崛起晶圆制造上,CIS采用的都是成熟制程,并不是常规意义上的先进制程(14纳米以内),因此在中国大陆完全可以量产CIS以前是0.8微米(800纳米)线宽做的,后来是0.5、0.3、0.18微米、90纳米线宽,格科微报道称基于55nm的工艺平台已进入量产状态,索尼和豪威则有报道称最多采用45纳米和55纳米等制程工艺有报道称,三星的堆栈式结构中,上层传感器主要采用65纳米制程,下层逻辑电路则采用28纳米和65纳米CIS有“前照式(FSI)”、“背照式(BSI)”、“堆栈式Stacked BSI”等不同种类封装上,普遍采用了WLCSP先进封装工艺,大陆封装企业纷纷上了档次
内置的摄像头模组(CCM)大部分都是在中国制造的三星本来转移到了越南,现又将很多订单交给国内的ODM公司(如华勤)谁笑到最后,谁笑得最好
3、CIS在专业场景大量应用CMOS图像传感器(CIS)在汽车智能驾驶、安防(视频监控,包括家居安防)、医疗(如肠胃镜)、工业(如机器视觉和机器人)、宇航(如望远镜)、无人机航拍、远程教育等众多领域获得了很多应用工业领域的机器视觉应用非常广明锐理想的AOI(自动光学检测)设备本质上是一个直角坐标机器人,基于工业相机在高速运动下拍下很多照片,从而实现对芯片封装、CMOS摄像头模组(CCM)、智能手机电路板一条龙的自动视觉检测还有响亮的SLOGON:“明于心,锐于眼”CEO冀运景告诉我,最近几年,采用CMOS传感技术的高性能工业相机已经是绝对主流了,处理速度非常快,成像质量也令人满意速度是关键:With CCD sensors (left) the charge is shifted pixel by pixel, in the CMOS sensor the charge of each pixel is directly converted to a voltage and read – making it noticeably faster.图注:CMOS的成像速度比CCD快很多(源:BASLER)医学检测也广泛使用去年,我在长沙做肠镜检查和割息肉,我因为是学医电(BME)出身,所以没有打麻药,饶有趣味地看着屏幕里的”曲径通幽“如今我也是文人,也想能和写”屎尿屁“的贾浅浅一样地火,所以直接上”干货“
图注:肠镜检查图 作者戴辉摄作者戴辉:独立电子科技史研究者,文章累计阅读量上亿,已出版《华为通信科技史话》(人民邮电出版社),将出版《中国电子和芯片史话》参考资料:CMOS Image Sensors (CIS): Past, Present & Future by Sofiane Guissi https://www.coventor.comThe Development of CMOS Image Sensors https://www.azom.com/手机摄像头持续创新,多方位支撑技术升级 刘亿CCD/CMOS图像传感器基础与应用〔日〕米本和也着摄影知识必备
图像传感器百年发展史 与光数字成像和图像传感器的发展史 FORZAInside the Nobel Prize: How a CCD Works https://www.wired.com/CMOS浮沉:从双雄缠斗到国产替代 李健华豪威创造「计算机之眼」出头天 P.90这家在兴柜8年IC设计公司终于要上市 为何最高兴的是黄崇仁?信传媒上海滩无线和芯片30年史|老兵戴辉索尼CMOS图像传感器十年奋斗史 上方文Q谢幕
奥林巴斯84年的相机历史终结 托尼数字摄影半世纪:像素改变世界 守候微光三星高端CIS产能吃紧 华米OV集体焦虑 张轶群被手机摄像头改变的世界 卫夕指北中国CIS兵团的崛起 李晨光芯人物:赵立新、陈大同、单记章对战卡片机 iPhone4背照式CMOS功能揭秘 太平洋电脑网王国裕:芯片世界写精彩 清华大学官网东大校友科研伉俪喜获英国顶级科学奖 东南大学官网兰克奖得主王国裕谈原始创新 武夷山的科学网博客陆明莹的科学和技术贡献 王国裕CMOS图像传感器芯片的一段往事,有感人爱情 | 科技老兵戴辉王国裕 百度百科参考文献众多,如有遗漏不全,致歉

(图片来自网络侵删)