Tianmouc Architecture Introduction

Tianmouc 天眸芯

现有传统CMOS图像传感器只是单纯地将光强信号点对点地转换为数字信号，这使得传统图像传感器在同等代价下很难实现“分辨率、信噪比、动态范围和帧率”的同时提高。与传统图像传感器不同，多通路的人类视觉感知系统将场景解析为不同的组件，将前景与背景分开。然后，通过多个通路间的相互组合，可以实现对危险的快速响应，又不失去对全局场景的理解。例如，人类视觉系统，无论是在正午还是黄昏，无论是在开阔场景中还是被部分遮挡，都可以实现对运动目标的快速识别。实现了远超现有计算机视觉系统的鲁棒性与通用性。

借鉴人类视觉中双通路感知的基本原理，清华大学类脑计算研究中心发展了新一代异构互补融合的双通路类脑视觉感知芯片架构：天眸芯 (Tianmouc) 。Tianmouc是世界首款多通路类脑视觉传感器，同时实现高速（10,000fps）、高动态（130dB）、高灵敏度（72%@530nm，NIR）、高精度（10bit）与低功耗、低带宽（相较于传统高速相机，具有90%带宽下降）的视觉感知，综合指标（FoM）位列世界一流。

Tianmouc 具体架构

Tianmouc成像架构图

Tianmouc采用90nm CMOS BSI工艺，使用了先进的全局曝光技术，双通路合成后可以达到640*320的分辨率，包括，320*320 常规速度（30fps）高精度（10bit）的RGB Cone (或称为COP)与160*160高速（750~10,000fps自适应可调）且可变精度（±1~±7bit可调）的单色Rod (或称为AOP)通路。经过与EMVA1288标准兼容的测试方法，达到130dB动态范围。其同时具有高精度，最大SNR接近50dB。在实现高速、高动态范围、高图像质量的同时，Tianmouc具有极低的代价。其具有低带宽，典型值达到总带宽50~60 MB/s (threshold = 1)，为同等帧率、分辨率和精度的高速相机的10%以下，典型功耗约300mW。

Tianmouc 数据类型

Cone (COP)的数据类型为320 * 320的10bit图像矩阵,与常规RGB无异。

Rod (AOP)的数据类型为 160 * 160的时间差分(TD)和和320 * 160的空间差分（SD），原始输出采用的是类似地址事件表示（AER）的可兼容SD，TD的统一地址事件表示（UAER）。已提供现成的C++解码程序，能够将UAER的数据解码为常规图像数据（见后文的SDK）。数据输出格式见下图

Tianmouc数据流程和结构图