双目立体视觉应用层面相当广泛，能用于前车侦测与防撞、车道偏移、号志识别、行人侦测等等 ADAS 相关安全应用，如下图1。 即透过新颖的双目概念建立新的维度 (物体深度/远近)，为车用安全领域多一种新的发想与延伸应用，更能轻易的识别标的物，以利于提早迈入自动驾驶的领域之中。并能配合光学焦距的设计，使识别物件距离达到另一种层次提升，替未来车辆开拓市场。
图1 双目立体视觉应用场景
本方案提供一套 Sky Eye 双目立体视觉 ADAS 产品开发原型与技术资源，如 "展示板图片" 所示。要让初入此领域者的开发者更快速地上手应用，缩短开发周期并更能专注于开发算法，设计出符合一定水平的 ADAS 产品。目前主要针对前车侦测与辨识进行开发，并搭配 Sony IMX224 车用感测器于实际架设在车辆上进行道路测试，如下图2，能够侦测出前方车辆距离，最远侦测距离约50米。并迈入车用安全 ADAS 与自动驾驶之未来新领域中，创造更好的应用价值。
图2 Sky Eye 双目视觉前车侦测实测示意图
借由专属的双目立体视觉算法创造建立三维空间(景深)。如下图所示，取得两颗镜头之影像后，由视差概念计算获得新的空间 "视差" ! 同时，即可推导出车辆距离 (视差值越大距离越近，反之视差值越小则距离越远) ! 亦可用彩色方式呈现视差图，深浅程度由红、澄、黄、绿、蓝来表示近到远的物件，如 "实测结果与彩色视差示意图" 所示。
图3 Sky Eye 双目视觉前车侦测之视差原理示意图
本方案提供的技术核心参考，取得视差图后就可依照算法流程进行分析，由改善视差影像、地面估算、移除天空等步骤构成，即可将场景中的物件分类出来。最后统计资讯并利用条件筛选出车辆，如同下图结果显示即表示搜寻到前方车辆 !! 经实际测试，执行速度约可达到每秒 27 张 FPS，可侦测到 50 米内的车辆。
图4 Sky Eye 算法流程大公开
最后，亦可善用 S32V234 APEX 视觉加速器所量身打造的 NXP eIQ Auto 套件与深度学习框架来提高识别车辆的辨识率 !! 达到辨识率与检测速度更进一步的提升!!
图5 eIQ Auto机器学习软体套件之应用场景
? 场景应用图
? 产品实体图
? 展示版照片
? 方案方块图
? 实测结果与彩色视差示意图
? 核心技术优势
优势一 : 能配合双目视觉之视差概念，建置深度资讯以利于识别物件。比起单一镜头，双目视觉多一个维度运用更能轻易识别远方的车辆，应用前景极为广阔可识别车辆、行人、号志与道路。 优势二: 提供两路 MIPI 接口，其镜头相距 30 公分以扩大视差效果，如下图3，搭配 Sony IMX224 镜头可侦测 50 米内之车辆。以视差原理搭配长焦、窄角镜头即可侦测更远的物体(车辆)，更加强化双目视觉的优势。 优势三: 提供齐全的周边配置，如 高画质多媒体界面(HDMI) 、 乙太网路(Ethernet) 、异步收发传输器(UART) 接口。 优势四: 可快速上手应用 NXP eIQ Auto 深度学习套件，与双目视觉结合能增加辨识速度。亦可配合任何一个深度学习的架构作延伸应用，提高物件识别的准确度
? 方案规格
1. 主芯片 MPU 规格 (NXP S32V234) :
- 搭配 4 颗 Quad Cortex-A53 高效能处理器，最高时脉为 1GHz
- 搭配 ISP 图形处理器、APEX 视觉加速器、GPU 图形加速器等核心
- ISP 图形处理器 提供 HDR、色彩转换、白平衡、自动曝光等技术
- APEX 视觉加速器 由 64 个小型运算器组成的硬体加速器，能提高约 8 倍的运算性能。
- GPU 图形加速器(GC3000) ，运算速度高达 800 MHZ 。
-提供 4MB 内部记忆体 与 DDR3/DDR3L/LPDDR2 外部记忆体
-提供 H.264 影像解码与编码技术 (8-12bit)
- 提供 SD card 、Ethernet 等周边接口
-符合车用安全规范 ISO 26262 标准 与 车辆安全等级 ASIL 的要求 2. 镜头模组 Camera Module 规格 (Sony IMX224) :
- 提供最高分辨率为 1280(H)x960(V) 共 1.23 百万画素
- 提供最大祯数率 120 frame/s
- 提供 10 and 12 bit数位类比转换器
- 提供低光源时，良好的高分辨率彩色图像
- 符合 AEC-Q100 2级 3. 外部记忆体 External Memory DDR3 规格 (MT41K256M16TW-107) :
- 最高运行时脉为 933 MHZ
- 储存容量为 512 Byte
- 操作电压为 1.283 至 1.45 V
-操作温度为 0 至 95 度 4. 电源管理集成电路 PMIC (PF8100/PF8200) 规格:
- 提供 7 个高效能降压转换器
- 提供 4 个线性稳压器
- 提供看门狗监控机制
- 符合 ISO 26262 标准与 车辆安全等级 ASIL-B 的要求 5. 低静态电流同步降压控制器 DCDC 规格（NCV881930）：
- 工作频率为 410 KHz，具有同步功能
- 提供稳定的工作电流 30umA
- 提供热关断(TSD) 机制
- 符合 AEC-Q100 与 PPAP 标准
