FPGA实现ISP用于无人车、无人机配送的方案调研

查到一个always 奥唯思公司做的用FPGA实现ISP的方案，采用易灵思钛金16nm的FPGA Ti60F225，通过MIPI CSI RX采集图像传感器的数据，在FPGA内部经过一系列复杂的ISP运算后，再通过MIPI CSI TX将图像数据发送给后端。

一套完整的ISP，在这个方案里有15个环节，见上图最大的红框，具体的环节介绍见下表。

这个方案选择FPGA而没有选择ASIC，有以下几点考虑：

·针对选定的Sensor，虽然后续是要接到NVIDIA的平台，貌似NVIDIA的ISP ASIC芯片是方便的，但实际上用仍需要大量的调试工作，不见得比FPGA的工作量小； ·NVIDIA的ISP不支持8bit RAW输入模式； ·部分应用工程师，并不熟悉ISP领域； ·部分ISP算法，NVIDIA并没有包含； ·低延时的需求，需要流水线完成ISP。 综合起来是性价比和兼容性的问题

大概查了一下这个公司，深圳奥唯思科技，2021年成立，专注于摄像头采集、显示方案开发，以及FPGA硬件算法加速。有不少FPGA开发板和CMOS模组、USB工业相机的方案，很值得学习参考。

另外对于应用场景做了一些调研： 相机视频的最终目的是接到NVIDIA的Jetson平台，该平台是NVIDIA为新一代自主机器设计的的嵌入式系统， 是一个AI平台。 它可以支持需要各种性能级别和价格的大量应用场合，例如 AI 网络视频录像机 (NVR)、高精度制造领域中的自动光学检查 (AOI) 以及自主移动机器人 (AMR)。 Jetson简单来讲就是一台电脑（看NVIDIA网站的介绍图，就是一个板卡），只不过这台电脑可以直接跑AI的程序，NVIDIA根据需要的不同做个多个版本。 用在类似送货机器人这样的产品上，商用落地的有京东的配送用产品，应该就可以实现这些送货机器人（无人车）、无人机等在路上、轨迹上安全驾驶，自动识别路程和障碍物，真是挺先进的技术呢，向着未来全面无人驾驶的方向落地的产品。