面向 AI 边缘处理的 高级ML功能
面向赛灵思 Pro AV 和广播平台全新推出的 ML 功能包括感兴趣区域编码（region-of-interest encoding）、智能数字标牌（intelligent digital signage）、自动对象跟踪（automatic object tracking）和窗口剪切（window cropping）以及语音识别（speech recognition）。现在，客户能够充分运用赛灵思器件上的这些 ML 功能，包括已经高度集成的 Zynq? UltraScale+TM MPSoC 平台，用于实现 AI 边缘处理。将实时音视频处理、AV 连接接口、编解码器、IP 联网、CPU 和 GPU 集成在可扩展的自适应单芯片解决方案中，能为用户显著节省空间、功耗和成本。
赛灵思 Pro AV 与广播业务总监 Ramesh Iyer 表示：“机器学习作为一种快速发展的技术，正在激发 Pro AV 与广播领域的全新使用模式。在赛灵思自适应平台中添加 ML 功能，实现了高度集成的 AV 处理器，为 8K 视频、IP 音视频和压缩功能提供了业经验证的支持。现在通过增添多种高级功能，有助于开展商业化分析、提高工作流效率和增强可用性。最终，这些集成ML 功能将帮助企业加速创新、实现自身差异化，并加快产品上市进程。”
Pro AV 市场客户能够将这些全新的 ML 功能用于多种应用和工作负载。主要包括：
· 感兴趣区域编码 —— 借助 ML 和 Zynq UltraScale+ MPSoC 集成型 H.264/H.265 编解码器，保持这些区域的高质量视频画质、加大背景压缩幅度，从而更好地检测人脸和特征。这种方法能降低总比特率，大幅节省实时视频流的成本。
· 智能数字标牌 —— 使用 ML 模型检测性别、年龄和手势，在数字标牌上提供针对性的交互广告。这种方法能为广告商带来更高的投资回报率以及可获利的行为指标。
· 自动对象跟踪与窗口裁剪 —— 使用 ML 功能，从单个 4K 摄像头输出多个高清窗口。这项功能尤其适用于在实况播报和控制室中提供画面切换内容。
· 语音识别 —— 根据语音自动输出文本，理想适用于会议记录内容自动转录以及会议与协作中的语言翻译。
首款在 7nm 器件上实现的的 HDMI 2.1 方案
在 ISE 2020 上，赛灵思将演示业界首款基于赛灵思 7nm VersalTM 器件的可编程 HDMI 2.1 实现方案。该方案基于赛灵思首款自适应计算加速平台（ ACAP ）构建。ACAP是一款具有变革意义的全新异构计算器件，其功能远超常规的 CPU、GPU 和 FPGA。
HDMI 2.1 数据速率高达 48Gbps，支持 8K60 和 4K120 等一系列更高的视频分辨率和帧率，从而帮助 LED 画面墙、大幅面显示屏、数字标牌以及运动赛事实况转播等需要高速视频功能的应用提供更加身临其境的体验。基于Versal ACAP 的 HDMI 2.1 实现方案专门支持这项标准，可以帮助客户发送、接收和处理高达 8K（7680 x 4320 像素）的超高分辨率（ UHD ）视频。
7nm Versal ACAP 在软件可编程芯片架构下提供了可扩展的自适应智能化引擎，将嵌入式软件、多通道 AV 处理流水线和 AI 推断紧密结合。此外，还将实时视频处理、AV 连接接口、编解码器、IP 联网、CPU、GPU和其他功能集成在单芯片解决方案中，也能为客户节省空间、功耗和成本。
