0%

OrangePi-3B 适配 AOSP —— 适配 Encoder

OrangePi-3B 适配 AOSP 系列笔记:

温馨提示:

  1. OrangePi-3B 硬件版本 V1.1.1 的板子出现过有线网卡“无故”失灵的故障, 所以在进行操作前请确认开发板工作良好(修复这个问题需要更换 RK3566 芯片).
    https://www.bilibili.com/read/cv33224126
  2. 香橙派目前已经推出了硬件版本为 V2.1 的 OrangePi-3B, 有线网卡供应商更换为 RTL. 本系列文章没有针对 V2.1 的板子做过适配, 请根据实际情况操作(同时强烈谴责此种不负责任的行为, 如考虑购买此型号板子商用, 建议换个型号避坑).
  3. 本系列文章最后更新时间: 2026年11月20日, 实现了初始化 TEE 环境, 填了一个 ATF 关于GPU的坑.

编译环境

  • 主板: OrangePi-3b_V1.1.1
  • 芯片: RK3566
  • 环境: Debian:13_x86_64(Docker)

内容说明

OrangePi-3B 跑起 AOSP 之后,screenrecord、scrcpy 这类需要视频编码的场景一直走软件编码(c2.android.avc.encoder)。RK3566 的 VEPU541 是独立硬件编码器,H.264 与 HEVC 都能编。这个专题记录怎么让 AOSP 的 Codec2 直接使用它:内核驱动、Codec2 接入、四个把链路从“能出画面”推进到“可日常使用”的坑,以及后来复用同一套驱动补上的 HEVC 编码。

温馨提示:

  1. 本文的内核改动全部集中在板级目录,上游 AOSP 与上游内核保持干净,方便随时 rebase。
  2. 编码器属于“看起来能跑”和“真的能用”差距很大的模块。本文把踩过的坑完整记下来,尤其是偏色和会话中断这两个,靠猜是猜不出来的。

代码现状

OrangePi-3B 在这套系统里当远程开发机用:日常 scrcpy 投屏,需要时
screenrecord 录屏。没有硬件编码时,这条链路只能走 c2.android.avc.encoder,
1080p 下 4 个 Cortex-A55 核被编码吃掉很大一部分,帧率和延迟都不可控。

但“板子上有 VEPU541”不等于“能直接用”。把当时的代码翻一遍,各层的支持情况是:

层 现状 证据
主线 hantro 绑定 rockchip,rk3568-vepu(VEPU121),但变体只有 HANTRO_JPEG_ENCODER drivers/media/platform/verisilicon/rockchip_vpu_hw.c
主线 rockchip 平台 只有 rga、rkisp1、rkvdec,没有编码驱动 drivers/media/platform/rockchip/
RK356x 设备树 只有 vpu(解码)与 vepu(JPEG),没有 rkvenc 节点 arch/arm64/boot/dts/rockchip/rk356x.dtsi
AOSP Codec2 external/v4l2_codec2 是 stateful V4L2 实现,编码侧只有 H.264/VP8/VP9 external/v4l2_codec2/components/EncodeInterface.cpp
厂商方案 MPP 依赖 mpp_service 私有内核框架,libmpp 与主线内核不配套 厂商仓库
社区驱动 RKVENC v1 是 stateful V4L2,binding 含 rockchip,rk3568-rkvenc,OpenWrt patches-6.18 已携带 OpenWrt

两个结论直接决定了后面的路线:

  1. VEPU121 的编码没有闭环。主线驱动只有 JPEG;Bootlin 的 H.264 分支面向
    RK3399 H1,走 request API + 私有 stateless 控制项,与树内 stateful 的
    v4l2_codec2 不兼容。选它等于要自己补齐整套编码寄存器逻辑和用户态。
  2. VEPU541 已经有现成的 stateful 驱动,而且它暴露的
    BITRATE、GOP_SIZE、FORCE_KEY_FRAME、ENC_CMD_STOP 等控件,与
    v4l2_codec2 的 H.264 编码路径逐条对齐。用户态不需要重写一套 Codec2。

所以路线判断可以收敛成一句话:选一条内核改动最小、用户态能复用标准 Codec2、
且不污染上游的路径。

方案选择

RK3566 上的硬件编码有几条路:

方案 内核改动 用户态改动 兼容性 结论
Rockchip MPP 引入 mpp_service 私有框架 libmpp + Codec2 HAL 适配层 与主线内核、上游 Codec2 都不兼容 不采用
VEPU121 / Bootlin 补 H.264 编码寄存器、参数集、码控与参考帧逻辑 新增 request API stateless 客户端 与 stateful v4l2_codec2 不兼容 不采用
V4L2 stateful + VEPU541 回移 4 个上游补丁 + 3 个板级增量 复用 v4l2_codec2:H.264 补 3 个文件,HEVC 补 12 个文件 标准 V4L2 + 标准 Codec2 采用

最终链路:

flowchart LR
    SF["SurfaceFlinger<br/>RGBA_8888"] --> C2["Codec2 AIDL<br/>c2.v4l2.avc.encoder<br/>c2.v4l2.hevc.encoder"]
    C2 --> V4L2["v4l2_codec2<br/>V4L2Encoder"]
    V4L2 -->|"DMABUF"| RK["rockchip-rkvenc<br/>stateful V4L2"]
    RK --> VEPU["VEPU541<br/>BGRA8888 + 硬件 CSC"]
    VEPU --> BS["H.264 / HEVC Annex-B"]
    BS --> Client["scrcpy / MediaCodec 客户端"]

关键点:输入不经过 CPU 转换。SurfaceFlinger 给的是 RGBA,VEPU541 自己
支持 BGRA8888 输入并做 RGB→YUV,这条路径在 H.264 一节展开。HEVC 复用了
同一套输入与参数集逻辑,内核侧没有新增改动。

内核适配

驱动来源

驱动来自 OpenWrt 的板级补丁序列:

target/linux/rockchip/patches-6.18/
├── 183-01-dt-bindings-media-rockchip-add-rockchip-rkvenc-v1.patch
├── 183-03-media-platform-rockchip-add-rkvenc-v1-encoder-driver.patch
├── 183-05-dt-bindings-media-rockchip-rkvenc-add-operating.patch
└── 183-06-media-rockchip-rkvenc-add-frequency-scaling-and.patch

板级目录里保存一份固定副本,作为唯一上游来源:

vendor/6xyun/patches/kernel/rkvenc-v1/

四个上游补丁在板级内核里合并成一个提交,后面再叠加本地增量。这样历史是
“一个上游驱动提交 + 一个板级适配提交”,不会出现一堆零碎的调参提交。

设备树与配置

rk356x-base.dtsi 里已经有 rkvenc 与 rkvenc_mmu 节点,板级 dts 只需要打开:

/* kernel-6.18/common/arch/arm64/boot/dts/rockchip/rk3566-orangepi-3b.dtsi */
&rkvenc {
    status = "okay";
};

&rkvenc_mmu {
    status = "okay";
};

GKI fragment 里打开驱动:

# kernel-6.18/common/arch/arm64/configs/orangepi3b_gki.fragment
CONFIG_VIDEO_ROCKCHIP_RKVENC=m

模块清单登记 rockchip-rkvenc.ko,否则 vendor_dlkm 不会把它打进镜像。

KMI 符号

rkvenc 是未签名模块,用到的每个导出符号都必须在设备白名单里:

kernel-6.18/common/gki/aarch64/symbols/6xyun

驱动用到的 devfreq_*、pm_qos_*、media_device_*、reset_control_bulk_*
等都要补齐,漏一个就是加载时的 Unknown symbol。

本地补丁

上游 183-03 是一个“能跑单帧”的驱动,接到 Android 上还需要三处本地增量:

补丁 作用
local-01-rkvenc-add-crop-selection.patch 补 VIDIOC_G_SELECTION / S_SELECTION,否则 Codec2 编码器创建失败
local-02-rkvenc-enable-slice-cross-lines.patch 补 reg023.sli_crs_en,修复画面偏品红
local-03-rkvenc-support-rgba-input.patch 声明 V4L2_PIX_FMT_ABGR32 并配置硬件 CSC,消除 CPU 转换

这三个补丁分别对应后面的三个大坑。板级内核里它们已经合入同一个适配提交,
补丁副本保留下来,用于对照和向上游回移。

Codec2 适配

服务与组件注册

AOSP 的 external/v4l2_codec2 已经是一个完整的 Codec2 实现,只是默认没有
在设备上注册。板级侧做一个 AIDL Codec2 服务进程,再加一份
media_codecs_c2.xml,只声明硬件真正具备的能力。

<!-- vendor/6xyun/hardware/media/codec2/media_codecs_c2.xml -->
<MediaCodecs>
    <Encoders>
        <MediaCodec name="c2.v4l2.avc.encoder" type="video/avc">
            <Limit name="size" min="32x32" max="1920x1080" />
            <Limit name="alignment" value="2x2" />
            <Limit name="block-size" value="16x16" />
            <Limit name="blocks-per-second" min="1" max="489600" />
            <Limit name="bitrate" range="1-40000000" />
        </MediaCodec>
        <MediaCodec name="c2.v4l2.hevc.encoder" type="video/hevc">
            <Limit name="size" min="64x96" max="1920x1080" />
            <Limit name="alignment" value="2x2" />
            <Limit name="block-size" value="64x64" />
            <Limit name="blocks-per-second" min="1" max="30600" />
            <Limit name="bitrate" range="1-40000000" />
        </MediaCodec>
    </Encoders>
</MediaCodecs>

HEVC 的下限不是随手写的 32x32。驱动里有一条硬件约束:

/* kernel-6.18/common/drivers/media/platform/rockchip/rkvenc/rkvenc-vepu541.c */
if (f->codec == RKVENC_CODEC_HEVC && !f->intra && h <= 64)
    return -EINVAL;

一 CTU 行高的 P 帧解码会出错,所以 HEVC 的可见高度必须大于 64,清单里写成
64x96,让框架在能力匹配阶段就把过小的请求拒掉,而不是等驱动返回错误。

输入 usage 覆盖

EncodeInterface 默认把输入面声明为 VIDEO_ENCODER,但 EncodeComponent
自己要在 CPU 上 map() 输入图。CCodec 会把这个声明直接转成 surface 的
gralloc usage,minigbm 因此拒绝 lock(),第一帧就返回 C2_CORRUPTED。

板级侧包一层 C2ComponentInterface,只在查询
C2_PARAMKEY_INPUT_STREAM_USAGE 时补 CPU_READ:

// vendor/6xyun/hardware/media/codec2/EncoderUsageOverride.cpp
void AddCpuReadToInputUsage(C2Param& param) {
    auto* usage = C2StreamUsageTuning::input::From(&param);
    if (usage != nullptr) {
        usage->value |= static_cast<uint64_t>(C2MemoryUsage::CPU_READ);
    }
}

这层包装是“透明”的:组件调用全部原样转发,只修改配置查询的结果。H.264 与
HEVC 共用同一个包装工厂,不需要为格式分别实现。

上游代码用补丁而不是 fork

external/v4l2_codec2 的改动以本地补丁交付,不再复制到 vendor 目录:

vendor/6xyun/patches/aosp/external/v4l2_codec2/
├── 0001-rk3566-rgba-encoder-input.patch      # 3 个文件:RGBA 零拷贝
├── 0002-rk3566-hevc-encoder.patch            # 12 个文件:HEVC 编码
└── README.md

补丁必须按编号应用,0002 的上下文基于 0001 应用后的状态:

flowchart LR
    A["repo sync"] --> B["pre-sync.py<br/>还原补丁"]
    B --> C["fetch / rebase"]
    C --> D["post-sync.py<br/>重建软链接"]
    D --> E["apply-patches.sh<br/>0001 → 0002"]
    E --> F["可编译状态"]

负责应用的是 device/6xyun/apply-patches.sh,幂等:已经应用的补丁会跳过。
source build/envsetup.sh 由 vendorsetup.sh 触发,repo sync 由
pre-sync / post-sync 两个 hook 负责前后处理。

这里有一个容易漏掉的细节:补丁新建的文件不在 git 跟踪范围内。
pre-sync 如果只做 git checkout,0002 新增的 HEVC.h 会留在工作区,
下次应用补丁就会报 “already exists”。所以 pre-sync.py 需要先解析补丁里的
--- /dev/null 记录,把生成的新文件删掉,再还原已跟踪文件:

# device/6xyun/pre-sync.py
m = re.match(r"^\+\+\+ b/(\S+)", line)
if m and prev is not None and prev.startswith("--- /dev/null"):
    created.add(m.group(1))

为什么不把源码复制到 vendor 侧?试过,会撞 Soong 的 visibility:

error: device/6xyun/.root/vendor_6xyun/.../Android.bp:
module "libv4l2_codec2_components_6xyun" ...
depends on //external/libchrome:libchrome which is not visible to this module

vendor/6xyun 是指向 device/6xyun/.root/vendor_6xyun 的软链接,Soong 会把
模块路径规范化成 device/...,而 libchrome 的 visibility 只允许
//vendor:__subpackages__ 与 //external/v4l2_codec2:__subpackages__。
补丁方式让模块路径留在 external/v4l2_codec2 下,这个问题自然消失。

H.264 的四个坑

编码器创建失败:Failed to crop to specified visible rectangle

E V4L2Encoder: Failed to crop to specified visible rectangle
E EncodeComponent: Failed to initialize encoder

v4l2_codec2 在 S_FMT 之后会先试 VIDIOC_S_SELECTION,失败再退到
VIDIOC_S_CROP。上游 rkvenc 驱动两个都没有,编码器直接创建失败。

驱动只需要补 g_selection/s_selection,并且只接受与协商编码尺寸一致的
矩形:硬件按协商尺寸出流,没有编码前的裁剪级,给一个更小的矩形也不会真的
裁,反而会让客户端以为裁剪生效。

会话几秒后挂掉:IDR 包只剩 SPS+PPS

现象是 scrcpy 跑一段时间后报:

[FFmpeg] no frame!
could not send video packet: Invalid data found when processing input

抓码流后发现,大部分 IDR 包是正常的:

00 00 00 01 67 ... SPS ...
00 00 00 01 68 ... PPS ...
00 00 00 01 65 ... IDR slice ...

出问题的那个 IDR 在 PPS 之后变成了:

PPS 结束于偏移 35,之后 29 个 0,
数据从偏移 64 才开始,而且不带 Annex-B 起始码。

64 正好是 cache line 边界,35 是 SPS+PPS 的长度。根因是驱动在启动硬件之前
用 CPU 把参数集写进 capture buffer:这次 35 字节的拷贝弄脏了整条 64 字节
cache line,脏行在硬件 DMA 之后回写时,把刚写好的起始码和 slice header
覆盖成了 0。

用一张时序图看得更清楚:

sequenceDiagram
    participant CPU
    participant MEM as "capture buffer"
    participant VPU as "VEPU541"
    CPU->>MEM: 写 SPS/PPS(0..35)
    Note over MEM: CPU 写弄脏整条 64 字节 cache line
    VPU->>MEM: DMA 写 IDR slice(从 35 开始)
    MEM-->>MEM: 脏行延迟回写,覆盖 35..64
    Note over MEM: 起始码与 slice header 被清零

修复方式是把拼接挪到硬件完成之后:

/* kernel-6.18/common/drivers/media/platform/rockchip/rkvenc/rkvenc.c */
static void rkvenc_prepend_headers(struct rkvenc_ctx *ctx,
                                   struct vb2_v4l2_buffer *dst, u32 bytes)
{
    rkvenc_shift_right(vaddr + ctx->cur_prepend, vaddr, bytes);
    memcpy(vaddr, ctx->hdr, ctx->cur_prepend);
    dma_sync_single_for_device(dev, dma, total, DMA_TO_DEVICE);
}

device_run() 只记录需要拼接的长度,硬件从偏移 0 开始写;finish_job() 在
state == DONE 之后再拼接,让 CPU 成为最后一个写这块内存的人。

小坑:memmove 不在设备 KMI 白名单里,未签名模块用不了,所以这里用
自实现的倒序拷贝替代。

画面偏品红:漏掉一个 bit

链路通了之后,画面整体偏品红,还带一点“乱码”痕迹。几何、帧率、码率都正常,
软件编码不复现。

排查过程按“能直接观测的量”逐层排除:

假设 实测 结论
输入不是 NV12 驱动 vmap 后读到 uv0=0x80、data_offset=786432、buffer 大小 1179648 排除
色度地址算错 同上,地址正好落在色度平面 排除
行跨度不对 strid=0x04000400、cfmt=6,与 MPP 一致 排除
色度预测/去块参数 iprd_wgtc8、vthd_c、dblk_idc 与 MPP 一致 排除

把码流解码出来看 UV 曲线,问题才现形:

行   U均值  V均值
  0   131.0   127.0
  8   189.3   182.3
 16   246.5   237.5
 24   254.3   250.2
 40+  252~255  饱和

第一行是 128(正确),之后逐行漂到 255。这不是“色度参数偏了一点”,而是
色度 DC 预测在宏块行边界没有按标准的左/上邻居规则连续,偏差逐行累积。
色度是差分编码,所以越往下越严重;亮度块结构不同,看起来一直正常。

排查路径可以收敛成一张图:

flowchart TD
    A["画面偏品红 + 乱码"] --> B["解码码流<br/>按行统计 U/V"]
    B -->|"整块偏移"| C["输入数据 / 地址"]
    B -->|"逐行漂移"| D["色度 DC 预测路径"]
    C --> C1["vmap 输入 buffer<br/>直接看 UV 字节"]
    D --> E["MPP 与驱动<br/>寄存器差集"]
    E --> F["reg023.sli_crs_en"]

最后把 MPP 写过的寄存器和驱动写过的做差集,发现漏了一个位:

/* MPP hal_h264e_vepu541.c,无条件设置 */
regs->reg023.sli_crs_en = 1;

reg023(0x05c)的 bit31,slice cut cross lines enable。驱动从 183-03
移植时漏掉了,寄存器清零后一直是 0。补上之后画面立刻正常。

/* kernel-6.18/common/drivers/media/platform/rockchip/rkvenc/rkvenc-vepu541-h264.c */
rkvenc_img_l1(img, RKVENC_SLI_CRS, RKVENC_SLI_CRS_EN);

这个坑的教训是:“寄存器与参考实现一致”不能靠印象,要靠差集。看起来
和色度毫无关系的位,可能就是根因。

HAL 占满一个核:RGBA 转 NV12

功能正常之后,top 显示 HAL 进程常驻 80~100%:

TID  USER      %CPU  THREAD
2180 mediacodec 103  EncodeComponent
2191 mediacodec   0  V4L2DeviceThread

top -H 一眼就能看出是编码任务线程,不是驱动等待。原因很直接:
SurfaceFlinger 给的是 RGBA_8888,FormatConverter 用 libyuv 在 CPU 上转
NV12,一帧约 4.5 MB 读写,60fps 就是 270 MB/s。

VEPU541 本身支持 BGRA8888 输入,RGB→YUV 由硬件 CSC 完成。要做的是让驱动
声明 V4L2_PIX_FMT_ABGR32,Codec2 侧请求 ARGB 输入,格式一致后
EncodeComponent 不再创建 FormatConverter,直接零拷贝。

驱动侧:

/* kernel-6.18/common/drivers/media/platform/rockchip/rkvenc/rkvenc-v4l2.c */
static const struct rkvenc_fmt rkvenc_output_fmts[] = {
    { V4L2_PIX_FMT_ABGR32, 1 },
    { V4L2_PIX_FMT_NV12, 1 },
    { V4L2_PIX_FMT_NV12M, 2 },
};

硬件配置:

/* rkvenc-vepu541.c */
cfmt = RKVENC_SRC_FMT_CFMT_BGRA8888;   /* 0 */
src_fmt |= RKVENC_SRC_FMT_RBUV_SWAP;   /* Android RGBA 与 VEPU BGRA 差一次 R/B */
/* CSC: BT.601 full RGB -> limited YUV,系数取自 MPP */

Codec2 侧的三个改动全部在 0001-rk3566-rgba-encoder-input.patch 里:

文件 改动
components/.../VideoEncoder.h kInputPixelFormat = ARGB
components/EncodeComponent.cpp getVideoFrameStride() 对 RGB 用 HPixelFormat::RGBA_8888,返回 width * 4
v4l2/V4L2Encoder.cpp configureInputFormat() 在多平面映射失败后尝试单平面映射

这三个改动里有两个是踩坑踩出来的:

  1. Fourcc::fromVideoPixelFormat(ARGB, false) 在多平面分支里对 ARGB 直接
    返回空,导致 ABGR32 从来没被尝试,直接回退到 NV12M。必须再试一次
    singlePlanar=true。
  2. 驱动的 queue_setup 对单平面默认按 NV12 算 bpl * height * 3 / 2,
    而 RGBA 客户端只提交 bpl * height,vb2 的尺寸校验直接拒绝 QBUF。
    驱动需要对 ABGR32 单独返回 bpl * height。

改完之后 EncodeComponent 线程降到接近 0%,1024x768 也能稳定跑。

HEVC 编码

H.264 稳定之后,再来看 HEVC。结论先说:驱动已经完整支持 HEVC,缺的全在
用户态
。所以这次没有新增内核补丁,只加了 0002 一个 Codec2 补丁。

驱动已经具备,缺的是用户态

能力 证据
输出格式 rkvenc_capture_fmts[] 同时声明 V4L2_PIX_FMT_H264 与 V4L2_PIX_FMT_HEVC
控制项 HEVC 的 profile/level/tier、QP、去块滤波、刷新周期全部有
参数集 rkvenc_hevc_setup() 生成 VPS/SPS/PPS,rkvenc_hevc_headers_write() 按 32/33/34 顺序输出
参数集拼接 rkvenc_device_run() 的 header_mode 分支与格式无关,HEVC 自动继承“硬件完成后拼接”
硬件 CSC rkvenc_buffers_build() 与格式无关,HEVC 同样接受 ABGR32
块尺寸 HEVC 按 64x64 CTU 计算,重建缓冲额外需要 CMV

上游 v4l2_codec2 的缺口则有六处:

位置 缺口
V4L2ComponentCommon 没有 kHEVCEncoder
V4L2ComponentStore 没有注册 HEVC 编码器
EncodeInterface 没有 HEVC 的 MIME、profile/level 参数
V4L2Encoder 没有 configureH265()
EncodeHelpers extractCSDInfo() 只认 H.264 的 SPS(7)/PPS(8)
V4L2EncodeComponent mExtractCSD 只对 H.264 profile 置位

V4L2Device 这一层其实已经准备好了:c2ProfileToV4L2PixFmt() 能把
PROFILE_HEVC_MAIN 映射到 V4L2_PIX_FMT_HEVC,queryC2Profiles() 也会
读取驱动的 V4L2_CID_MPEG_VIDEO_HEVC_PROFILE 菜单。驱动菜单里只有 Main,
所以组件上报的 profile 也只有 Main,正好符合硬件能力。

组件与编码路径

0002 补丁新增了组件名、编码器分支与 HEVC 控件:

// external/v4l2_codec2/v4l2/V4L2ComponentCommon.cpp
const std::string V4L2ComponentName::kHEVCEncoder = "c2.v4l2.hevc.encoder";
// external/v4l2_codec2/v4l2/V4L2Encoder.cpp
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_PROFILE, profile);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_LEVEL, level);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_TIER,
                       V4L2_MPEG_VIDEO_HEVC_TIER_MAIN);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_MIN_QP, 1);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_MAX_QP, 51);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_LOOP_FILTER_MODE,
                       V4L2_MPEG_VIDEO_HEVC_LOOP_FILTER_MODE_ENABLED);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_REFRESH_PERIOD, 0);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEADER_MODE,
                       V4L2_MPEG_VIDEO_HEADER_MODE_JOINED_WITH_1ST_FRAME);

HEVC_REFRESH_PERIOD 特意设成 0:关键帧统一由 Codec2 的
FORCE_KEY_FRAME 控制,避免驱动周期刷新和上层请求形成两套 IDR 节奏。

CSD:VPS + SPS + PPS

Codec2 框架要求编码器在第一个输出 work 上交付 CSD
(C2StreamInitDataInfo)。H.264 的 CSD 是 SPS + PPS,HEVC 是
VPS + SPS + PPS,而 extractCSDInfo() 只认 H.264 的 NAL type 7/8。
不补这一段,框架拿不到 CSD,应用侧会认为码流缺少参数集。

HEVC 的提取按 NAL type 32/33/34 走:

// external/v4l2_codec2/common/EncodeHelpers.cpp
HEVCNalParser parser(data, length);
while ((vps.empty() || sps.empty() || pps.empty()) && parser.locateNextNal()) {
    switch (parser.type()) {
    case kHEVCNalVps: /* 32 */
    case kHEVCNalSps: /* 33 */
    case kHEVCNalPps: /* 34 */
        /* 拷贝 NAL,稍后统一补 4 字节起始码 */
    }
}

完整的交付时序:

sequenceDiagram
    participant C as EncodeComponent
    participant K as rockchip-rkvenc
    participant F as MediaCodec
    C->>K: 首帧 + S_FMT(HEVC)
    K->>K: 生成 VPS/SPS/PPS
    K-->>C: IDR = 参数集 + slice(硬件完成后拼接)
    C->>C: 按 NAL 32/33/34 提取
    C->>F: C2StreamInitDataInfo(VPS+SPS+PPS)
    K-->>C: 后续 P 帧
    C->>F: 输出码流

参数集之后跟着的是正常的 slice,所以 CSD 提取和首帧输出可以在同一次
onOutputBufferDone() 里完成。后续 IDR 由驱动的
PREPEND_SPSPPS_TO_IDR 带上参数集,框架只交付一次 CSD。

尺寸与 level 的边界

两个边界需要在清单和组件里同时对齐:

  1. 最小尺寸:前面的 rkvenc_frame_check() 已经说明,HEVC 的 P 帧高度
    必须大于 64,清单写 64x96。
  2. level 自适应:组件支持到 Level 5.2,但实际编码会按分辨率、帧率和
    码率往下调。1024x768@60、8 Mbps 下,框架最终协商到 Level 4:
int32_t profile = 1
int32_t level = 1024        # HEVCMainTierLevel4 = 0x400
int32_t bitrate = 8000000

这套逻辑在 EncodeInterface::HEVCProfileLevelSetter() 里,按 ITU-T H.265
的 Main Tier 采样率/采样数/码率上限逐级匹配。组件只声明硬件真正支持的
能力,框架负责在实际会话里选最低可行 level。

HEVC 的验证

先看组件是否被枚举为硬件编码器:

dumpsys media.player | grep -i -B 4 -A 12 "c2.v4l2.hevc.encoder"

预期输出里能看到:

Encoder "c2.v4l2.hevc.encoder" supports
  attributes: encoder: 1, vendor: 1, software-only: 0, hw-accelerated: 1
  rank: 128
  profile/levels: [1/262144 (Main/Main 5.2)]

rank 128 比软件编码器的 512 小,所以不指定编码器时默认就会选硬件。
1/262144 是 HEVCProfileMain / HEVCMainTierLevel52 的 SDK 枚举值。

然后实际编码:

scrcpy --video-codec=h265

日志里确认组件选择与 level 自适应:

I CCodec  : Created component [c2.v4l2.hevc.encoder] for [c2.v4l2.hevc.encoder]
D CCodec  : setup formats output: ... mime = "video/hevc" ... level = 1024

dumpsys media.codec 在这个版本里查不到服务,因为 media.codec 是 OMX 的
HIDL 服务,只注册 IOmxStore,与 AIDL Codec2 无关。枚举 Codec2 组件要用
dumpsys media.player。

验证

码流解码

不要用“看起来颜色对不对”做判断,直接解码码流看数值:

ffprobe -v error -show_streams stream.h264
ffmpeg -i stream.h264 -f rawvideo -pix_fmt yuv420p dec.yuv

HEVC 把文件名换成 .h265 或 .hevc,其余一样。

然后按行统计 U/V 均值。正常的画面应该接近 128;如果逐行漂移,问题在
色度预测;如果整块偏,问题在输入数据或地址。

驱动侧 dump

输入地址和内容不要靠猜。用 dma_buf_vmap_unlocked() 把驱动实际会读的位置
打印出来:

/* 临时诊断,验证后删除 */
if (dma_buf_vmap_unlocked(db, &map))
    return;
dev_info(dev->dev, "src dump: size=%zu uv0=%02x uv_r1=%02x\n",
         db->size, va[off], va[off + stride]);

注意这个接口需要 MODULE_IMPORT_NS("DMA_BUF"),否则 modpost 会报
does not import it。

线程级 CPU

top -H -b -n 1 -p $(pidof android.hardware.media.c2-service-6xyun) | head -5

EncodeComponent 高就是格式转换;V4L2DeviceThread 高才是驱动/IO 等待。
两者的优化方向完全不同。HEVC 与 H.264 共用同一条零拷贝输入路径,正常情况下
EncodeComponent 都接近 0。

结果

做完之后,这台板子上的编码链路是:

项目 现在
H.264 c2.v4l2.avc.encoder 已注册,scrcpy 实测颜色、长会话、CPU 均正常
HEVC c2.v4l2.hevc.encoder 已注册,默认硬件优先(rank 128,软编 512)
输入 Surface 的 RGBA_8888 直通,由 VEPU541 做硬件 CSC,EncodeComponent 空闲时 CPU 接近 0
分辨率 最高 1920x1080;HEVC 下限 64x96(受 P 帧高度约束)
未支持 10bit、HEVC Main Still Picture、B 帧、ROI、secure encode
未覆盖验证 编码与硬件解码并发、故障注入与模块卸载

日常投屏与录屏已经可以默认走硬件编码,H.264 与 HEVC 都能选。

经验总结

  1. 先修“能用”,再修“好用”。会话中断和偏色解决之前,不要碰 CPU 优化,
    否则变量太多。
  2. 寄存器对比要做差集。MPP 写过、驱动没写的位,比逐项核对更容易命中。
    sli_crs_en 就是这么找到的。
  3. 码流是最诚实的证据。偏色这种问题,解码后看 UV 曲线比看截图可靠得多。
  4. 上游目录保持干净。内核用补丁序列,Codec2 也用补丁;同步钩子不仅要
    还原已跟踪文件,还要删除补丁新建的文件,否则下次重放会冲突。
  5. 不要在 CPU 上做硬件能做的事。VEPU541 支持 RGBA 输入,这是最划算的
    一次优化,HAL 从 100% 降到接近 0。
  6. 新格式先确认驱动能力,再决定改哪一层。HEVC 的内核侧已经完整,改动
    全部落在用户态;如果反过来先去改驱动,会白走很多弯路。

参考