OrangePi-3B 适配 AOSP 系列笔记:
- OrangePi-3B 适配 AOSP —— 介绍
- OrangePi-3B 适配 AOSP —— 准备编译环境
- OrangePi-3B 适配 AOSP —— 移植 U-Boot
- OrangePi-3B 适配 AOSP —— 移植 Kernel
- OrangePi-3B 适配 AOSP —— 移植 Android
- OrangePi-3B 适配 AOSP —— 适配 Encoder
- OrangePi-3B 适配 AOSP —— 移植 OPTEE
温馨提示:
- OrangePi-3B 硬件版本 V1.1.1 的板子出现过有线网卡“无故”失灵的故障, 所以在进行操作前请确认开发板工作良好(修复这个问题需要更换 RK3566 芯片).
https://www.bilibili.com/read/cv33224126- 香橙派目前已经推出了硬件版本为 V2.1 的 OrangePi-3B, 有线网卡供应商更换为 RTL. 本系列文章没有针对 V2.1 的板子做过适配, 请根据实际情况操作(同时强烈谴责此种不负责任的行为, 如考虑购买此型号板子商用, 建议换个型号避坑).
- 本系列文章最后更新时间: 2026年11月20日, 实现了初始化 TEE 环境, 填了一个 ATF 关于GPU的坑.
编译环境
- 主板: OrangePi-3b_V1.1.1
- 芯片: RK3566
- 环境: Debian:13_x86_64(Docker)
内容说明
OrangePi-3B 跑起 AOSP 之后,screenrecord、scrcpy 这类需要视频编码的场景一直走软件编码(c2.android.avc.encoder)。RK3566 的 VEPU541 是独立硬件编码器,H.264 与 HEVC 都能编。这个专题记录怎么让 AOSP 的 Codec2 直接使用它:内核驱动、Codec2 接入、四个把链路从“能出画面”推进到“可日常使用”的坑,以及后来复用同一套驱动补上的 HEVC 编码。
温馨提示:
- 本文的内核改动全部集中在板级目录,上游 AOSP 与上游内核保持干净,方便随时 rebase。
- 编码器属于“看起来能跑”和“真的能用”差距很大的模块。本文把踩过的坑完整记下来,尤其是偏色和会话中断这两个,靠猜是猜不出来的。
代码现状
OrangePi-3B 在这套系统里当远程开发机用:日常 scrcpy 投屏,需要时
screenrecord 录屏。没有硬件编码时,这条链路只能走 c2.android.avc.encoder,
1080p 下 4 个 Cortex-A55 核被编码吃掉很大一部分,帧率和延迟都不可控。
但“板子上有 VEPU541”不等于“能直接用”。把当时的代码翻一遍,各层的支持情况是:
| 层 | 现状 | 证据 |
|---|---|---|
| 主线 hantro | 绑定 rockchip,rk3568-vepu(VEPU121),但变体只有 HANTRO_JPEG_ENCODER |
drivers/media/platform/verisilicon/rockchip_vpu_hw.c |
| 主线 rockchip 平台 | 只有 rga、rkisp1、rkvdec,没有编码驱动 |
drivers/media/platform/rockchip/ |
| RK356x 设备树 | 只有 vpu(解码)与 vepu(JPEG),没有 rkvenc 节点 |
arch/arm64/boot/dts/rockchip/rk356x.dtsi |
| AOSP Codec2 | external/v4l2_codec2 是 stateful V4L2 实现,编码侧只有 H.264/VP8/VP9 |
external/v4l2_codec2/components/EncodeInterface.cpp |
| 厂商方案 | MPP 依赖 mpp_service 私有内核框架,libmpp 与主线内核不配套 |
厂商仓库 |
| 社区驱动 | RKVENC v1 是 stateful V4L2,binding 含 rockchip,rk3568-rkvenc,OpenWrt patches-6.18 已携带 |
OpenWrt |
两个结论直接决定了后面的路线:
- VEPU121 的编码没有闭环。主线驱动只有 JPEG;Bootlin 的 H.264 分支面向
RK3399 H1,走 request API + 私有 stateless 控制项,与树内 stateful 的
v4l2_codec2不兼容。选它等于要自己补齐整套编码寄存器逻辑和用户态。 - VEPU541 已经有现成的 stateful 驱动,而且它暴露的
BITRATE、GOP_SIZE、FORCE_KEY_FRAME、ENC_CMD_STOP等控件,与
v4l2_codec2的 H.264 编码路径逐条对齐。用户态不需要重写一套 Codec2。
所以路线判断可以收敛成一句话:选一条内核改动最小、用户态能复用标准 Codec2、
且不污染上游的路径。
方案选择
RK3566 上的硬件编码有几条路:
| 方案 | 内核改动 | 用户态改动 | 兼容性 | 结论 |
|---|---|---|---|---|
| Rockchip MPP | 引入 mpp_service 私有框架 |
libmpp + Codec2 HAL 适配层 |
与主线内核、上游 Codec2 都不兼容 | 不采用 |
| VEPU121 / Bootlin | 补 H.264 编码寄存器、参数集、码控与参考帧逻辑 | 新增 request API stateless 客户端 | 与 stateful v4l2_codec2 不兼容 |
不采用 |
| V4L2 stateful + VEPU541 | 回移 4 个上游补丁 + 3 个板级增量 | 复用 v4l2_codec2:H.264 补 3 个文件,HEVC 补 12 个文件 |
标准 V4L2 + 标准 Codec2 | 采用 |
最终链路:
flowchart LR
SF["SurfaceFlinger<br/>RGBA_8888"] --> C2["Codec2 AIDL<br/>c2.v4l2.avc.encoder<br/>c2.v4l2.hevc.encoder"]
C2 --> V4L2["v4l2_codec2<br/>V4L2Encoder"]
V4L2 -->|"DMABUF"| RK["rockchip-rkvenc<br/>stateful V4L2"]
RK --> VEPU["VEPU541<br/>BGRA8888 + 硬件 CSC"]
VEPU --> BS["H.264 / HEVC Annex-B"]
BS --> Client["scrcpy / MediaCodec 客户端"]
关键点:输入不经过 CPU 转换。SurfaceFlinger 给的是 RGBA,VEPU541 自己
支持 BGRA8888 输入并做 RGB→YUV,这条路径在 H.264 一节展开。HEVC 复用了
同一套输入与参数集逻辑,内核侧没有新增改动。
内核适配
驱动来源
驱动来自 OpenWrt 的板级补丁序列:
target/linux/rockchip/patches-6.18/
├── 183-01-dt-bindings-media-rockchip-add-rockchip-rkvenc-v1.patch
├── 183-03-media-platform-rockchip-add-rkvenc-v1-encoder-driver.patch
├── 183-05-dt-bindings-media-rockchip-rkvenc-add-operating.patch
└── 183-06-media-rockchip-rkvenc-add-frequency-scaling-and.patch
板级目录里保存一份固定副本,作为唯一上游来源:
vendor/6xyun/patches/kernel/rkvenc-v1/
四个上游补丁在板级内核里合并成一个提交,后面再叠加本地增量。这样历史是
“一个上游驱动提交 + 一个板级适配提交”,不会出现一堆零碎的调参提交。
设备树与配置
rk356x-base.dtsi 里已经有 rkvenc 与 rkvenc_mmu 节点,板级 dts 只需要打开:
/* kernel-6.18/common/arch/arm64/boot/dts/rockchip/rk3566-orangepi-3b.dtsi */
&rkvenc {
status = "okay";
};
&rkvenc_mmu {
status = "okay";
};
GKI fragment 里打开驱动:
# kernel-6.18/common/arch/arm64/configs/orangepi3b_gki.fragment
CONFIG_VIDEO_ROCKCHIP_RKVENC=m
模块清单登记 rockchip-rkvenc.ko,否则 vendor_dlkm 不会把它打进镜像。
KMI 符号
rkvenc 是未签名模块,用到的每个导出符号都必须在设备白名单里:
kernel-6.18/common/gki/aarch64/symbols/6xyun
驱动用到的 devfreq_*、pm_qos_*、media_device_*、reset_control_bulk_*
等都要补齐,漏一个就是加载时的 Unknown symbol。
本地补丁
上游 183-03 是一个“能跑单帧”的驱动,接到 Android 上还需要三处本地增量:
| 补丁 | 作用 |
|---|---|
local-01-rkvenc-add-crop-selection.patch |
补 VIDIOC_G_SELECTION / S_SELECTION,否则 Codec2 编码器创建失败 |
local-02-rkvenc-enable-slice-cross-lines.patch |
补 reg023.sli_crs_en,修复画面偏品红 |
local-03-rkvenc-support-rgba-input.patch |
声明 V4L2_PIX_FMT_ABGR32 并配置硬件 CSC,消除 CPU 转换 |
这三个补丁分别对应后面的三个大坑。板级内核里它们已经合入同一个适配提交,
补丁副本保留下来,用于对照和向上游回移。
Codec2 适配
服务与组件注册
AOSP 的 external/v4l2_codec2 已经是一个完整的 Codec2 实现,只是默认没有
在设备上注册。板级侧做一个 AIDL Codec2 服务进程,再加一份
media_codecs_c2.xml,只声明硬件真正具备的能力。
<!-- vendor/6xyun/hardware/media/codec2/media_codecs_c2.xml -->
<MediaCodecs>
<Encoders>
<MediaCodec name="c2.v4l2.avc.encoder" type="video/avc">
<Limit name="size" min="32x32" max="1920x1080" />
<Limit name="alignment" value="2x2" />
<Limit name="block-size" value="16x16" />
<Limit name="blocks-per-second" min="1" max="489600" />
<Limit name="bitrate" range="1-40000000" />
</MediaCodec>
<MediaCodec name="c2.v4l2.hevc.encoder" type="video/hevc">
<Limit name="size" min="64x96" max="1920x1080" />
<Limit name="alignment" value="2x2" />
<Limit name="block-size" value="64x64" />
<Limit name="blocks-per-second" min="1" max="30600" />
<Limit name="bitrate" range="1-40000000" />
</MediaCodec>
</Encoders>
</MediaCodecs>
HEVC 的下限不是随手写的 32x32。驱动里有一条硬件约束:
/* kernel-6.18/common/drivers/media/platform/rockchip/rkvenc/rkvenc-vepu541.c */
if (f->codec == RKVENC_CODEC_HEVC && !f->intra && h <= 64)
return -EINVAL;
一 CTU 行高的 P 帧解码会出错,所以 HEVC 的可见高度必须大于 64,清单里写成
64x96,让框架在能力匹配阶段就把过小的请求拒掉,而不是等驱动返回错误。
输入 usage 覆盖
EncodeInterface 默认把输入面声明为 VIDEO_ENCODER,但 EncodeComponent
自己要在 CPU 上 map() 输入图。CCodec 会把这个声明直接转成 surface 的
gralloc usage,minigbm 因此拒绝 lock(),第一帧就返回 C2_CORRUPTED。
板级侧包一层 C2ComponentInterface,只在查询
C2_PARAMKEY_INPUT_STREAM_USAGE 时补 CPU_READ:
// vendor/6xyun/hardware/media/codec2/EncoderUsageOverride.cpp
void AddCpuReadToInputUsage(C2Param& param) {
auto* usage = C2StreamUsageTuning::input::From(¶m);
if (usage != nullptr) {
usage->value |= static_cast<uint64_t>(C2MemoryUsage::CPU_READ);
}
}
这层包装是“透明”的:组件调用全部原样转发,只修改配置查询的结果。H.264 与
HEVC 共用同一个包装工厂,不需要为格式分别实现。
上游代码用补丁而不是 fork
external/v4l2_codec2 的改动以本地补丁交付,不再复制到 vendor 目录:
vendor/6xyun/patches/aosp/external/v4l2_codec2/
├── 0001-rk3566-rgba-encoder-input.patch # 3 个文件:RGBA 零拷贝
├── 0002-rk3566-hevc-encoder.patch # 12 个文件:HEVC 编码
└── README.md
补丁必须按编号应用,0002 的上下文基于 0001 应用后的状态:
flowchart LR
A["repo sync"] --> B["pre-sync.py<br/>还原补丁"]
B --> C["fetch / rebase"]
C --> D["post-sync.py<br/>重建软链接"]
D --> E["apply-patches.sh<br/>0001 → 0002"]
E --> F["可编译状态"]
负责应用的是 device/6xyun/apply-patches.sh,幂等:已经应用的补丁会跳过。
source build/envsetup.sh 由 vendorsetup.sh 触发,repo sync 由
pre-sync / post-sync 两个 hook 负责前后处理。
这里有一个容易漏掉的细节:补丁新建的文件不在 git 跟踪范围内。
pre-sync 如果只做 git checkout,0002 新增的 HEVC.h 会留在工作区,
下次应用补丁就会报 “already exists”。所以 pre-sync.py 需要先解析补丁里的
--- /dev/null 记录,把生成的新文件删掉,再还原已跟踪文件:
# device/6xyun/pre-sync.py
m = re.match(r"^\+\+\+ b/(\S+)", line)
if m and prev is not None and prev.startswith("--- /dev/null"):
created.add(m.group(1))
为什么不把源码复制到 vendor 侧?试过,会撞 Soong 的 visibility:
error: device/6xyun/.root/vendor_6xyun/.../Android.bp:
module "libv4l2_codec2_components_6xyun" ...
depends on //external/libchrome:libchrome which is not visible to this module
vendor/6xyun 是指向 device/6xyun/.root/vendor_6xyun 的软链接,Soong 会把
模块路径规范化成 device/...,而 libchrome 的 visibility 只允许
//vendor:__subpackages__ 与 //external/v4l2_codec2:__subpackages__。
补丁方式让模块路径留在 external/v4l2_codec2 下,这个问题自然消失。
H.264 的四个坑
编码器创建失败:Failed to crop to specified visible rectangle
E V4L2Encoder: Failed to crop to specified visible rectangle
E EncodeComponent: Failed to initialize encoder
v4l2_codec2 在 S_FMT 之后会先试 VIDIOC_S_SELECTION,失败再退到
VIDIOC_S_CROP。上游 rkvenc 驱动两个都没有,编码器直接创建失败。
驱动只需要补 g_selection/s_selection,并且只接受与协商编码尺寸一致的
矩形:硬件按协商尺寸出流,没有编码前的裁剪级,给一个更小的矩形也不会真的
裁,反而会让客户端以为裁剪生效。
会话几秒后挂掉:IDR 包只剩 SPS+PPS
现象是 scrcpy 跑一段时间后报:
[FFmpeg] no frame!
could not send video packet: Invalid data found when processing input
抓码流后发现,大部分 IDR 包是正常的:
00 00 00 01 67 ... SPS ...
00 00 00 01 68 ... PPS ...
00 00 00 01 65 ... IDR slice ...
出问题的那个 IDR 在 PPS 之后变成了:
PPS 结束于偏移 35,之后 29 个 0,
数据从偏移 64 才开始,而且不带 Annex-B 起始码。
64 正好是 cache line 边界,35 是 SPS+PPS 的长度。根因是驱动在启动硬件之前
用 CPU 把参数集写进 capture buffer:这次 35 字节的拷贝弄脏了整条 64 字节
cache line,脏行在硬件 DMA 之后回写时,把刚写好的起始码和 slice header
覆盖成了 0。
用一张时序图看得更清楚:
sequenceDiagram
participant CPU
participant MEM as "capture buffer"
participant VPU as "VEPU541"
CPU->>MEM: 写 SPS/PPS(0..35)
Note over MEM: CPU 写弄脏整条 64 字节 cache line
VPU->>MEM: DMA 写 IDR slice(从 35 开始)
MEM-->>MEM: 脏行延迟回写,覆盖 35..64
Note over MEM: 起始码与 slice header 被清零
修复方式是把拼接挪到硬件完成之后:
/* kernel-6.18/common/drivers/media/platform/rockchip/rkvenc/rkvenc.c */
static void rkvenc_prepend_headers(struct rkvenc_ctx *ctx,
struct vb2_v4l2_buffer *dst, u32 bytes)
{
rkvenc_shift_right(vaddr + ctx->cur_prepend, vaddr, bytes);
memcpy(vaddr, ctx->hdr, ctx->cur_prepend);
dma_sync_single_for_device(dev, dma, total, DMA_TO_DEVICE);
}
device_run() 只记录需要拼接的长度,硬件从偏移 0 开始写;finish_job() 在
state == DONE 之后再拼接,让 CPU 成为最后一个写这块内存的人。
小坑:
memmove不在设备 KMI 白名单里,未签名模块用不了,所以这里用
自实现的倒序拷贝替代。
画面偏品红:漏掉一个 bit
链路通了之后,画面整体偏品红,还带一点“乱码”痕迹。几何、帧率、码率都正常,
软件编码不复现。
排查过程按“能直接观测的量”逐层排除:
| 假设 | 实测 | 结论 |
|---|---|---|
| 输入不是 NV12 | 驱动 vmap 后读到 uv0=0x80、data_offset=786432、buffer 大小 1179648 |
排除 |
| 色度地址算错 | 同上,地址正好落在色度平面 | 排除 |
| 行跨度不对 | strid=0x04000400、cfmt=6,与 MPP 一致 |
排除 |
| 色度预测/去块参数 | iprd_wgtc8、vthd_c、dblk_idc 与 MPP 一致 |
排除 |
把码流解码出来看 UV 曲线,问题才现形:
行 U均值 V均值
0 131.0 127.0
8 189.3 182.3
16 246.5 237.5
24 254.3 250.2
40+ 252~255 饱和
第一行是 128(正确),之后逐行漂到 255。这不是“色度参数偏了一点”,而是
色度 DC 预测在宏块行边界没有按标准的左/上邻居规则连续,偏差逐行累积。
色度是差分编码,所以越往下越严重;亮度块结构不同,看起来一直正常。
排查路径可以收敛成一张图:
flowchart TD
A["画面偏品红 + 乱码"] --> B["解码码流<br/>按行统计 U/V"]
B -->|"整块偏移"| C["输入数据 / 地址"]
B -->|"逐行漂移"| D["色度 DC 预测路径"]
C --> C1["vmap 输入 buffer<br/>直接看 UV 字节"]
D --> E["MPP 与驱动<br/>寄存器差集"]
E --> F["reg023.sli_crs_en"]
最后把 MPP 写过的寄存器和驱动写过的做差集,发现漏了一个位:
/* MPP hal_h264e_vepu541.c,无条件设置 */
regs->reg023.sli_crs_en = 1;
reg023(0x05c)的 bit31,slice cut cross lines enable。驱动从 183-03
移植时漏掉了,寄存器清零后一直是 0。补上之后画面立刻正常。
/* kernel-6.18/common/drivers/media/platform/rockchip/rkvenc/rkvenc-vepu541-h264.c */
rkvenc_img_l1(img, RKVENC_SLI_CRS, RKVENC_SLI_CRS_EN);
这个坑的教训是:“寄存器与参考实现一致”不能靠印象,要靠差集。看起来
和色度毫无关系的位,可能就是根因。
HAL 占满一个核:RGBA 转 NV12
功能正常之后,top 显示 HAL 进程常驻 80~100%:
TID USER %CPU THREAD
2180 mediacodec 103 EncodeComponent
2191 mediacodec 0 V4L2DeviceThread
top -H 一眼就能看出是编码任务线程,不是驱动等待。原因很直接:
SurfaceFlinger 给的是 RGBA_8888,FormatConverter 用 libyuv 在 CPU 上转
NV12,一帧约 4.5 MB 读写,60fps 就是 270 MB/s。
VEPU541 本身支持 BGRA8888 输入,RGB→YUV 由硬件 CSC 完成。要做的是让驱动
声明 V4L2_PIX_FMT_ABGR32,Codec2 侧请求 ARGB 输入,格式一致后
EncodeComponent 不再创建 FormatConverter,直接零拷贝。
驱动侧:
/* kernel-6.18/common/drivers/media/platform/rockchip/rkvenc/rkvenc-v4l2.c */
static const struct rkvenc_fmt rkvenc_output_fmts[] = {
{ V4L2_PIX_FMT_ABGR32, 1 },
{ V4L2_PIX_FMT_NV12, 1 },
{ V4L2_PIX_FMT_NV12M, 2 },
};
硬件配置:
/* rkvenc-vepu541.c */
cfmt = RKVENC_SRC_FMT_CFMT_BGRA8888; /* 0 */
src_fmt |= RKVENC_SRC_FMT_RBUV_SWAP; /* Android RGBA 与 VEPU BGRA 差一次 R/B */
/* CSC: BT.601 full RGB -> limited YUV,系数取自 MPP */
Codec2 侧的三个改动全部在 0001-rk3566-rgba-encoder-input.patch 里:
| 文件 | 改动 |
|---|---|
components/.../VideoEncoder.h |
kInputPixelFormat = ARGB |
components/EncodeComponent.cpp |
getVideoFrameStride() 对 RGB 用 HPixelFormat::RGBA_8888,返回 width * 4 |
v4l2/V4L2Encoder.cpp |
configureInputFormat() 在多平面映射失败后尝试单平面映射 |
这三个改动里有两个是踩坑踩出来的:
Fourcc::fromVideoPixelFormat(ARGB, false)在多平面分支里对 ARGB 直接
返回空,导致ABGR32从来没被尝试,直接回退到 NV12M。必须再试一次
singlePlanar=true。- 驱动的
queue_setup对单平面默认按 NV12 算bpl * height * 3 / 2,
而 RGBA 客户端只提交bpl * height,vb2 的尺寸校验直接拒绝 QBUF。
驱动需要对ABGR32单独返回bpl * height。
改完之后 EncodeComponent 线程降到接近 0%,1024x768 也能稳定跑。
HEVC 编码
H.264 稳定之后,再来看 HEVC。结论先说:驱动已经完整支持 HEVC,缺的全在
用户态。所以这次没有新增内核补丁,只加了 0002 一个 Codec2 补丁。
驱动已经具备,缺的是用户态
| 能力 | 证据 |
|---|---|
| 输出格式 | rkvenc_capture_fmts[] 同时声明 V4L2_PIX_FMT_H264 与 V4L2_PIX_FMT_HEVC |
| 控制项 | HEVC 的 profile/level/tier、QP、去块滤波、刷新周期全部有 |
| 参数集 | rkvenc_hevc_setup() 生成 VPS/SPS/PPS,rkvenc_hevc_headers_write() 按 32/33/34 顺序输出 |
| 参数集拼接 | rkvenc_device_run() 的 header_mode 分支与格式无关,HEVC 自动继承“硬件完成后拼接” |
| 硬件 CSC | rkvenc_buffers_build() 与格式无关,HEVC 同样接受 ABGR32 |
| 块尺寸 | HEVC 按 64x64 CTU 计算,重建缓冲额外需要 CMV |
上游 v4l2_codec2 的缺口则有六处:
| 位置 | 缺口 |
|---|---|
V4L2ComponentCommon |
没有 kHEVCEncoder |
V4L2ComponentStore |
没有注册 HEVC 编码器 |
EncodeInterface |
没有 HEVC 的 MIME、profile/level 参数 |
V4L2Encoder |
没有 configureH265() |
EncodeHelpers |
extractCSDInfo() 只认 H.264 的 SPS(7)/PPS(8) |
V4L2EncodeComponent |
mExtractCSD 只对 H.264 profile 置位 |
V4L2Device 这一层其实已经准备好了:c2ProfileToV4L2PixFmt() 能把
PROFILE_HEVC_MAIN 映射到 V4L2_PIX_FMT_HEVC,queryC2Profiles() 也会
读取驱动的 V4L2_CID_MPEG_VIDEO_HEVC_PROFILE 菜单。驱动菜单里只有 Main,
所以组件上报的 profile 也只有 Main,正好符合硬件能力。
组件与编码路径
0002 补丁新增了组件名、编码器分支与 HEVC 控件:
// external/v4l2_codec2/v4l2/V4L2ComponentCommon.cpp
const std::string V4L2ComponentName::kHEVCEncoder = "c2.v4l2.hevc.encoder";
// external/v4l2_codec2/v4l2/V4L2Encoder.cpp
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_PROFILE, profile);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_LEVEL, level);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_TIER,
V4L2_MPEG_VIDEO_HEVC_TIER_MAIN);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_MIN_QP, 1);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_MAX_QP, 51);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_LOOP_FILTER_MODE,
V4L2_MPEG_VIDEO_HEVC_LOOP_FILTER_MODE_ENABLED);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEVC_REFRESH_PERIOD, 0);
hevcCtrls.emplace_back(V4L2_CID_MPEG_VIDEO_HEADER_MODE,
V4L2_MPEG_VIDEO_HEADER_MODE_JOINED_WITH_1ST_FRAME);
HEVC_REFRESH_PERIOD 特意设成 0:关键帧统一由 Codec2 的
FORCE_KEY_FRAME 控制,避免驱动周期刷新和上层请求形成两套 IDR 节奏。
CSD:VPS + SPS + PPS
Codec2 框架要求编码器在第一个输出 work 上交付 CSD
(C2StreamInitDataInfo)。H.264 的 CSD 是 SPS + PPS,HEVC 是
VPS + SPS + PPS,而 extractCSDInfo() 只认 H.264 的 NAL type 7/8。
不补这一段,框架拿不到 CSD,应用侧会认为码流缺少参数集。
HEVC 的提取按 NAL type 32/33/34 走:
// external/v4l2_codec2/common/EncodeHelpers.cpp
HEVCNalParser parser(data, length);
while ((vps.empty() || sps.empty() || pps.empty()) && parser.locateNextNal()) {
switch (parser.type()) {
case kHEVCNalVps: /* 32 */
case kHEVCNalSps: /* 33 */
case kHEVCNalPps: /* 34 */
/* 拷贝 NAL,稍后统一补 4 字节起始码 */
}
}
完整的交付时序:
sequenceDiagram
participant C as EncodeComponent
participant K as rockchip-rkvenc
participant F as MediaCodec
C->>K: 首帧 + S_FMT(HEVC)
K->>K: 生成 VPS/SPS/PPS
K-->>C: IDR = 参数集 + slice(硬件完成后拼接)
C->>C: 按 NAL 32/33/34 提取
C->>F: C2StreamInitDataInfo(VPS+SPS+PPS)
K-->>C: 后续 P 帧
C->>F: 输出码流
参数集之后跟着的是正常的 slice,所以 CSD 提取和首帧输出可以在同一次
onOutputBufferDone() 里完成。后续 IDR 由驱动的
PREPEND_SPSPPS_TO_IDR 带上参数集,框架只交付一次 CSD。
尺寸与 level 的边界
两个边界需要在清单和组件里同时对齐:
- 最小尺寸:前面的
rkvenc_frame_check()已经说明,HEVC 的 P 帧高度
必须大于 64,清单写64x96。 - level 自适应:组件支持到 Level 5.2,但实际编码会按分辨率、帧率和
码率往下调。1024x768@60、8 Mbps 下,框架最终协商到 Level 4:
int32_t profile = 1
int32_t level = 1024 # HEVCMainTierLevel4 = 0x400
int32_t bitrate = 8000000
这套逻辑在 EncodeInterface::HEVCProfileLevelSetter() 里,按 ITU-T H.265
的 Main Tier 采样率/采样数/码率上限逐级匹配。组件只声明硬件真正支持的
能力,框架负责在实际会话里选最低可行 level。
HEVC 的验证
先看组件是否被枚举为硬件编码器:
dumpsys media.player | grep -i -B 4 -A 12 "c2.v4l2.hevc.encoder"
预期输出里能看到:
Encoder "c2.v4l2.hevc.encoder" supports
attributes: encoder: 1, vendor: 1, software-only: 0, hw-accelerated: 1
rank: 128
profile/levels: [1/262144 (Main/Main 5.2)]
rank 128 比软件编码器的 512 小,所以不指定编码器时默认就会选硬件。
1/262144 是 HEVCProfileMain / HEVCMainTierLevel52 的 SDK 枚举值。
然后实际编码:
scrcpy --video-codec=h265
日志里确认组件选择与 level 自适应:
I CCodec : Created component [c2.v4l2.hevc.encoder] for [c2.v4l2.hevc.encoder]
D CCodec : setup formats output: ... mime = "video/hevc" ... level = 1024
dumpsys media.codec 在这个版本里查不到服务,因为 media.codec 是 OMX 的
HIDL 服务,只注册 IOmxStore,与 AIDL Codec2 无关。枚举 Codec2 组件要用
dumpsys media.player。
验证
码流解码
不要用“看起来颜色对不对”做判断,直接解码码流看数值:
ffprobe -v error -show_streams stream.h264
ffmpeg -i stream.h264 -f rawvideo -pix_fmt yuv420p dec.yuv
HEVC 把文件名换成 .h265 或 .hevc,其余一样。
然后按行统计 U/V 均值。正常的画面应该接近 128;如果逐行漂移,问题在
色度预测;如果整块偏,问题在输入数据或地址。
驱动侧 dump
输入地址和内容不要靠猜。用 dma_buf_vmap_unlocked() 把驱动实际会读的位置
打印出来:
/* 临时诊断,验证后删除 */
if (dma_buf_vmap_unlocked(db, &map))
return;
dev_info(dev->dev, "src dump: size=%zu uv0=%02x uv_r1=%02x\n",
db->size, va[off], va[off + stride]);
注意这个接口需要 MODULE_IMPORT_NS("DMA_BUF"),否则 modpost 会报
does not import it。
线程级 CPU
top -H -b -n 1 -p $(pidof android.hardware.media.c2-service-6xyun) | head -5
EncodeComponent 高就是格式转换;V4L2DeviceThread 高才是驱动/IO 等待。
两者的优化方向完全不同。HEVC 与 H.264 共用同一条零拷贝输入路径,正常情况下
EncodeComponent 都接近 0。
结果
做完之后,这台板子上的编码链路是:
| 项目 | 现在 |
|---|---|
| H.264 | c2.v4l2.avc.encoder 已注册,scrcpy 实测颜色、长会话、CPU 均正常 |
| HEVC | c2.v4l2.hevc.encoder 已注册,默认硬件优先(rank 128,软编 512) |
| 输入 | Surface 的 RGBA_8888 直通,由 VEPU541 做硬件 CSC,EncodeComponent 空闲时 CPU 接近 0 |
| 分辨率 | 最高 1920x1080;HEVC 下限 64x96(受 P 帧高度约束) |
| 未支持 | 10bit、HEVC Main Still Picture、B 帧、ROI、secure encode |
| 未覆盖验证 | 编码与硬件解码并发、故障注入与模块卸载 |
日常投屏与录屏已经可以默认走硬件编码,H.264 与 HEVC 都能选。
经验总结
- 先修“能用”,再修“好用”。会话中断和偏色解决之前,不要碰 CPU 优化,
否则变量太多。 - 寄存器对比要做差集。MPP 写过、驱动没写的位,比逐项核对更容易命中。
sli_crs_en就是这么找到的。 - 码流是最诚实的证据。偏色这种问题,解码后看 UV 曲线比看截图可靠得多。
- 上游目录保持干净。内核用补丁序列,Codec2 也用补丁;同步钩子不仅要
还原已跟踪文件,还要删除补丁新建的文件,否则下次重放会冲突。 - 不要在 CPU 上做硬件能做的事。VEPU541 支持 RGBA 输入,这是最划算的
一次优化,HAL 从 100% 降到接近 0。 - 新格式先确认驱动能力,再决定改哪一层。HEVC 的内核侧已经完整,改动
全部落在用户态;如果反过来先去改驱动,会白走很多弯路。