Toybrick

标题: IMX415支持4K60fps的驱动 [打印本页]
作者: troy    时间: 2025-1-17 11:21
标题: IMX415支持4K60fps的驱动
本帖最后由 troy 于 2025-1-21 15:59 编辑

附件中，驱动添加了4K60fps和1080P60fps的初始化序列，默认设置为4K60fps。
在TB_RK3588_SD0板子内核5.10上验证成功，其他芯片和kernel 6.1内核可以自行参考添加。


测试方法：
1. 执行media-ctl -p  -d /dev/media0 查看media节点的属性（一般是查看media0，如果没看到sensor的节点 ，可以查看其他的media信息）

  2. - entity 63: m00_b_imx415 7-001a (1 pad, 1 link)
  3.              type V4L2 subdev subtype Sensor flags 0
  4.              device node name /dev/v4l-subdev2
  5.         pad0: Source
  6.                 [fmt:SGBRG10_1X10/3864x2192@10000/600000 field:none
  7.                  crop.bounds:(12,16)/3840x2160]
  8.                 -> "rockchip-csi2-dphy0":0 [ENABLED]
复制代码

2. 执行以下命令，确认mainpath是哪个video节点，如当前我的环境是/dev/video11。（双mipi口的设备可能会找到两个mainpath可以两个都试一下）
  1. root@rk3588-buildroot:/tmp# grep '' /sys/class/video4linux/video*/name | grep mainpath
  2. /sys/class/video4linux/video11/name:rkisp_mainpath
复制代码

3. 执行抓图命令，可以看到当前抓图的帧率是60fps了
  1. root@rk3588-buildroot:/tmp# <span style="background-color: rgb(255, 255, 255);">v4l2-ctl -d /dev/video11 --set-fmt-video=width=3840,height=2160,pixelformat=NV12 --stream-mmap=3 --stream-to=/tmp/IMX415_4K60fps.nv12 --stream-count=1 --stream-skip=120 --stream-poll</span>
  2. [ 1131.309046] stream_cif_mipi_id0: s_power 1, entity use_count 1
  3. [ 1131.341794] rkisp_hw fdcb0000.rkisp: set isp clk = 702000000Hz
  4. [ 1131.344902] rkcif-mipi-lvds2: stream[0] start streaming
  5. [ 1131.345015] rockchip-mipi-csi2 mipi2-csi2: stream on, src_sd: 00000000147e1a9c, sd_name:rockchip-csi2-dphy0
  6. [ 1131.345025] rockchip-mipi-csi2 mipi2-csi2: stream ON
  7. [ 1131.345058] rockchip-csi2-dphy0: dphy0, data_rate_mbps 1782
  8. [ 1131.345101] rockchip-csi2-dphy csi2-dphy0: csi2_dphy_s_stream stream on:1, dphy0, ret 0
  9. [ 1131.345113] imx415 7-001a: s_stream: 1. 3864x2192, hdr: 0, bpp: 10
  10. [ 1131.345122] imx415 7-001a: write reg array error
  11. <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< 60.00 fps
  12. <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< 60.00 fps
  13. [ 1133.507682] rkcif-mipi-lvds2: stream[0] start stopping, total mode 0x2, cur 0x2
  14. [ 1133.524410] rockchip-mipi-csi2 mipi2-csi2: stream off, src_sd: 00000000147e1a9c, sd_name:rockchip-csi2-dphy0
  15. [ 1133.524504] rockchip-mipi-csi2 mipi2-csi2: stream OFF
  16. [ 1133.524545] rockchip-csi2-dphy csi2-dphy0: csi2_dphy_s_stream_stop stream stop, dphy0
  17. [ 1133.524577] rockchip-csi2-dphy csi2-dphy0: csi2_dphy_s_stream stream on:0, dphy0, ret 0
  18. [ 1133.524747] imx415 7-001a: s_stream: 0. 3864x2192, hdr: 0, bpp: 10
  19. [ 1133.525510] rkcif-mipi-lvds2: stream[0] stopping finished, dma_en 0x0

  21. [ 1133.561557] stream_cif_mipi_id0: s_power 0, entity use_count 0
  22. root@rk3588-buildroot:/#
复制代码
作者: kylan    时间: 2025-2-26 10:25
博主你好，请问驱动中的exp_def，.hts_def  .vts_def的值是怎么得到的，有点没搞明白
作者: kylan    时间: 2025-2-26 10:33
博主您好，请问驱动中的.exp_def  .hts_def  .vts_def是如何计算得到的，有点没明白
作者: troy    时间: 2025-2-26 15:19
kylan 发表于 2025-2-26 10:33
博主您好，请问驱动中的.exp_def  .hts_def  .vts_def是如何计算得到的，有点没明白 ...

exp_def：是默认的曝光值，初始化的时候会设置给sensor。只要在范围内都行，一般我们都是设置一个较小的曝光值，后面3A服务起来之后，曝光值会逐渐收敛到正常曝光。
hts_def：行内有效点 + 行消隐点，这个一般都是sensor模组厂提供初始化序列的时候一并提供的，要和sensor初始化内的配置一致才行。
vts_def:  行数 + 行消隐，也是sensor模组厂提供保持一致即可。
作者: kylan    时间: 2025-3-12 13:52
troy 发表于 2025-2-26 15:19
exp_def：是默认的曝光值，初始化的时候会设置给sensor。只要在范围内都行，一般我们都是设置一个较小的 ...

明白，谢谢大佬
作者: murdoc    时间: 2025-3-15 15:28
请问大佬，1 cam-tb-setup.h  cam-sleep-wakeup.h 的具体实现是？  2 代码中涉及到的，  cam_sw_regulator_bulk_init(imx415->cam_sw_inf, IMX415_NUM_SUPPLIES, imx415->supplies)，这些部分是不是跟电路部分有关？
作者: troy    时间: 2025-3-19 17:14
murdoc 发表于 2025-3-15 15:28
请问大佬，1 cam-tb-setup.h  cam-sleep-wakeup.h 的具体实现是？  2 代码中涉及到的，  cam_sw_regulator_ ...

你这是什么的代码，是我们板子SDK的代码？
作者: qilinyung    时间: 2025-4-17 22:38
楼主 3568的sdk的imx415驱动是v0.1.6版本 源码里也没有cam-tb-setup.h cam-sleep-wakeup.h这两个头文件 如果仅把序列跟模式移植到v0.1.6上 编译后摄像头白屏 该如何解决呢
作者: troy    时间: 2025-4-20 09:02
qilinyung 发表于 2025-4-17 22:38
楼主 3568的sdk的imx415驱动是v0.1.6版本 源码里也没有cam-tb-setup.h cam-sleep-wakeup.h这两个头文件 如 ...

你用的应该不是toybrick的SDK吧，可以自己debug一下
作者: joyyy    时间: 2025-8-6 10:44
感谢大佬，驱动移植后，成功在RK3588的imx415相机出图4K@60fps和1080P@60fps了，还想请教一点：
现在单相机使用时可以正常出出图，但是双相机在1080P或者4K分辨率下同时出图，都总会有一个相机出图失败（失败表现为全黑或者是彩色竖条纹），出图时日志会有提示mipi4-csi2-hw ERR1:0x1000000 (crc,vc: 0) ；
我们初步怀疑可能是带宽问题，但是带宽上 4K 60fps > 1080P 60fps*2，感觉这个设想不成立，请问下您有类似经验么？
作者: chendejun    时间: 2025-8-7 09:07
每天上来看看贴，学习技术
作者: troy    时间: 2025-8-11 09:00
joyyy 发表于 2025-8-6 10:44
感谢大佬，驱动移植后，成功在RK3588的imx415相机出图4K@60fps和1080P@60fps了，还想请教一点：
现在单相机 ...

应该不是带宽问题，是不是双摄像头同时工作，功耗过大导致供电不足，引起信号变差。mipi的带宽是单独算的，就算带宽不足也只是会引起ISP处理不及时丢帧。
作者: liting    时间: 2025-9-19 11:47
LInux6.1报错很多
作者: liting    时间: 2025-9-19 11:47
linux6.1 编译很多错误
作者: liting    时间: 2025-9-19 11:48
linux 6.1 内核编译报错很多错误
作者: troy    时间: 2025-9-22 09:42
liting 发表于 2025-9-19 11:48
linux 6.1 内核编译报错很多错误

6.1内核框架上肯定会有不一样，你要参考下5.10的改，同步到6.1自带的IMX415驱动上，不能直接替换。
作者: ruiruiqiqi    时间: 2025-12-3 15:38
使用默认的
{
                .bus_fmt = MEDIA_BUS_FMT_SGBRG10_1X10,
                .width = 3864,
                .height = 2192,
                .max_fps = {
                        .numerator = 10000,
                        .denominator = 600000,
                },
                .exp_def = 0x08ca - 0x08,
                .hts_def = 0x0226 * IMX415_4LANES * 4,
                .vts_def = 0x08ca,
                .global_reg_list = NULL,
                .reg_list = imx415_linear_10bit_3864x2192_1782M_regs,
                .hdr_mode = NO_HDR,
                .mipi_freq_idx = 3,
                .bpp = 10,
                .vc[PAD0] = 0,
                .xvclk = IMX415_XVCLK_FREQ_37M,
        }
可以正常采集到60fps
但是使用
{
                .bus_fmt = MEDIA_BUS_FMT_SGBRG12_1X12,
                .width = 1920,
                .height = 1080,
                .max_fps = {
                        .numerator = 10000,
                        .denominator = 600000,
                },
                .exp_def = 0x0d3e - 0x08,
                .hts_def = 0x016d * IMX415_4LANES * 2,
                .vts_def = 0x0d3e,
                .global_reg_list = NULL,
                .reg_list = imx415_linear_12bit_1920x1080_1485M_regs,
                .hdr_mode = NO_HDR,
                .mipi_freq_idx = 2,
                .bpp = 12,
                .vc[PAD0] = 0,
                .xvclk = IMX415_XVCLK_FREQ_37M,
        }
采集到的视频都是黑的，不知道是哪里的问题
作者: ruiruiqiqi    时间: 2025-12-3 15:42
  1. {
  2.                 .bus_fmt = MEDIA_BUS_FMT_SGBRG10_1X10,
  3.                 .width = 3864,
  4.                 .height = 2192,
  5.                 .max_fps = {
  6.                         .numerator = 10000,
  7.                         .denominator = 600000,
  8.                 },
  9.                 .exp_def = 0x08ca - 0x08,
  10.                 .hts_def = 0x0226 * IMX415_4LANES * 4,
  11.                 .vts_def = 0x08ca,
  12.                 .global_reg_list = NULL,
  13.                 .reg_list = imx415_linear_10bit_3864x2192_1782M_regs,
  14.                 .hdr_mode = NO_HDR,
  15.                 .mipi_freq_idx = 3,
  16.                 .bpp = 10,
  17.                 .vc[PAD0] = 0,
  18.                 .xvclk = IMX415_XVCLK_FREQ_37M,
  19.         },
  20.         {
  21.                 .bus_fmt = MEDIA_BUS_FMT_SGBRG12_1X12,
  22.                 .width = 1920,
  23.                 .height = 1080,
  24.                 .max_fps = {
  25.                         .numerator = 10000,
  26.                         .denominator = 600000,
  27.                 },
  28.                 .exp_def = 0x0d3e - 0x08,
  29.                 .hts_def = 0x016d * IMX415_4LANES * 2,
  30.                 .vts_def = 0x0d3e,
  31.                 .global_reg_list = NULL,
  32.                 .reg_list = imx415_linear_12bit_1920x1080_1485M_regs,
  33.                 .hdr_mode = NO_HDR,
  34.                 .mipi_freq_idx = 2,
  35.                 .bpp = 12,
  36.                 .vc[PAD0] = 0,
  37.                 .xvclk = IMX415_XVCLK_FREQ_37M,
  38.         },
复制代码
使用第一个模式采集视频帧正常，使用第二个采集到的都是黑色的没有画面，请问是怎么回事呢
作者: 595400    时间: 2026-7-15 15:28
奇怪了，我在rk3576上测试怎么只有57.89，少两帧啊，哪位知道怎么修改，指点一下
  1. Got message #298265 from element "fpsdisplaysink0" (property-notify): GstMessagePropertyNotify, property-name=(string)last-message, property-value=(string)"rendered:\ 288319\,\ dropped:\ 0\,\ current:\ 57.98\,\ average:\ 57.89";
  2. /GstPipeline:pipeline0/GstFPSDisplaySink:fpsdisplaysink0: last-message = rendered: 288319, dropped: 0, current: 57.98, average: 57.89
复制代码
作者: 595400    时间: 2026-7-15 17:34
595400 发表于 2026-7-15 15:28
奇怪了，我在rk3576上测试怎么只有57.89，少两帧啊，哪位知道怎么修改，指点一下
...

我好像郁闷了，我这个rk3576, 如果我把代码的vts啥的修改修改，能达到60fps,但是内核报错：rkcif-mipi-lvds: Warning: vblank need >= 1000us if isp work in online, cur 586 us。这个没有足够的休息时间，最后很容易运行一段时间后卡死，但是我要是vblank>1000us了，那我就57.89，到不了60fps。是online模式都这样吗，那我要是offline模式，意味着多写读一次内存，那我4K@60fps下，带宽不够还得卡死，那我只能57.89玩啊，对了，我是开的ldch+ldcv, 走的ldcpath。 那就57.89fps用着吧。  我想起来了，我是mainpath用着60fps，也有这个错误log，但是视频不卡死，然后换成ldcpath后，卡了，我就修改了，才变成57.89的，但是明显这个vblank要是>1000us, 我就没法即让它>1000us, 又能60fps吗？
作者: 595400    时间: 2026-7-22 17:12
595400 发表于 2026-7-15 17:34
我好像郁闷了，我这个rk3576, 如果我把代码的vts啥的修改修改，能达到60fps,但是内核报错：rkcif-mipi-lv ...

搞定了，修改VMX 和HMAX寄存器的值，同时修改exp_def ， hts_def ， vts_def， 让vblank有1500us的时间。然后就能即达到60fps, 又不会导致开ldch+ldcv的情况下卡死，另外我的UI也干掉了，不会抢带宽，导致ISP处理时间增加，现在log是14ms, 原来16ms，很容易卡死。
  1. Interrupt  Cnt:535897 ErrCnt:0
  2. Input      rkcif-mipi-lvds Format:SGBRG10_1X10 Size:3840x2160@60fps Offset(0,0) Inp:0x100
  3. Isp online frame:199372 state:working time:14ms v-blank:1362us div:1 extend:128
  4. Output     rkisp_ldcpath Format:NV12 Size:3840x2160 Dcrop(0,0|3840x2160) (frame:199371 rate:16ms delay:15ms frameloss:1 bufcnt:2)
复制代码
作者: 595400    时间: 2026-8-18 17:30
595400 发表于 2026-7-22 17:12
搞定了，修改VMX 和HMAX寄存器的值，同时修改exp_def ， hts_def ， vts_def， 让vblank有1500us的时间。 ...

我有了个新发现，给大家分享一下，我上面的理解还是太愚蠢了。我用的rk3576，跑的4K@60fps，而且打开了ldch和ldcv，校正强度200，online模式，ISP已经几乎在满载工作了，我的理解是它里面没啥缓存，要是后面的数据来了，前面的数据还没放到内存，那大概率要出问题。所以这种情况ISP对访问内存的延迟及其敏感，VOP读，ISP写，VOP要是慢了，ISP也得遭殃，所以我这种情况要同时设置ISP和VOP的Qos访问内存的优先级和带宽设置，然后还要设置Qos里面的模式，我觉得我这种情况regulator模式就是搅屎棍，没啥用还帮倒忙，得用fixed模式。这样，视频就不会有任何卡死问题



欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3