【K210】K210学习笔记一——sensor

前言

本人大四学生,电赛生涯已经走到尽头,一路上踩过不少坑,但运气也不错拿了两年省一,思来想去,决定开始写博客,将电赛经验分享一二,能力有限,高手轻喷。
本篇主要是介绍 K210 上的 sensor (感光元件)模块,也就是摄像头模块。如果你要使用 K210 来进行一些颜色追踪(比如识别黑色,传回坐标让小车寻线,或者是识别其他颜色的线),那么 sensor 必须要好好配置,如果配置不好,会直接影响颜色追踪的效果。
然后就是记录一个大坑,就是有时摄像头画面会偏绿(或者偏其他颜色)的问题。 这个问题同样会影响颜色追踪的结果

sensor的配置

模块导入

首先需要导入的是 sensor 模块。

# sensor_V1.0 - By: FITQY - 周天 8 月 21 日 2022
#__________________________________________________________________
# 导入模块
import sensor, time                                         # 导入感光元件模块 sensor 跟踪运行时间模块 time

模块配置

我对 sensor 模块的配置如下。

#__________________________________________________________________
# 感光元件设置
sensor.reset()                                              # 重置并初始化感光元件 默认设置为 摄像头频率 24M 不开启双缓冲模式
#sensor.reset(freq=24000000, dual_buff=True)                # 设置摄像头频率 24M 开启双缓冲模式 会提高帧率 但内存占用增加

sensor.set_pixformat(sensor.RGB565)                         # 设置图像格式为 RGB565 (彩色) 除此之外 还可设置格式为 GRAYSCALE 或者 YUV422
sensor.set_framesize(sensor.QVGA)                           # 设置图像大小为 QVGA (320 x 240) 像素个数 76800 K210最大支持格式为 VGA

sensor.set_auto_exposure(1)                                 # 设置自动曝光
#sensor.set_auto_exposure(0, exposure=120000)               # 设置手动曝光 曝光时间 120000 us

sensor.set_auto_gain(0, gain_db = 17)                       # 设置画面增益 17 dB 影响实时画面亮度
sensor.set_auto_whitebal(0, rgb_gain_db = (0,0,0))          # 设置RGB增益 0 0 0 dB 影响画面色彩呈现效果 在 K210 上无法调节增益 初步判定是感光元件 ov2640 无法支持

#sensor.set_contrast(0)                                     # 设置对比度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
#sensor.set_brightness(0)                                   # 设置亮度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
#sensor.set_saturation(0)                                   # 设置饱和度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释

sensor.set_vflip(1)                                         # 打开垂直翻转 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反
sensor.set_hmirror(1)                                       # 打开水平镜像 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反

sensor.skip_frames(time = 2000)                             # 延时跳过2s 等待感光元件稳定

模块各配置解释

接下来详细进行解读,首先是初始化函数,这个函数不带参数即可。如果你需要带参数(比如注释部分),可以设置摄像头的频率,以及是否开启双缓冲模式。摄像头的频率会影响到画面的质量,如果画面质量不好,可以适当调低频率(比如调低到20M),而双缓冲模式除了会提高帧率以外,我想不到还能有什么其他用途。如果你要用K210来录制视频的话,开启双缓冲模式会提高视频的帧率,但如果你要用K210来进行对某一颜色的追踪,或者是跑训练模型,双缓冲基本没什么用,还会占用运行内存。这是因为,识别是一帧一帧进行的,双缓冲可以理解为一次拍摄两张图像,但识别只识别一张图像,另一张根本用不到,还占用内存(K210的8M运行内存还是很小的,如果跑大的模型可能会内存溢出),因此我一般都是采用默认设置。

#__________________________________________________________________
# 感光元件设置
sensor.reset()                                              # 重置并初始化感光元件 默认设置为 摄像头频率 24M 不开启双缓冲模式
#sensor.reset(freq=24000000, dual_buff=True)                # 设置摄像头频率 24M 开启双缓冲模式 会提高帧率 但内存占用增加

然后是图像格式的设置,我一般都是设置为RGB565,大小是QVGA,如果跑模型,则需要设子分辨率为224 x 224,K210带的LCD屏幕分辨率就是 320 x 240 也就是 QVGA,而且采用颜色追踪肯定是要设置彩色画面的(一般来说颜色追踪已经可以解决很多问题了,解决不了的才会跑训练模型)。

sensor.set_pixformat(sensor.RGB565)                         # 设置图像格式为 RGB565 (彩色) 除此之外 还可设置格式为 GRAYSCALE 或者 YUV422
sensor.set_framesize(sensor.QVGA)                           # 设置图像大小为 QVGA (320 x 240) 像素个数 76800 K210最大支持格式为 VGA

然后是曝光时间和增益,这里会存在一个大坑,且听我细细道来。一般来说,曝光时间一般是改不了的(自带的ov2640就改不了曝光时间,已经试过),所以默认自动曝光即可。而颜色追踪,如果采用的是image模块的find_blobs,传入这个函数的阈值实际上是LAB格式的阈值。
什么是LAB?

  • L 代表从暗到明的分量(明度),取值0~100

  • A 代表从绿色到红色的分量 ,取值-128~127

  • B 代表从蓝色到黄色的分量,取值-128~127

也就是说,画面亮度会影响到L,画面对RGB三种颜色的呈现效果会影响到A和B。所以我们必须要固定画面增益和RGB增益(白平衡)。 这样识别的准确率才会上升。
值得一提的是,画面增益gain会因sensor的不同而需要设置不同的值(我比赛用的那一块K210需要设置19才正常,但现在手上的这一块需要设置17,这个需要慢慢调试,尽管sensor都是ov2640,但天下又哪里会存在两片一样的雪花呢?)。
而RGB增益(白平衡)的增益值无法调节(我试过更改,但打印出来的增益值都是0,推断是我这一款ov2640不支持),但是必须要关闭自动增益,1代表开启自动增益,0代表关闭自动增益! 不然物体的颜色会因为摄像头的远近而产生变化!下面开始测试!

sensor.set_auto_exposure(1)                                 # 设置自动曝光
#sensor.set_auto_exposure(0, exposure=120000)               # 设置手动曝光 曝光时间 120000 us

sensor.set_auto_gain(0, gain_db = 17)                       # 设置画面增益 17 dB 影响实时画面亮度
sensor.set_auto_whitebal(0, rgb_gain_db = (0,0,0))          # 设置RGB增益 0 0 0 dB 影响画面色彩呈现效果 在 K210 上无法调节增益 初步判定是感光元件 ov2640 无法支持

开启RGB自动增益(即打开白平衡),远处观察红色,结果为红。
在这里插入图片描述

开启RGB自动增益(即打开白平衡),近处观察红色,结果为淡红偏白。
在这里插入图片描述

关闭RGB自动增益(即关闭白平衡),远处观察红色,结果为红。
在这里插入图片描述

关闭RGB自动增益(即关闭白平衡),近处观察红色,结果为红。
在这里插入图片描述

关闭RGB自动增益(即关闭白平衡),对着红色物体然后上电运行,画面偏绿。
在这里插入图片描述

关闭RGB自动增益(即关闭白平衡),对着白墙然后上电运行,画面正常。
在这里插入图片描述

总结:

  • 曝光时间默认即可。
  • 画面增益需要手动调试到合适值,不同的K210对画面增益的设置也不同
  • RGB增益(白平衡)需要关闭(如果用到颜色追踪),且上电运行的时候,K210的镜头不能对着单一颜色的物体 否则会使画面偏向某一种颜色,这种情况只在关闭白平衡状态下才会存在,因为开启白平衡,每一次对于不同的颜色,画面都会调整不同的增益,而关闭的话,就不再调节了,但每一次都调节势必影响到颜色追踪的准确度

对比度、亮度和饱和度由于并没用函数能返回这三个参数的值,因此我不知道这三个参数在不同环境下具体是怎么样的,我的判断是可能是sensor不支持调节这三个参数,所以暂时注释,如果后面更换其他sensor,比如ov5640之类的,可能就有用了

#sensor.set_contrast(0)                                     # 设置对比度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
#sensor.set_brightness(0)                                   # 设置亮度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
#sensor.set_saturation(0)                                   # 设置饱和度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释

而画面转置对于我这一块K210来说是必须的,准确来说对于01Studio的K210来讲是必须的,其他家的K210我没用过。如果不将画面转置,则镜头的移动方向会和画面移动方向相反,延时跳过函数这个一般设置2秒即可。

sensor.set_vflip(1)                                         # 打开垂直翻转 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反
sensor.set_hmirror(1)                                       # 打开水平镜像 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反

sensor.skip_frames(time = 2000)                             # 延时跳过2s 等待感光元件稳定

完整源码

完整源码如下所示,大家可以复制该源码,测试测试各自的K210是怎么样一个情况,调节好各参数,下一次学习笔记将会记录image机器视觉模块的用法,我们下期再见~!

# sensor_V1.0 - By: FITQY - 周天 8 月 21 日 2022
#__________________________________________________________________
# 导入模块
import sensor, time                                         # 导入感光元件模块 sensor 跟踪运行时间模块 time

#__________________________________________________________________
# 感光元件设置
sensor.reset()                                              # 重置并初始化感光元件 默认设置为 摄像头频率 24M 不开启双缓冲模式
#sensor.reset(freq=24000000, dual_buff=True)                # 设置摄像头频率 24M 开启双缓冲模式 会提高帧率 但内存占用增加

sensor.set_pixformat(sensor.RGB565)                         # 设置图像格式为 RGB565 (彩色) 除此之外 还可设置格式为 GRAYSCALE 或者 YUV422
sensor.set_framesize(sensor.QVGA)                           # 设置图像大小为 QVGA (320 x 240) 像素个数 76800 K210最大支持格式为 VGA

sensor.set_auto_exposure(1)                                 # 设置自动曝光
#sensor.set_auto_exposure(0, exposure=120000)               # 设置手动曝光 曝光时间 120000 us

sensor.set_auto_gain(0, gain_db = 17)                       # 设置画面增益 17 dB 影响实时画面亮度
sensor.set_auto_whitebal(0, rgb_gain_db = (0,0,0))          # 设置RGB增益 0 0 0 dB 影响画面色彩呈现效果 在 K210 上无法调节增益 初步判定是感光元件 ov2640 无法支持

#sensor.set_contrast(0)                                     # 设置对比度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
#sensor.set_brightness(0)                                   # 设置亮度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
#sensor.set_saturation(0)                                   # 设置饱和度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释

sensor.set_vflip(1)                                         # 打开垂直翻转 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反
sensor.set_hmirror(1)                                       # 打开水平镜像 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反

sensor.skip_frames(time = 2000)                             # 延时跳过2s 等待感光元件稳定

#__________________________________________________________________
# 创建时钟对象
clock = time.clock()                                        # 创建时钟对象 clock

#__________________________________________________________________
# 调试区
mycnt       = 0                                             # 计数变量
mycnt_max   = 30                                            # 计数上限 此值越大 计数周期越长

#__________________________________________________________________
# 主函数
while(True):

    clock.tick()                                            # 跟踪运行时间

    img = sensor.snapshot()                                 # 拍摄一张照片

    if mycnt == 0:                                          # 如果 mycnt 等于 0 此步骤的目的是控制打印周期 不要打印的太快
        mycnt = 1                                           # 将 1 赋值给 mycnt 使下一次不再满足 mycnt == 0 进入 elif
        print("Exposure:"+str(sensor.get_exposure_us()))    # 打印 曝光时间
        print("Gain:"+str(sensor.get_gain_db()))            # 打印 画面增益
        print("RGB: "+str(sensor.get_rgb_gain_db()))        # 打印 RGB 增益

    elif mycnt < mycnt_max:                                 # 计数变量 小于 计数上限 则 计数变量 自增
        mycnt = mycnt + 1

    else:                                                   # 计数变量 超出 计数上限 则 将0赋值给 mycnt 使下一次进入 if
        mycnt = 0

#__________________________________________________________________

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>