PotatoPie 4.0 实验教程(19) —— FPGA实现摄像头RGB图像转YCbCr

手机扫码

链接直达

https://item.taobao.com/item.htm?ft=t&id=776516984361

什么是色彩空间？

“色彩空间”一词源于西方的“Color Space”，又称作“色域”，色彩学中，人们建立了多种色彩模型，以一维、二维、三维甚至四维空间坐标来表示某一色彩，这种坐标系统所能定义的色彩范围即色彩空间。我们经常用到的色彩空间主要有RGB色彩空间和YUV色彩空间。

RGB 颜色空间

RGB 颜色系统可能是您更熟悉的一种。 RGB 色彩空间是红色、绿色和蓝色的缩写，是一个在每个屏幕像素中使用这三种颜色来显示照片和视频的系统。

与 YCbCr 色彩空间不同，RGB 同时处理颜色和亮度，因此您的文件将占用更多存储空间。

全 RGB 的颜色系统有 255 个级别 – 0 级表示绝对黑色，而 255 级表示绝对白色。在第 1 级到第 254 级之间，您将获得通过使用红色、绿色和蓝色的不同组合创建的全光谱颜色。

RGB 系统最常用于计算机显示器、电视、摄像、摄影等。它也是视频游戏、网页设计和数字媒体的首选色彩系统。

YCbCr色彩空间

 YCbCr 根据亮度 (luma)（又称整体亮度）定义颜色。 “Y”代表亮度，“Cb”代表蓝色减去亮度，“Cr”代表红色减去亮度。

YCbCr 格式能够分离亮度和色度分量，从而尽可能地从文件中删除冗余。

考虑到人眼对亮度比颜色更敏感，YCbCr优先捕捉亮度细节，消除一些不必要和多余的色度细节。这使您的设备可以更好地压缩 YCbCr 文件并节省一些存储空间，同时尽可能保留视频和图像的详细信息。

考虑到这一点，YCbCr 格式仍然可以产生令人惊讶的广泛颜色范围，使其成为印刷机的绝佳选择。

YCbCr不是一种绝对色彩空间，是YUV压缩和偏移的版本。YCbCr的Y与YUV中的Y含义一致，Cb和Cr与UV同样都指色彩，Cb指蓝色色度，Cr指红色色度。YCbCr 也是视频的本机格式，在应用上很广泛，JPEG、MPEG、DVD、摄影机、数字电视等皆采此一格式。因此一般俗称的YUV大多是指YCbCr。

YCbCr 色彩空间与 YUV 色彩空间在概念上很相似，实际上在很多应用中，它们的术语常常被互换使用。但在技术上有一些微妙的区别：

1. YCbCr 色彩空间是被国际电信联盟（ITU）标准化的，而 YUV 并非官方标准，通常用于描述模拟视频信号。

2. YCbCr 色彩空间的转换公式经过了精确的数学推导和标准化，而 YUV 的转换公式可能会有一些变化。

3. YCbCr 色彩空间更为严格地定义了色度和亮度分量的范围，以便于数字信号的编码和解码。

总的来说，YCbCr 色彩空间是一种常用于数字视频处理的标准化色彩编码系统，它将图像的亮度和色度分开表示，便于对彩色图像进行压缩、传输和处理。

YCbCr格式有：

• 4∶4∶4
• 4∶2∶2
• 4∶1∶1
• 4∶2∶0

YCbCr 和 RGB 颜色之间的联系

YCbCr 和 RGB 都是决定成像系统可以表示的颜色的主要色彩空间 – 然而，这就是两者之间仅有的联系点。

RGB 将所有颜色表示为不同级别的红、绿和蓝的独特组合。所有三个通道都必须以全分辨率存储，因此您的图像和视频会更重并占用更多空间。

另一方面，YCbCr 将亮度和颜色分开，因此您始终可以以较高分辨率存储亮度以获取更多细节，并以较低分辨率存储颜色，因为无论如何人眼都无法完全看到它们。

YCbCr 与 RGB 的转换公式

RGB转YCbCr
Y = 0.2568*R + 0.5041*G + 0.0979*B + 16;
Cb = -0.1482*R - 0.2910*G + 0.4392*B + 128;
Cr = 0.4392*R - 0.3678*G - 0.0714*B + 128;

YCbCr转RGB
R = 1.1644*(Y- 16) + 1.5960*(Cr - 128);
G = 1.1644*(Y - 16) - 0.3918*(Cb- 128) -0.8130*(Cr- 128);
B = 1.1644*(Y - 16) + 2.0172*(Cb- 128);

python实现上YCbCr转RGB

代码读取一张图片并将其转换为 YCbCr 色彩空间。然后提取出 Y、Cb、Cr 分量，并显示每个分量的图像。请将 lena.jpg 替换为您要读取的图片文件的路径。

以下是对提供的代码段的详细说明：

1. 导入模块：

   • cv2：OpenCV库，用于图像处理。
   • numpy as np：NumPy库，用于数组操作。

2. 定义 RGB 到 YCbCr 转换函数：

   • rgb_to_ycbcr(rgb)：接受一个RGB图像作为输入，并返回相应的YCbCr图像。
   • 分别计算了Y、Cb和Cr分量，并将它们合并成一个YCbCr图像。

3. 导入 os 模块：

   • 使用os模块来获取当前脚本所在的目录路径。

4. 读取图像文件：

   • cv2.imread()函数读取了一张名为”Lena.jpg”的图像文件，并将其存储在变量img中。
   • 图像文件路径是通过拼接当前脚本所在目录和文件名得到的。

5. 显示原始图像：

   • 使用cv2.imshow()函数显示了原始的RGB图像，窗口标题为”Original Image”。

6. 调用转换函数：

   • 调用了rgb_to_ycbcr()函数，将RGB图像转换为YCbCr色彩空间，并将结果存储在变量ycbcr中。

7. 提取 Y、Cb、Cr 分量：

   • 从YCbCr图像中提取了Y、Cb和Cr分量，并分别存储在变量Y、Cb和Cr中。

8. 显示 Y、Cb、Cr 分量图：

   • 使用cv2.imshow()函数分别显示了Y、Cb和Cr分量图像，窗口标题分别为”Y Component”、”Cb Component”和”Cr Component”。

9. 等待按下任意键继续并关闭窗口：

   • 使用cv2.waitKey(0)函数等待用户按下任意键，然后使用cv2.destroyAllWindows()函数关闭所有打开的窗口。

在powershell输入如下命令：

运行结果如下图

matlab实现上YCbCr转RGB

这个Matlab函数实现了RGB到YCbCr色彩空间的转换，并显示了原始图像以及转换后的Y、Cb、Cr分量图像。

以下是对提供的代码段的详细说明：

1. 导入模块：

   • cv2：OpenCV库，用于图像处理。
   • numpy as np：NumPy库，用于数组操作。

2. 定义 RGB 到 YCbCr 转换函数：

   • rgb_to_ycbcr(rgb)：这是一个自定义函数，用于将RGB图像转换为YCbCr色彩空间。它接受一个RGB图像作为输入，并返回相应的YCbCr图像。
   • 在函数内部，首先将RGB图像的各个通道分离出来，然后根据YCbCr转换的公式计算Y、Cb和Cr分量，并最终将它们合并成一个YCbCr图像返回。

3. 导入 os 模块：

   • 使用os模块来获取当前脚本所在的目录路径。

4. 读取图像文件：

   • 使用cv2.imread()函数读取了一张名为”Lena.jpg”的图像文件，并将其存储在变量img中。
   • 图像文件路径是通过拼接当前脚本所在目录和文件名得到的。

5. 显示原始图像：

   • 使用cv2.imshow()函数显示了原始的RGB图像，窗口标题为”Original Image”。

6. 调用转换函数：

   • 调用了rgb_to_ycbcr()函数，将RGB图像转换为YCbCr色彩空间，并将结果存储在变量ycbcr中。

7. 提取 Y、Cb、Cr 分量：

   • 从YCbCr图像中提取了Y、Cb和Cr分量，并分别存储在变量Y、Cb和Cr中。

8. 显示 Y、Cb、Cr 分量图：

   • 使用cv2.imshow()函数分别显示了Y、Cb和Cr分量图像，窗口标题分别为”Y Component”、”Cb Component”和”Cr Component”。

9. 等待按下任意键继续并关闭窗口：

   • 使用cv2.waitKey(0)函数等待用户按下任意键，然后使用cv2.destroyAllWindows()函数关闭所有打开的窗口。

matlab运行脚本时会出现类似下图的错误，提示rgb2ycbcr.m已在matlab路径中存在，直接点更改文件夹即可。

FPGA工程分析

工程数据流图

层次分析

模块代码分析

与demo18相比，只是多了一个rgb2ycbcr的模块，也就是这一段代码，在从SDRAM读出来之后，经它处理后再输出hdmi_tx模块

rgb2ycbcr u_rgb2ycbcr
(
    .i_clk(clk_pixel),    
    .i_rst_n(sys_rst_n),  
    .i_vs(VGA_VS),             
    .i_hs(VGA_HS),             
    .i_de(VGA_DE),               
    .i_r(VGA_RGB[23:16]), 
    .i_g(VGA_RGB[15:8]),   
    .i_b(VGA_RGB[7:0]),       
    .o_vs(ycbcr_vs),       
    .o_hs(ycbcr_hs),       
    .o_de(ycbcr_de),      
    .o_y(ycbcr_Y),        
    .o_cb(ycbcr_Cb),      
    .o_cr(ycbcr_Cr)       
);

EG4 FPGA可以实现的转换公式

前面的转换公式存在浮点数，我们需要进行浮点转定点的转换。

方法是将式子的右边先乘以一个256，四舍五入取整，然后再除以一个256，这样等式右边相当于没变（不过有一点误差），而除以256对于逻辑来说就是右移256。当然也不是一定要乘以256，乘以1024或2048也是可以的，只是没有必要。

最终算式变成这样：

Y = (66*image_in_r + 129*image_in_g + 25*image_in_b + 4096 )>>8;
Cb = (-38*image_in_r - 74*image_in_g + 112*image_in_b + 32768)>>8;
Cr = (112*image_in_r - 94*image_in_g - 18*image_in_b + 32768 )>>8;

代码中主要就两段。

第一步先计算乘法：

r_d0 <= (66  * i_r) ;
g_d0 <= (129 * i_g) ;
b_d0 <= (25  * i_b) ;
r_d1 <= (38  * i_r) ;
g_d1 <= (74  * i_g) ;
b_d1 <= (112 * i_b) ;
r_d2 <= (112 * i_r) ;
g_d2 <= (94  * i_g) ;
b_d2 <= (18  * i_b) ;

第二步计算加减法：

y_d0  <= (r_d0 + g_d0 + b_d0 + 4096 ) ;
cb_d0 <= (b_d1 - r_d1 - g_d1 + 32768) ;
cr_d0 <= (r_d2 - g_d2 - b_d2 + 32768) ;

需要注意几点：

• 上面的代码之所以要将公式拆分成两步的原因是为了优化时序，所以做了一个两级流水。
• 由于上一步做了流水分隔，所以相应的行场信号要往后延一拍。
• hs <= {hs[0],i_hs};
vs <= {vs[0],i_vs};
de <= {de[0],i_de};
• 要注意因为计算y_d0，bc_d0, br_d0的时候先乘了256，因此需要位宽要16位，这样带来另一个好处，直接取高位就相当于右移了8位。

管脚约束

与PotatoPie 4.0 实验教程(18) —— FPGA实现OV5640摄像头采集以SDRAM作为显存进行HDMI输出显示相同，不作赘述。

时序约束

与PotatoPie 4.0 实验教程(18) —— FPGA实现OV5640摄像头采集以SDRAM作为显存进行HDMI输出显示相同，不作赘述。

实验现象

实验结果

只显示Y分量的图像

只显示Cb分量

只显示Cr分量