AVM系统及其操作方法与流程

本发明涉及avm系统及其操作方法。

背景技术：

随着车辆用电子设备技术的发展和图像处理技术的发展，最近，对高级驾驶辅助系统(adas；advanceddriverassistancesystem)的研究活跃进行中。最近，还在车辆上使用全景监控影像(avm；aroundviewmonitoring)系统，其是在车辆四周设置多个摄像头，以便360°全方位观察车辆四周。avm系统通过拍摄车辆四周的多个摄像头，拍摄车辆四周的图像，然后组合该图像，提供如驾驶员在空中观看车辆的俯视图(topview)图像，从而能够使驾驶员在画面上确认车辆四周的障碍物。

技术实现要素：

本发明的目的在于，提供用于改善盲区的avm系统及其运转方法。

avm系统的操作方法，可以包括：从在车辆的不同位置设置的图像传感器获取图像数据的步骤；对所述图像数据进行图像处理以改善图像的步骤；针对经处理的图像数据，进行镜头畸变校正的步骤；从校正的图像数据，检测重复区域的步骤；选择图像显示方法以在拼接图像时，使经检测的重复区域不发生重叠，根据选择的图像显示方法，拼接图像数据的步骤；以及输出经拼接的图像数据的步骤。

本发明的特征在于，所述车辆的不同位置包括前方、后方、左侧、右侧。

所述进行镜头畸变校正的步骤，可以包括：针对所述图像数据，设定图像中心的步骤；设定镜头畸变校正率函数的系数的步骤；根据与经设定的系数相对应的可变比例，对所述图像数据进行水平图像差值的步骤；以及针对所述图像数据，进行垂直图像差值的步骤。

本发明的特征在于，通过选择所述图像显示方法，在单摄像头的视角中，左侧区域大于右侧区域，或者右侧区域大于左侧区域，或者右侧区域和左侧区域相同。

拼接所述图像数据的步骤，可以包括对于图像数据之间的界面部分，调整镜头畸变校正率，从而拼接图像数据。

本发明的特征在于，所述图像显示方法的选择是依据转向信息或者物体方向信息而完成。

本发明的特征在于，当所述转向信息指示大于等于预设的转向角时，选择所述图像显示方法以放大侧方外角显示区域。

本发明的特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的中心方向上时，选择用于显示以中心区域为主的图像的图像显示方法。

本发明的特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的边缘方向上时，选择用于显示以边缘区域为主的图像的图像显示方法。

根据本发明的实施例的avm系统，可以包括：多个摄像头，设置在车辆上，从所述车辆的周围环境获取图像数据；图像信号处理装置，从所述多个摄像头接收图像数据，对接收的图像数据进行图像处理以改善图像，对经处理的图像数据进行镜头畸变校正，从校正的图像数据检测重复区域，选择图像显示方法以在拼接图像时，使经检测的重复区域不发生重叠，根据选择的图像显示方法，拼接图像数据；以及显示装置，显示由所述图像信号处理装置拼接的图像数据。

本发明的特征在于，所述图像信号处理装置在拼接图像数据时，调整拼接界面的镜头畸变校正率。

本发明的特征在于，所述图像信号处理装置基于转向信息或者物体方向信息，选择所述图像显示方法。

本发明的特征在于，通过所述图像信号处理装置选择图像显示方法，在单摄像头的视角中，左侧区域大于右侧区域，或者右侧区域大于左侧区域，或者右侧区域和左侧区域相同。

本发明的特征在于，当所述转向信息指示大于等于预设的转向角时，所述图像信号处理装置选择所述图像显示方法以放大侧方外角显示区域。

本发明的特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的中心方向上时，所述图像信号处理装置选择用于显示以中心区域为主的图像的图像显示方法。

本发明的特征在于，当所述物体方向信息指示最近物体的位置位于检测区域内的边缘方向上时，所述图像信号处理装置选择用于显示以边缘区域为主的图像的图像显示方法。

根据本发明的实施例的avm系统及其运转方法以单一视角为基准拼接图像，从而能够从根本上防止物体在盲区消失的现象。

附图说明

以下的附图是用于方便理解本实施例，其与具体实施方式一起提供实施例。然而，本实施例的技术特征并不局限于特定附图，各个附图中图示的特征之间可以相互组合，构成新的实施例。

图1是示例根据本发明的实施例的avm系统10的示意图。

图2a以及图2b是根据本发明的实施例的avm系统10以单一视角为基准，显示avm图像的方法的概念示意图。

图3a是根据现有技术的摄像头的拍摄区域的一例的示意图。

图3b是在图3a所示的后视摄像头的拍摄图像以及右侧方摄像头的拍摄图像中重叠区域的示意图。

图3c是在根据本发明的实施例的avm系统10中，为了回避因视角差产生的连接部位的盲区而呈现调整状态的摄像头的视角的示例图。

图4a是根据本发明的实施例的avm系统的拼接图像显示方法的多种例的示意图。

图4b是用于说明基于转向角的变换的拼接图像显示方法的示意图。

图4c是用于说明基于最近物体方向信息的拼接图像显示方法的示意图。

图5a至图5c是在根据本发明的实施例的avm系统10中，调整重复连接部分的畸变校正程度的方法的示例图，其中，图5a示出校正前的图像，图5b示出校正后的图像，图5c示出在校正前的图像中适用畸变校正率的图像。

图6是根据本发明的实施例的可变比例畸变校正方法的示例图。

图7是示例根据本发明的实施例的avm系统10的运转方法的流程图。

附图标记说明

10：avm系统，110、120、130、140：摄像头，200：图像信号处理装置，300：显示装置

具体实施方式

以下，清晰且详细记载本发明的内容以供本领域技术人员能够利用附图容易实施本发明。

本发明可以进行多种变更，而且可以具有多种形态，本发明通过在附图中示出特定实施例，并在本文中对其进行详细说明。然而，这并不是用特定的公开形态限定本发明，而应被理解为包括在本发明的思想以及技术范围中所含的所有变更、均等物乃至代替物。第一、第二等术语可以用于说明多种构成要素，然而所述构成要素并不由所述术语所限定。

所述术语其目的可以是为了从其他构成要素区分一个构成要素。例如，在不脱离本发明的权利范围内，第一构成要素可以被命名为第二构成要素，类似地，第二构成要素也可以被命名为第一构成要素。当涉及到某一构成要素与其他构成要素“连接”或者“联接”时，可以理解为是在其他构成要素直接连接或者联接，然而也应被理解为是在中间还可以存在其他构成要素。与此相反地，当涉及到某一构成要素与其他构成要素“直接连接”或者“直接联接”时，应被理解为是在中间不存在其他构成要素。

说明构成要素之间的关系的其他表述，即“在～之间”和“就在～之间”或者“与～邻接”和“与～直接邻接”等也应被理解为与上述说明相同。本申请中使用的术语仅是用于说明特定实施例，其意图并不是用于限定本发明。在文章中没有明确明示的情况下，单数的表述包括复数的表述。

在本申请中，“包括”或者“具备”等术语应被理解为是用于指定实施的特征、数字、步骤、动作、构成要素、部件或者其组合的存在，并不是事先排除一个以上的其他特征、数字、步骤、动作、构成要素、部件或者其组合的存在或者附加可能性。未作其他定义时，技术术语或者科学术语乃至此处使用的所有术语具有与本领域技术人员通常所理解的相同的含义。与通常所使用的辞典中定义的含义相同的术语应被解释为与相关技术的文章所具有的含义相一致的含义，在本申请中没有明确定义的情况下，不应解释为理想或者过分形式上的含义。

图1是示例根据本发明的实施例的avm系统10的示意图。如图1所示，avm系统10可以包括：多个摄像头110、120、130、140；图像信号处理装置200以及显示装置300。

多个摄像头110、120、130、140中的各个摄像头在车辆上设置在预设位置，能够获取车辆四周的图像数据。图中，各个摄像头110、120、130、140可以分别设置在车辆的前方、后方、左侧方、右侧方。然而，应理解本发明的摄像头的数量以及设置并不局限于此。

在实施例中，为了拍摄车辆的周围环境，各个摄像头110、120、130、140可以由具有180度以上视角的广角摄像头构成。

图像信号处理装置200可以构成为，从多个摄像头110、120、130、140通过有线或者无线接收图像数据，将接收的图像数据处理为用于辅助驾驶员(用户)的驾驶的图像数据。

在实施例中，图像信号处理装置可以进行多种处理动作以改善图像。例如，图像信号处理装置200可以处理从摄像头110、120、130、140的图像传感器输出的原始图像(rawimage)的拜耳(bayer)区域。

针对rgb区域，可以进行颜色信息校正以及调整控制。针对yuv区域，可以进行图像改善以及最佳化。另外，图像信号处理装置200可以对图像数据进行降噪(noisereduction)、校正(rectification)、标定(calibration)、色彩增强(colorenhancement)、色彩空间转换(colorspaceconversion；csc)、插值(interpolation)、摄像头场景控制(cameragaincontrol)等。

在实施例中，图像信号处理装置200可以使用专用于后视摄像头(例如，120)的技术，处理图像数据。其中，专用于后视摄像头的技术可以包括镜头畸变校正(ldc；lensdistortioncorrection)、图像拼接(imagestitching)等。

在实施例中，图像信号处理装置200可以构成为，在拼接图像时，回避因视角差产生的连接部位的盲区。例如，图像信号处理装置200不重叠特定区域的视角，以单一视角为基准拼接图像，从而能够减小对于连接部位的畸变校正程度。

显示装置300可以构成为，显示或者控制由图像信号处理装置200处理的图像数据。在实施例中，显示装置300可以包括导航仪(navigation)。

通常的avm系统在拼接从多个摄像头接收到的图像时，因视角而可以引起盲区的物体发生消失的现象。与此相反地，根据本发明的实施例的avm系统10是以单一视角为基准拼接图像，因此，能够从根本上防止物体在盲区消失的现象。

图2a以及图2b是根据本发明的实施例的avm系统10以单一视角为基准，显示avm图像的方法的概念示意图。

首先，图像信号处理装置200可以从摄像头110、120、130、140接收图像数据。图像信号处理装置200可以对接收的四个图像进行镜头畸变校正。

在图2a以及图2b中，在车辆四周设定摄像头的拍摄区域(划分为四边形的区域)，在根据现有技术拼接图像时，区域(①、②、③、④)表示能够重叠的位置。

在根据现有技术拼接图像时，区域(①、②、③、④)被重叠而能够形成盲区，然而如图2a以及图2b所示，只要设定摄像头的拍摄区域，则由于对区域(①、②、③、④)只通过任一个摄像头进行拍摄，因此，不会形成盲区。

如图2a的情况所示，以单摄像头为基准，视角可以设定为左侧区域大于右侧区域。如图2b的情况所述，以单摄像头为基准，视角可以设定为右侧区域大于左侧区域。一方面，应理解用于去除重叠区域的单一视角图像显示方法并不局限于此，以单摄像头为基准，视角还可以设定为左侧区域和右侧区域相同。

即，根据图像显示方法，在单摄像头的视角上，可以是左侧区域大于右侧区域，或者右侧区域大于左侧区域，或者右侧区域和左侧区域相同。

在实施例中，在如图2a的情况下，可以去除前方的重叠区域(②)、侧方的重叠区域(①、④)、后方的重叠区域(③)。在其他实施例中，在如图2b的情况下，可以去除前方的重叠区域(①)、侧方的重叠区域(②、③)、后方的重叠区域(④)。

然后，通过拼接四个图像，可以生成车辆四周图像。在图2a和图2b中，车辆四周图像可以基于1)所示的显示方法生成，或者基于2)所示的显示方法生成。进一步地，根据转向角信息或者物体方向信息等环境信息，以单一视角为基准的avm图像显示方法可以变更为多种。

图3a是根据现有技术的摄像头的拍摄区域的一例的示意图，图3b是在图3a所示的后视摄像头的拍摄图像以及右侧方摄像头的拍摄图像中重叠区域的示意图，图3c是在根据本发明的实施例的avm系统10中，为了回避因视角差产生的连接部位的盲区而呈现调整状态的摄像头的视角的示例图。

如图3a所示，在摄像头的拍摄区域被设定的情况下，拼接四个摄像头的图像时，可能存在因视角差产生的连接部位盲区(例如，图3b的)。如果根据所述图像拼接画面停车的话，则在盲区存在物体(人)时，可能会发生危险情况。

与此相反地，如图3c所示，根据本发明的实施例的avm系统10如示例1以及示例2的情况所示，通过设定摄像头的视角以回避连接部位盲区，从而能够使特定区域的视角不发生重叠，而以一个视角拼接图像。其中，在连接部分(界面部分)可以调整畸变校正程度。在本发明的avm系统10中拼接图像时，由于利用单一视角图像数据，因此，从根本上不会发生盲区。

图4a是根据本发明的实施例的avm系统的拼接图像显示方法的多种例的示意图，图4b是用于说明基于转向角的变换的拼接图像显示方法的示意图，图4c是用于说明基于最近物体方向信息的拼接图像显示方法的示意图。

根据本发明的实施例的avm系统10的拼接图像显示方法并不局限于图4a中所示的例子，而可以进行多种设定，根据转向信息(基准1)，可以选择合适的显示方法。

图4b的实例1(case1)是车辆根据转向角朝后侧方移动的情况，avm系统10可以根据图4a的实例1的显示方法，显示拼接图像。

图4b的实例2(case2)是车辆根据转向角朝前侧方移动的情况，avm系统10可以根据图4a的实例2的显示方法，显示拼接图像。

图4b的实例3(case3)是车辆根据转向角朝前方移动的情况，avm系统10可以根据图4a的实例3的显示方法，显示拼接图像。

图4b的实例4(case4)是车辆根据转向角朝后方移动的情况，avm系统10可以根据图4a的实例4的显示方法，显示拼接图像。

如上所述，avm系统10基于转向信息，可以根据多种拼接图像显示方法中合适的拼接图像显示方法，显示拼接图像。

其中，可以设定为，当目前输入的转向角大于等于预设的转向角(“预设转向角”)时，avm系统10选择放大侧方外角显示区域的方法。

一方面，拼接图像显示方法可以由最近物体方向信息(基准2)决定，最近物体方向信息是与最近物体所处的方向相关的信息，可以基于超声波信号的收发获取该信息。

参考图4c的实例1，随着车辆如图4b的实例1(以大于等于预设转向角的转向角后退)移动，avm系统10在以图4a的实例1的显示方法为基准，显示拼接图像的途中，如果检测到后方的最近物体位于检测区域内的中心方向上，则为了显示以中心区域为主的图像，以图4a的实例4的显示方法为基准，显示拼接图像。

参考图4c的实例2，随着车辆如图4b的实例4(后方直行)移动，avm系统10在以图4a的实例4的显示方法为基准，显示拼接图像的途中，如果检测到后方的最近物体位于检测区域内的边缘方向上，则为了显示以边缘区域为主的图像，以图4a的实例1的显示方法为基准，显示拼接图像。

参考图4c的实例3，随着车辆如图4b的实例2(以大于等于预设转向角的转向角前进)移动，avm系统10在以图4a的实例2的显示方法为基准，显示拼接图像的途中，如果检测到前方的最近物体位于检测区域内的中心方向上，则为了显示以中心区域为主的图像，以图4a的实例3的显示方法为基准，显示拼接图像。

参考图4c的实例4，随着车辆如图4b的实例3(前方直行)移动，avm系统10在以图4a的实例3的显示方法为基准，显示拼接图像的途中，如果检测到前方的最近物体位于检测区域内的边缘方向上，则为了显示以边缘区域为主的图像，以图4a的实例2的显示方法为基准，显示拼接图像。

图5a至图5c是在根据本发明的实施例的avm系统10中，调整重复连接部分的畸变校正程度的方法的示例图，其中，图5a示出校正前的图像，图5b示出校正后的图像，图5c示出在校正前图像中适用畸变校正率的图像。

参考5c，可以确认到从中心图像区分单位向边缘侧反复着放大和缩小。因此，在校正后图像(图5b)中可以确认到残留有校正前图像(图5a)的边缘部分中的图像。

如上所述，重复连接部分的畸变校正可以由可变镜头畸变校正率而完成。

图6是根据本发明的实施例的可变比例畸变校正方法的示例图。如图6所示，对于重复连接部分的可变比例畸变校正方法可以如下进行。首先，针对图像数据，可以设定图像中心(步骤1)。例如，图像中心可以是在车辆上设置摄像头的时候进行设置，用户可以重新设定(reset)图像中心。

然后，在镜头畸变校正率函数中，可以设定辐射畸变系数k1、k2、k3、k4、k5、k6(步骤2)。辐射畸变系数可以在设定avm系统10的过程中进行，可以通过很多实验数据而适当决定。

在图6的公式中，r是指没有畸变时，从任意的像素到中心为止的距离，x是指图像中任意像素的x坐标值，y是指在图像中任意像素的y坐标值。

图6的公式被定义为镜头畸变校正率函数，公式的结果值是镜头畸变校正率。因此，根据辐射畸变系数，决定图像内任意像素中的镜头畸变校正率，这其实就是指通过辐射畸变系数，可以控制增减各个像素的镜头畸变校正率。

然后，针对图像数据，可以进行水平图像差值(步骤3)。然后，针对图像数据，可以进行垂直图像差值(步骤4)。在步骤3以及步骤4中，上端的数字代表像素的位置，下端的数字代表像素值，(a)、(b)的情况是按照可变比例程度完成像素移动以及转换，(c)的情况是指基于可变比例转换的差值空间。

图7是示例根据本发明的实施例的avm系统10的运转方法的流程图。参考图1至图7，avm系统10的运转可如下进行。

图像传感器710可以通过摄像头110、120、130、140的各个镜头111、121131、141获取到图像数据。经获取的图像数据可以由对应的图像信号处理装置(isp；imagesignalprocessor)720进行处理。经处理的图像数据可以由对应的镜头畸变校正器(ldc；lensdistortioncorrector)730进行畸变校正。然后，四个图像重复区域检测器740可以检测出对应的重复区域。

然后，图像显示方法选择器750可以去除重复区域，选择基于单一视角的图像显示方法。针对检测到的重复区域，可以选择所要的图像显示方法。

然后，根据被选择的图像显示方法，可以在图像拼接器760中拼接经选择的四个数据。在实施例中，在拼接图像时，可以通过对根据经选择的图像显示方法显示的图像调整镜头畸变校正率，从而拼接其他图像之间的界面部分。

一方面，所述图像数据处理器720、镜头畸变校正器730、图像重复区域检测器740、图像显示方法选择器750以及图像拼接器760可以以软件、硬件或者固件形式包含在图1中所示的图像信号处理装置200中。然后，经拼接的数据最终可以被输出到显示装置300。即，可以输出与四个图像数据相对应的最终的拼接图像数据。

如本领域技术人员可以理解的，根据本发明的步骤以及/或者操作可以以其他顺序、或者并列、或者为了其他特定的时间(epoch)等，在其他实施例中同时进行。

根据实施例，步骤以及/或者操作中的一部分或者全部可以利用存储在一个以上的非暂时性计算机可读介质中的指令、程序、交互式数据结构(interactivedatastructure)、驱动客户端以及/或者服务器的一个以上的处理器，至少完成或者执行一部分。一个以上的非暂时性计算机可读介质作为示例，可以是软件、固件、硬件以及/或者其任意组合。另外，本说明书中论述的“模块”的功能可以由软件、固件、硬件以及/或者其任意组合构成。

用于构成/进行本发明的实施例的一个以上的操作/步骤/模块的一个以上的非暂时性计算机可读介质以及/或者手段可以包括专用集成电路(asics；application-specificintegratedcircuits)、标准集成电路、微控制器、执行合适指令的控制器以及/或者嵌入式控制器、现场可编程门阵列(fpgas；field-programmablegatearrays)、复杂可编程逻辑器件(cplds；complexprogrammablelogicdevices)以及与其相同的，然后并不局限于此。

一方面，上述本发明的内容仅是用于实施发明的具体实施例。本发明不仅包括具体且可实际利用的手段本身，还可以包括可以作为装置技术使用的抽象且概念性想法的技术思想。