opencv学习(二)-简单颜色辨别并跟踪

H伍游戏开发:一笔画

2017/11/07 · HTML5 ·
游戏

原稿出处: 坑坑洼洼实验室   

图片 1

此番来我们用opencv来完毕识别跟踪红色物体并重临地方坐标的效应。

在第二章中(canvas学习计算三:绘制路径-线段)大家做实Canvas绘图环境中微微属于立即绘制图形方法,某个绘图方法是依照路径的。

H5游戏开发:一笔画

by leeenx on 2017-11-02

一笔画是图论[科普](https://zh.wikipedia.org/wiki/%E5%9B%BE%E8%AE%BA)中二个人所共知的题材,它起点于柯帕罗奥图堡柒桥题材[科普](https://zh.wikipedia.org/wiki/%E6%9F%AF%E5%B0%BC%E6%96%AF%E5%A0%A1%E4%B8%83%E6%A1%A5%E9%97%AE%E9%A2%98)。化学家欧拉在她1736年刊出的故事集《柯布尔萨堡的七桥》中不但化解了七桥难题,也提议了一笔画定理,顺带化解了一笔画难点。用图论的术语来说,对于3个加以的连通图[科普](https://zh.wikipedia.org/wiki/%E8%BF%9E%E9%80%9A%E5%9B%BE)留存一条恰好含有全体线段并且未有再度的路子,这条路子正是「一笔画」。

探寻连通图那条路子的长河便是「一笔画」的游玩进程,如下:

图片 2

该意义分为两局地,识别颜色,跟踪颜色。

立即绘制图形方法仅有多个strokeRect(),fillRect(),五个方法都以用来绘制矩形的。

娱乐的落实

「一笔画」的贯彻不复杂,我把贯彻过程分成两步:

  1. 底图绘制
  2. 互动绘制

「底图绘制」把连通图以「点线」的款式浮以往画布上,是玩玩最不难完结的1部分;「交互绘制」是用户绘制解题路径的进度,这么些进度会器重是处理点与点动态成线的逻辑。

要想实现颜色的甄别,大家要开拓摄像头,读取捕获的图像。将图像的水彩通道转化为HSV,设置选择的一定颜色的参数。使用inRange函数将图像转变为贰值图,其油红色部分显得为卡其灰,其他为镉绿。

Canvas的API提供了之类五个艺术,分别用于矩形的排除,描边与填充

底图绘制

「一笔画」是多关卡的玩耍情势,作者决定把关卡(连通图)的定制以1个计划接口的样式对外暴露。对外揭示关卡接口要求有1套描述连通图形状的标准,而在小编日前有五个挑选:

  • 点记法
  • 线记法

举个连通图 —— 伍角星为例来说一下那三个选拔。

图片 3

点记法如下:

JavaScript

levels: [ // 当前关卡 { name: “伍角星”, coords: [ {x: Ax, y: Ay}, {x:
Bx, y: By}, {x: Cx, y: Cy}, {x: Dx, y: Dy}, {x: Ex, y: Ey}, {x: Ax, y:
Ay} ] } … ]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
levels: [
// 当前关卡
{
name: "五角星",
coords: [
{x: Ax, y: Ay},
{x: Bx, y: By},
{x: Cx, y: Cy},
{x: Dx, y: Dy},
{x: Ex, y: Ey},
{x: Ax, y: Ay}
]
}
]

线记法如下:

JavaScript

levels: [ // 当前关卡 { name: “伍角星”, lines: [ {x1: Ax, y1: Ay, x2:
Bx, y2: By}, {x1: Bx, y1: By, x2: Cx, y2: Cy}, {x1: Cx, y1: Cy, x2: Dx,
y2: Dy}, {x1: Dx, y1: Dy, x2: Ex, y2: Ey}, {x1: Ex, y1: Ey, x2: Ax, y2:
Ay} ] } ]

1
2
3
4
5
6
7
8
9
10
11
12
13
levels: [
// 当前关卡
{
name: "五角星",
lines: [
{x1: Ax, y1: Ay, x2: Bx, y2: By},
{x1: Bx, y1: By, x2: Cx, y2: Cy},
{x1: Cx, y1: Cy, x2: Dx, y2: Dy},
{x1: Dx, y1: Dy, x2: Ex, y2: Ey},
{x1: Ex, y1: Ey, x2: Ax, y2: Ay}
]
}
]

「点记法」记录关卡通过海关的2个答案,即端点要按自然的顺序存放到数组
coords中,它是有序性的笔录。「线记法」通过两点描述连通图的线条,它是冬季的笔录。「点记法」最大的优势是显现更不难,但它必须记录一个通过海关答案,我只是关卡的苦力不是关卡创建者,所以作者最终挑选了「线记法」。:)

代码:

  • clearRect(x, y, w, h):
    清除钦定区域,使其为全透明
  • strokeRect(x, y, w, h):
    绘制三个描边的矩形
  • fillRect(x, y, w, h):
    绘制三个填写的矩形

彼此绘制

在画布上绘制路径,从视觉上便是「选拔或接二连三连通图端点」的经过,那些历程必要消除二个难点:

  • 手指下是或不是有端点
  • 入选点到待选中式点心之间是还是不是成线

收集连通图端点的坐标,再监听手指滑过的坐标可以理解「手指下是或不是有点」。以下伪代码是收集端点坐标:

JavaScript

// 端点坐标音信 let coords = []; lines.forEach(({x一, y一, x贰, y2})
=> { // (x1, y一) 在 coords 数组不存在 if(!isExist(x1, y1))
coords.push([x1, y1]); // (x2, y二) 在 coords 数组不设有
if(!isExist(x2, y2)) coords.push([x2, y2]); });

1
2
3
4
5
6
7
8
// 端点坐标信息
let coords = [];
lines.forEach(({x1, y1, x2, y2}) => {
// (x1, y1) 在 coords 数组不存在
if(!isExist(x1, y1)) coords.push([x1, y1]);
// (x2, y2) 在 coords 数组不存在
if(!isExist(x2, y2)) coords.push([x2, y2]);
});

以下伪代码是监听手指滑动:

JavaScript

easel.addEventListener(“touchmove”, e => { let x0 =
e.targetTouches[0].pageX, y0 = e.targetTouches[0].pageY; // 端点半径
—— 取连通图端点半径的二倍,进步活动端体验 let r = radius * 2;
for(let [x, y] of coords){ if(Math.sqrt(Math.pow(x – x0, 二) +
Math.pow(y – y0), 二) <= r){ // 手指下有端点,判断能或不能够连线
if(canConnect(x, y)) { // todo } break; } } })

1
2
3
4
5
6
7
8
9
10
11
12
13
14
easel.addEventListener("touchmove", e => {
let x0 = e.targetTouches[0].pageX, y0 = e.targetTouches[0].pageY;
// 端点半径 —— 取连通图端点半径的2倍,提升移动端体验
let r = radius * 2;
for(let [x, y] of coords){
if(Math.sqrt(Math.pow(x – x0, 2) + Math.pow(y – y0), 2) <= r){
// 手指下有端点,判断能否连线
if(canConnect(x, y)) {
// todo
}
break;
}
}
})

在未绘制任何线段或端点从前,手指滑过的任意端点都会被看做「一笔画」的开端点;在绘制了线段(或有选中式点心)后,手指滑过的端点能不可能与选中式点心串连成线段须求依照现有标准进行判断。

图片 4

上海教室,点A与点B可连接成线段,而点A与点C无法接二连叁。作者把「能够与钦定端点连接成线段的端点称作得力连接点」。连通图端点的有效性连接点从连通图的线条中领到:

JavaScript

coords.forEach(coord => { // 有效连接点(坐标)挂载在端点坐标下
coord.validCoords = []; lines.forEach(({x1, y1, x二, y二}) => { //
坐标是当下线段的源点 if(coord.x === x一 && coord.y === y一) {
coord.validCoords.push([x2, y2]); } // 坐标是当前线段的顶峰 else
if(coord.x === x贰 && coord.y === y二) { coord.validCoords.push([x1,
y1]); } }) })

1
2
3
4
5
6
7
8
9
10
11
12
13
14
coords.forEach(coord => {
// 有效连接点(坐标)挂载在端点坐标下
coord.validCoords = [];
lines.forEach(({x1, y1, x2, y2}) => {
// 坐标是当前线段的起点
if(coord.x === x1 && coord.y === y1) {
coord.validCoords.push([x2, y2]);
}
// 坐标是当前线段的终点
else if(coord.x === x2 && coord.y === y2) {
coord.validCoords.push([x1, y1]);
}
})
})

But…有效连接点只好判断七个点是或不是为底图的线条,那只是1个静态的参照,在实际上的「交互绘制」中,会遇见以下处境:

图片 5
如上海体育场所,AB已串连成线段,当前选中式点心B的得力连接点是 A 与 C。AB
已经接二连三成线,假设 BA 也串连成线段,那么线段就再次了,所以此时 BA
无法成线,只有 AC 才能成线。

对选中式点心而言,它的可行连接点有两种:

  • 与选中式点心「成线的有效性连接点」
  • 与选中式点心「未成线的管用连接点」

中间「未成线的实用连接点」才能参加「交互绘制」,并且它是动态的。

图片 6

回头本节内容起首提的七个难题「手指下是还是不是有端点」 与
「选中式点心到待选中式点心之间是或不是成线」,其实可统1为多个题材:手指下是还是不是留存「未成线的管事连接点」。只须把监听手指滑动遍历的数组由连通图全体的端点坐标
coords 替换为眼下选中式点心的「未成线的卓有作用连接点」即可。

迄今「一笔画」的要害功效已经完毕。能够超越体验一下:

图片 7

VideoCapture cap(0);//打开摄像头

大家先来探望基于路径的绘图矩形的不二等秘书诀

自行识图

小编在录加入关贸总协定组织卡配置时,发现3个柒条边以上的接入图很不难录错或录重线段。作者在动脑筋是或不是开发贰个自动识别图形的插件,毕竟「一笔画」的图片是有平整的几何图形。

图片 8

上边的卡子「底图」,壹眼就足以识出三个颜色:

  • 白底
  • 端点颜色
  • 线条颜色

再者那两种颜色在「底图」的面积大小顺序是:白底 > 线段颜色 >
端点颜色。底图的「采集色值表算法」很简单,如下伪代码:

JavaScript

let imageData = ctx.getImageData(); let data = imageData.data; // 色值表
let clrs = new Map(); for(let i = 0, len = data.length; i < len; i +=
4) { let [r, g, b, a] = [data[i], data[i + 1], data[i + 2],
data[i + 3]]; let key = `rgba(${r}, ${g}, ${b}, ${a})`; let value =
clrs.get(key) || {r, g, b, a, count: 0}; clrs.has(key) ? ++value.count :
clrs.set(rgba, {r, g, b, a, count}); }

1
2
3
4
5
6
7
8
9
10
let imageData = ctx.getImageData();
let data = imageData.data;
// 色值表
let clrs = new Map();
for(let i = 0, len = data.length; i < len; i += 4) {
let [r, g, b, a] = [data[i], data[i + 1], data[i + 2], data[i + 3]];
let key = `rgba(${r}, ${g}, ${b}, ${a})`;
let value = clrs.get(key) || {r, g, b, a, count: 0};
clrs.has(key) ? ++value.count : clrs.set(rgba, {r, g, b, a, count});
}

对此连通图来说,只要把端点识别出来,连通图的大致也就出去了。

if ( !cap.isOpened() )

moveTo(), lineTo()

端点识别

答辩上,通过搜集的「色值表」能够直接把端点的坐标识别出来。作者设计的「端点识别算法」分以下二步:

  1. 按像素扫描底图直到遇见「端点颜色」的像素,进入第三步
  2. 从底图上革除端点并记录它的坐标,再次来到继续第二步

伪代码如下:

JavaScript

for(let i = 0, len = data.length; i < len; i += 4) { let [r, g, b,
a] = [data[i], data[i + 1], data[i + 2], data[i + 3]]; //
当前像素颜色属于端点 if(isBelongVertex(r, g, b, a)) { // 在 data
中清空端点 vertex = clearVertex(i); // 记录端点消息vertexes.push(vertext); } }

1
2
3
4
5
6
7
8
9
10
for(let i = 0, len = data.length; i < len; i += 4) {
let [r, g, b, a] = [data[i], data[i + 1], data[i + 2], data[i + 3]];
// 当前像素颜色属于端点
if(isBelongVertex(r, g, b, a)) {
// 在 data 中清空端点
vertex = clearVertex(i);
// 记录端点信息
vertexes.push(vertext);
}
}

But…
上边的算法只可以跑无损图。笔者在行使了一张手提式有线电话机截屏做测试的时候发现,收集到的「色值表」长度为
四千+ !这一向造成端点和线条的色值不恐怕直接得到。

经过分析,能够窥见「色值表」里多数色值都以周边的,也便是在原先的「采集色值表算法」的功底上添加二个类似颜色过滤即能够找出端点和线条的主色。伪代码实现如下:

JavaScript

let lineColor = vertexColor = {count: 0}; for(let clr of clrs) { //
与底色周围,跳过 if(isBelongBackground(clr)) continue; //
线段是数量第三多的水彩,端点是第一多的水彩 if(clr.count >
lineColor.count) { [vertexColor, lineColor] = [lineColor, clr] } }

1
2
3
4
5
6
7
8
9
let lineColor = vertexColor = {count: 0};
for(let clr of clrs) {
// 与底色相近,跳过
if(isBelongBackground(clr)) continue;
// 线段是数量第二多的颜色,端点是第三多的颜色
if(clr.count > lineColor.count) {
[vertexColor, lineColor] = [lineColor, clr]
}
}

取到端点的主色后,再跑二次「端点识别算法」后居识别出 20二个端点!那是为啥呢?

图片 9

上海体育场所是拓宽5倍后的底图局部,深藕红端点的方圆和当中充斥着大量噪点(杂色块)。事实上在「端点识别」进程中,由于噪点的存在,把原本的端点被分解成1柒个或数十一个小端点了,以下是跑过「端点识别算法」后的底图:

图片 10

经过上航海用体育场地,能够直观地搜查缉获二个结论:识别出来的小端点只在指标(大)端点上集中分布,并且大端点范围内的小端点叠加交错。

假定把叠加交错的小端点归并成叁个多方点,那么这么些大端点将尤其类似目的端点。小端点的会合伪代码如下:

JavaScript

for(let i = 0, len = vertexes.length; i < len – 1; ++i) { let vertexA
= vertexes[i]; if(vertextA === undefined) continue; // 注意那里 j = 0
而不是 j = i +一 for(let j = 0; j < len; ++j) { let vertexB =
vertexes[j]; if(vertextB === undefined) continue; //
点A与点B有增大,点B合并到点A并删除点B if(is克罗丝(vertexA, vertexB)) {
vertexA = merge(vertexA, vertexB); delete vertexA; } } }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
for(let i = 0, len = vertexes.length; i < len – 1; ++i) {
let vertexA = vertexes[i];
if(vertextA === undefined) continue;
// 注意这里 j = 0 而不是 j = i +1
for(let j = 0; j < len; ++j) {
let vertexB = vertexes[j];
if(vertextB === undefined) continue;
// 点A与点B有叠加,点B合并到点A并删除点B
if(isCross(vertexA, vertexB)) {
vertexA = merge(vertexA, vertexB);
delete vertexA;
}
}
}

加了小端点归并算法后,「端点识别」的准确度就上来了。经作者本地测试已经足以
百分之百 识别有损的过渡图了。

{

function drawRect(){
  // 描边矩形
  ctx.beginPath();
  ctx.moveTo(20, 20);
  ctx.lineTo(200, 20);
  ctx.lineTo(200, 200);
  ctx.lineTo(200, 200);
  ctx.lineTo(20, 200);
  ctx.lineTo(20, 20);
  ctx.stroke();

  //填充矩形
  ctx.beginPath();
  ctx.moveTo(220, 20);
  ctx.lineTo(400, 20);
  ctx.lineTo(400, 200);
  ctx.lineTo(220, 200);
  ctx.lineTo(220, 200);
  ctx.lineTo(220, 20);
  ctx.fill();
}

线条识别

作者分多个步骤完结「线段识别」:

  1. 加以的八个端点连接成线,并收集连线上N个「样本点」;
  2. 遍历样本点像素,如若像素色值不对等线段色值则象征那四个端点之间不设有线段

哪些收集「样式点」是个难点,太密集会潜移默化属性;太疏松精准度不可能确定保障。

在作者前面有四个挑选:N 是常量;N 是变量。
假设 N === 5。局地提取「样式点」如下:

图片 11

上图,会识别出三条线条:AB, BC 和 AC。而实际上,AC不可能成线,它只是因为
AB 和 BC 视觉上共壹线的结果。当然把 N 值向上提升能够缓解这一个题材,但是 N
作为常量的话,那一个常量的取量须求靠经验来判定,果然吐弃。

为了制止 AB 与 BC 同处向来线时 AC 被辨认成线段,其实很简短 ——
七个「样本点」的距离小于或等于端点直径
假设 N = S / (2 * R),S 代表两点的偏离,ENCORE代表端点半径。局部提取「样式点」如下:

图片 12

如上图,成功地绕过了 AC。「线段识别算法」的伪代码完成如下:

JavaScript

for(let i = 0, len = vertexes.length; i < len – 1; ++i) { let {x: x1,
y: y1} = vertexes[i]; for(let j = i + 1; j < len; ++j) { let {x:
x2, y: y2} = vertexes[j]; let S = Math.sqrt(Math.pow(x1 – x2, 2) +
Math.pow(y1 – y2, 2)); let N = S / (R * 2); let stepX = (x一 – x2) / N,
stepY = (y一 – y二) / n; while(–N) { // 样本点不是线段色
if(!isBelongLine(x1 + N * stepX, y1 + N * stepY)) break; } //
样本点都合格 —- 表示两点成线,保存 if(0 === N) lines.push({x一, y一, x2,
y2}) } }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
for(let i = 0, len = vertexes.length; i < len – 1; ++i) {
let {x: x1, y: y1} = vertexes[i];
for(let j = i + 1; j < len; ++j) {
let {x: x2, y: y2} = vertexes[j];
let S = Math.sqrt(Math.pow(x1 – x2, 2) + Math.pow(y1 – y2, 2));
let N = S / (R * 2);
let stepX = (x1 – x2) / N, stepY = (y1 – y2) / n;
while(–N) {
// 样本点不是线段色
if(!isBelongLine(x1 + N * stepX, y1 + N * stepY)) break;
}
// 样本点都合格 —- 表示两点成线,保存
if(0 === N) lines.push({x1, y1, x2, y2})
}
}

cout << “Cannot open the camera” << endl;

图片 13

属性优化

鉴于「自动识图」供给对图像的的像素点举行围观,那么质量确实是个需求关爱的难题。作者设计的「自动识图算法」,在甄别图像的长河中需求对图像的像素做四遍扫描:「采集色值表」
与 「采集端点」。在扫描次数上其实很难降低了,不过对于一张 750 * 1334
的底图来说,「自动识图算法」须要遍历三次长度为
750 * 1334 * 4 = 4,002,000
的数组,压力依旧会有些。小编是从压缩被扫描数组的尺码来升高品质的。

被扫描数组的尺寸怎么减弱?
笔者直接通过减少画布的尺寸来完结收缩被扫描数组尺寸的。伪代码如下:

JavaScript

// 要缩减的翻番 let resolution = 肆; let [width, height] = [img.width
/ resolution >> 0, img.height / resolution >> 0];
ctx.drawImage(img, 0, 0, width, height); let imageData =
ctx.getImageData(), data = imageData;

1
2
3
4
5
// 要压缩的倍数
let resolution = 4;
let [width, height] = [img.width / resolution >> 0, img.height / resolution >> 0];
ctx.drawImage(img, 0, 0, width, height);
let imageData = ctx.getImageData(), data = imageData;

把源图片缩短四倍后,获得的图形像素数组唯有原来的
4^2 = 16倍。那在质量上是十分的大的提拔。

return -1;

rect()绘制矩形
rect(x, y, w,
h):绘制叁个封闭的矩形路径
参数x, y 分别为矩形左上角的坐标,w, h
分别为矩形的宽高

应用「自动识图」的提出

固然小编在该地测试的时候能够把具备的「底图」识别出来,不过并不能确定保证别的开发者上传的图形是或不是被很好的辨识出来。小编提议,能够把「自动识图」做为3个单独的工具使用。

小编写了3个「自动识图」的独自工具页面:
能够在这几个页面生成对应的关卡配置。

}

function drawRect(){
  ctx.beginPath();
  ctx.rect(20, 20, 180, 180);
  ctx.stroke();
  
  ctx.beginPath();
  ctx.rect(220, 20, 180, 180);
  ctx.fill();
}

结语

上边是本文介绍的「一笔画」的线上
DEMO 的二维码:

图片 7

游戏的源码托管在:
里头游戏落成的本位代码在:
自行识图的代码在:

谢谢耐心阅读完本小说的读者。本文仅表示小编的个人观点,如有不妥之处请不吝赐教。

谢谢您的翻阅,本文由 坑坑洼洼实验室
版权全数。假诺转发,请注解出处:凹凸实验室()

1 赞 1 收藏
评论

图片 15

int iLowH = 100; int iHighH = 140; int iLowS = 90; int iHighS = 25伍; int
iLowV = 90; int iHighV = 255;//设置浅青的颜料参量。

图片 16

Mat imgOriginal; bool bSuccess = cap.read(imgOriginal); if (!bSuccess) {
cout << “Cannot read a frame from video stream” << endl;
break; } Mat imgHSV; vectorhsvSplit;

 

cvtColor(imgOriginal, imgHSV, COLOR_BGRAV4二HSV); 
//因为大家读取的是伍颜陆色图,直方图均衡化要求在HSV空间做

眼看绘图函数

split(imgHSV, hsvSplit);

strokeRect(x, y, w, h):
 绘制一个描边的矩形

equalizeHist(hsvSplit[2],hsvSplit[2]);

参数x, y 分别为矩形左上角的坐标,w, h
分别为矩形的宽高

merge(hsvSplit,imgHSV);

function drawRect(){
  ctx.strokeRect(20, 20, 180, 180);
}

Mat imgThresholded;

图片 17

inRange(imgHSV, Scalar(iLowH, iLowS, iLowV), Scalar(iHighH, iHighS,
iHighV), imgThresholded);  //开操作 (去除一些噪点)

fillRect(x, y, w, h):
绘制1个填写的矩形

Mat element = getStructuringElement(MORPH_RECT, Size(5, 5));

参数x, y 分别为矩形左上角的坐标,w, h
分别为矩形的宽高

morphologyEx(imgThresholded, imgThresholded, MORPH_OPEN, element);
//闭操作 (连接1些连通域)

function drawRect(){
    ctx.fillRect(20, 20, 180, 180);
}

morphologyEx(imgThresholded, imgThresholded, MORPH_CLOSE, element);

图片 18

//对灰度图实行滤波

clearRect(x, y, w, h):
清除钦赐区域内的富有像素
参数x, y 分别为矩形左上角的坐标,w, h
分别为矩形的宽高

发表评论

电子邮件地址不会被公开。 必填项已用*标注