使用Darknet训练您自己的数据集(YOLOV 3)-阿南达文事网

使用Darknet训练您自己的数据集(YOLOV 3)

分享使用Darknet训练自己数据集的经验。并出色完成了POC的任务 aotflow-

你们可以按照下面的步骤来制作你们的AI识别模型。

环境：

系统：Ubunut 18 & CUDA 10.2

硬件：

Intel(R)core(TM)i5-3570 CPU@3.40GHz

NVIDIA GeForce GTX 1060 6GB

[LOL，我可以借这个硬件给你训练你自己的数据集，免费！LOL]

1.下载Darknet：

git clone   
cd darknet

2.修改darknet文件夹上的Makefile：

在Systemenv上安装CUDA：

vim ~/.bashrc

在最后面插入内容:

export CUDA_HOME=/usr/local/cuda
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

在Darknet文件夹中，修改Makefile：

vim Makefile

GPU=1 #如果是用GPU是 1,CPU 是 0
CUDNN=1  #如果是用CUDNN是1，否则是0

3.编译Darknet的源代码：

make

注意：如果OpenCV的错误或GPU问题，尝试使用CPU返回#2修改Makefile文件。

4.下载权重文件：

wget .weights

使用权重文件，进行测试一下识别的模型：

./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights data/dog.jpg

如果打印出成功的识别信息，说明安装没有问题。

5.用LabelImg制作VOC数据集

使用Labellmg工具标记对象。把参数保存在工具上进行保存，同时，该工具将生成XML文件和图像。

6.建立VOC数据集

在VOC文件夹上创建文件夹：

Annotations/
JPEGImages/
ImageSets/Main

使用下在面的代码进行生成数据：

g.py:

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import joinsets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]classes = ["cocola", "sprite"]def convert(size, box):dw = 1./size[0]dh = 1./size[1]x = (box[0] + box[1])/2.0y = (box[2] + box[3])/2.0w = box[1] - box[0]h = box[3] - box[2]x = x*dww = w*dwy = y*dhh = h*dhreturn (x,y,w,h)def convert_annotation(year, image_id):in_file = open('Annotations/%s.xml'%(image_id))out_file = open('labels/%s.txt'%(image_id), 'w')tree=ET.parse(in_file)root = tree.getroot()size = root.find('size')w = int(size.find('width').text)h = int(size.find('height').text)for obj in root.iter('object'):difficult = obj.find('difficult').textcls = obj.find('name').textif cls not in classes or int(difficult) == 1:continuecls_id = classes.index(cls)xmlbox = obj.find('bndbox')b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))bb = convert((w,h), b)out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')wd = getcwd()for year, image_set in sets:if not os.path.exists('labels/'):os.makedirs('labels/')image_ids = open('ImageSets/Main/%s.txt'%(image_set)).read().strip().split()list_file = open('%s_%s.txt'%(year, image_set), 'w')for image_id in image_ids:list_file.write('JPEGImages/%s.jpg\n'%(image_id))convert_annotation(year, image_id)list_file.close()

g1.py

import os
import randomtrainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'Annotations'
txtsavepath = 'ImageSets\Main'
total_xml = os.listdir(xmlfilepath)num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('ImageSets/Main/test.txt', 'w')
ftrain = open('ImageSets/Main/train.txt', 'w')
fval = open('ImageSets/Main/val.txt', 'w')for i in list:name = total_xml[i][:-4] + '\n'if i in trainval:ftrainval.write(name)if i in train:ftest.write(name)else:fval.write(name)else:ftrain.write(name)ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

复制文件到darknet目录下，在执行：

cat 2007_train.txt 2007_val.txt > train.txt

将会产生：train.txt 文件

7.修改vo.data文件：

vim cfg/voc.data

classes= 2 # modify your classes data.
train  = train.txt
valid  = 2007_test.txt
names = data/voc.names
backup = backup

8.修改voc.names

vim data/voc.names

cocola
sprite

9.修改yolov3-vo.cfg文件：

# Testing
# batch=1  # this part is for test network
# subdivisions=1
# Trainingbatch=32  #this part is for trainsubdivisions=16

[convolutional]
size=1
stride=1
pad=1
filters=21    # 3*(class+5),i will train 2 classes. so is 21
activation=linear[yolo]
mask = 6,7,8
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=2    #edit classes for 2 
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1

10.下载darkent权重文件：

wget .conv.74

11.开始训练你自己数据集的慢长之旅。

修改你的训练次数：

vim cfg/yolov3-voc.cfg

打开文件并修改如下：

[net]# Testing#batch=1#subdivisions=1# Training
batch=64
subdivisions=16
width=416
height=416
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1learning_rate=0.001
burn_in=1000
max_batches = 2000   # setup max iteration, setup 20000 for this PCc
policy=steps
steps=40000,45000
scales=.1,.1

12.开始正式训练：

./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.7

如果因为你的内存太小被kill了，查看一下backup目录面的文件，在续着来训。：

./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_10000.weights

如果出现下面的这些模型在你的目录中，只能等了。。

yolov3-voc.backup         yolov3-voc_300.weights  
yolov3-voc_800.weights
yolov3-voc_100.weights    yolov3-voc_400.weights  
yolov3-voc_900.weights
yolov3-voc_10000.weights  yolov3-voc_500.weights  
yolov3-voc_final.weights
yolov3-voc_200.weights    yolov3-voc_600.weights
yolov3-voc_20000.weights  yolov3-voc_700.weights

这个训练看电脑的配置和显卡，如果是用CPU来训练要很久。我用我的显卡进行训练，大约使用了1天（24~27小时）来完成这个训练。

如果你们想测试训练，可以来远程借我的电脑来训练一下。免费的，哈哈。

我的电子邮件是sunny.guan(at)aotflow

13.测试您的模式和测试数据集。

修改它：

vim cfg/yolov3-voc.cfg

修改下面内容：

[net]
# Testing
batch=1      
#uncomment this 2 line
subdivisions=1
# Training     
# comment this 2 line
#batch=64
#subdivisions=16

运行测试：

./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_final.weights /tmp/3-4.png

结果是：

Loading weights from backup/yolov3-voc_final.weights...Done!
/tmp/3-4.png: Predicted in 0.045171 seconds.
cocola: 100%
cocola: 95%
free(): invalid next size (fast)
Aborted (core dumped)

如果你去这里。

恭喜你。您已经将自己的数据集训练成用于对象检测的AI模式。

如果你们训练你们的数据集很慢。你可以和我联系。我分享我的服务器给你训练你自己的数据。在我的地址下面查一查。

当你做这个过程。有任何问题。请咨询我。

我的电子邮件是：sunny.guan(At)aotflow，请替换(At)到@

在下面添加公司广告：-LOL.

奥托飞是IT咨询服务提供商，也是新技术应用的倡导者。

咨询服务：项目咨询及产品设计。

外包服务：Java/GO/Python/PHP/C/C++/Android/IOS

硬件和嵌入式开发：ARM/STM 32/PCB布局/C++/GO

人工智能开发：目标检测/人脸识别/实时跟踪等。

网站：

业务联系：info@aotflow