怎么將yolov5中的PANet層改為BiFPN

蝸牛 互聯網技術資訊 2022-07-02 51 0

今天小編給大家分享一下怎么將yolov5中的PANet層改為BiFPN的相關知識點,內容詳細,邏輯清晰,相信大部分人都還太了解這方面的知識,所以分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后有所收獲,下面我們一起來了解一下吧。

一、Add

1.在common.py后加入如下代碼

#?結合BiFPN?設置可學習參數?學習不同分支的權重
#?兩個分支add操作
class?BiFPN_Add2(nn.Module):
????def?__init__(self,?c1,?c2):
????????super(BiFPN_Add2,?self).__init__()
????????#?設置可學習參數?nn.Parameter的作用是:將一個不可訓練的類型Tensor轉換成可以訓練的類型parameter
????????#?并且會向宿主模型注冊該參數?成為其一部分?即model.parameters()會包含這個parameter
????????#?從而在參數優化的時候可以自動一起優化
????????self.w?=?nn.Parameter(torch.ones(2,?dtype=torch.float32),?requires_grad=True)
????????self.epsilon?=?0.0001
????????self.conv?=?nn.Conv2d(c1,?c2,?kernel_size=1,?stride=1,?padding=0)
????????self.silu?=?nn.SiLU()
?
????def?forward(self,?x):
????????w?=?self.w
????????weight?=?w?/?(torch.sum(w,?dim=0)?+?self.epsilon)
????????return?self.conv(self.silu(weight[0]?*?x[0]?+?weight[1]?*?x[1]))
?
?
#?三個分支add操作
class?BiFPN_Add3(nn.Module):
????def?__init__(self,?c1,?c2):
????????super(BiFPN_Add3,?self).__init__()
????????self.w?=?nn.Parameter(torch.ones(3,?dtype=torch.float32),?requires_grad=True)
????????self.epsilon?=?0.0001
????????self.conv?=?nn.Conv2d(c1,?c2,?kernel_size=1,?stride=1,?padding=0)
????????self.silu?=?nn.SiLU()
?
????def?forward(self,?x):
????????w?=?self.w
????????weight?=?w?/?(torch.sum(w,?dim=0)?+?self.epsilon)??#?將權重進行歸一化
????????#?Fast?normalized?fusion
????????return?self.conv(self.silu(weight[0]?*?x[0]?+?weight[1]?*?x[1]?+?weight[2]?*?x[2]))

2.yolov5s.yaml進行修改

#?YOLOv5??????by?Ultralytics,?GPL-3.0?license
?
#?Parameters
nc:?80??#?number?of?classes
depth_multiple:?0.33??#?model?depth?multiple
width_multiple:?0.50??#?layer?channel?multiple
anchors:
??-?[10,13,?16,30,?33,23]??#?P3/8
??-?[30,61,?62,45,?59,119]??#?P4/16
??-?[116,90,?156,198,?373,326]??#?P5/32
?
#?YOLOv5?v6.0?backbone
backbone:
??#?[from,?number,?module,?args]
??[[-1,?1,?Conv,?[64,?6,?2,?2]],??#?0-P1/2
???[-1,?1,?Conv,?[128,?3,?2]],??#?1-P2/4
???[-1,?3,?C3,?[128]],
???[-1,?1,?Conv,?[256,?3,?2]],??#?3-P3/8
???[-1,?6,?C3,?[256]],
???[-1,?1,?Conv,?[512,?3,?2]],??#?5-P4/16
???[-1,?9,?C3,?[512]],
???[-1,?1,?Conv,?[1024,?3,?2]],??#?7-P5/32
???[-1,?3,?C3,?[1024]],
???[-1,?1,?SPPF,?[1024,?5]],??#?9
??]
?
#?YOLOv5?v6.0?BiFPN?head
head:
??[[-1,?1,?Conv,?[512,?1,?1]],
???[-1,?1,?nn.Upsample,?[None,?2,?'nearest']],
???[[-1,?6],?1,?BiFPN_Add2,?[256,?256]],??#?cat?backbone?P4
???[-1,?3,?C3,?[512,?False]],??#?13
?
???[-1,?1,?Conv,?[256,?1,?1]],
???[-1,?1,?nn.Upsample,?[None,?2,?'nearest']],
???[[-1,?4],?1,?BiFPN_Add2,?[128,?128]],??#?cat?backbone?P3
???[-1,?3,?C3,?[256,?False]],??#?17?(P3/8-small)
?
???[-1,?1,?Conv,?[512,?3,?2]],??#?為了BiFPN正確add,調整channel數
???[[-1,?13,?6],?1,?BiFPN_Add3,?[256,?256]],??#?cat?P4?<---?BiFPN?change?注意v5s通道數是默認參數的一半
???[-1,?3,?C3,?[512,?False]],??#?20?(P4/16-medium)
?
???[-1,?1,?Conv,?[512,?3,?2]],
???[[-1,?10],?1,?BiFPN_Add2,?[256,?256]],??#?cat?head?P5
???[-1,?3,?C3,?[1024,?False]],??#?23?(P5/32-large)
?
???[[17,?20,?23],?1,?Detect,?[nc,?anchors]],??#?Detect(P3,?P4,?P5)
??]

3.修改yolo.py,在parse_model函數中找到elif m is Concat:語句,在其后面加上BiFPN_Add相關語句:

怎么將yolov5中的PANet層改為BiFPN  yolov5 第1張

#?添加bifpn_add結構
elif?m?in?[BiFPN_Add2,?BiFPN_Add3]:
????c2?=?max([ch[x]?for?x?in?f])

4.修改train.py,向優化器中添加BiFPN的權重參數

BiFPN_Add2BiFPN_Add3函數中定義的w參數,加入g1

怎么將yolov5中的PANet層改為BiFPN  yolov5 第2張

?#?BiFPN_Concat
????????elif?isinstance(v,?BiFPN_Add2)?and?hasattr(v,?'w')?and?isinstance(v.w,?nn.Parameter):
????????????g1.append(v.w)
????????elif?isinstance(v,?BiFPN_Add3)?and?hasattr(v,?'w')?and?isinstance(v.w,?nn.Parameter):
????????????g1.append(v.w)

然后導入一下這兩個包

怎么將yolov5中的PANet層改為BiFPN  yolov5 第3張

二、Concat

1.在common.py后加入如下代碼

#?結合BiFPN?設置可學習參數?學習不同分支的權重
#?兩個分支concat操作
class?BiFPN_Concat2(nn.Module):
????def?__init__(self,?dimension=1):
????????super(BiFPN_Concat2,?self).__init__()
????????self.d?=?dimension
????????self.w?=?nn.Parameter(torch.ones(2,?dtype=torch.float32),?requires_grad=True)
????????self.epsilon?=?0.0001
?
????def?forward(self,?x):
????????w?=?self.w
????????weight?=?w?/?(torch.sum(w,?dim=0)?+?self.epsilon)??#?將權重進行歸一化
????????#?Fast?normalized?fusion
????????x?=?[weight[0]?*?x[0],?weight[1]?*?x[1]]
????????return?torch.cat(x,?self.d)
?
?
#?三個分支concat操作
class?BiFPN_Concat3(nn.Module):
????def?__init__(self,?dimension=1):
????????super(BiFPN_Concat3,?self).__init__()
????????self.d?=?dimension
????????#?設置可學習參數?nn.Parameter的作用是:將一個不可訓練的類型Tensor轉換成可以訓練的類型parameter
????????#?并且會向宿主模型注冊該參數?成為其一部分?即model.parameters()會包含這個parameter
????????#?從而在參數優化的時候可以自動一起優化
????????self.w?=?nn.Parameter(torch.ones(3,?dtype=torch.float32),?requires_grad=True)
????????self.epsilon?=?0.0001
?
????def?forward(self,?x):
????????w?=?self.w
????????weight?=?w?/?(torch.sum(w,?dim=0)?+?self.epsilon)??#?將權重進行歸一化
????????#?Fast?normalized?fusion
????????x?=?[weight[0]?*?x[0],?weight[1]?*?x[1],?weight[2]?*?x[2]]
????????return?torch.cat(x,?self.d)

2.yolov5s.yaml進行修改?

#?YOLOv5??????by?Ultralytics,?GPL-3.0?license
?
#?Parameters
nc:?80??#?number?of?classes
depth_multiple:?0.33??#?model?depth?multiple
width_multiple:?0.50??#?layer?channel?multiple
anchors:
??-?[10,13,?16,30,?33,23]??#?P3/8
??-?[30,61,?62,45,?59,119]??#?P4/16
??-?[116,90,?156,198,?373,326]??#?P5/32
?
#?YOLOv5?v6.0?backbone
backbone:
??#?[from,?number,?module,?args]
??[[-1,?1,?Conv,?[64,?6,?2,?2]],??#?0-P1/2
???[-1,?1,?Conv,?[128,?3,?2]],??#?1-P2/4
???[-1,?3,?C3,?[128]],
???[-1,?1,?Conv,?[256,?3,?2]],??#?3-P3/8
???[-1,?6,?C3,?[256]],
???[-1,?1,?Conv,?[512,?3,?2]],??#?5-P4/16
???[-1,?9,?C3,?[512]],
???[-1,?1,?Conv,?[1024,?3,?2]],??#?7-P5/32
???[-1,?3,?C3,?[1024]],
???[-1,?1,?SPPF,?[1024,?5]],??#?9
??]
?
#?YOLOv5?v6.0?BiFPN?head
head:
??[[-1,?1,?Conv,?[512,?1,?1]],
???[-1,?1,?nn.Upsample,?[None,?2,?'nearest']],
???[[-1,?6],?1,?BiFPN_Concat2,?[1]],??#?cat?backbone?P4?<---?BiFPN?change
???[-1,?3,?C3,?[512,?False]],??#?13
?
???[-1,?1,?Conv,?[256,?1,?1]],
???[-1,?1,?nn.Upsample,?[None,?2,?'nearest']],
???[[-1,?4],?1,?BiFPN_Concat2,?[1]],??#?cat?backbone?P3?<---?BiFPN?change
???[-1,?3,?C3,?[256,?False]],??#?17?(P3/8-small)
?
???[-1,?1,?Conv,?[256,?3,?2]],
???[[-1,?14,?6],?1,?BiFPN_Concat3,?[1]],??#?cat?P4?<---?BiFPN?change
???[-1,?3,?C3,?[512,?False]],??#?20?(P4/16-medium)
?
???[-1,?1,?Conv,?[512,?3,?2]],
???[[-1,?10],?1,?BiFPN_Concat2,?[1]],??#?cat?head?P5?<---?BiFPN?change
???[-1,?3,?C3,?[1024,?False]],??#?23?(P5/32-large)
?
???[[17,?20,?23],?1,?Detect,?[nc,?anchors]],??#?Detect(P3,?P4,?P5)
??]

3.修改yolo.py,在parse_model函數中找到elif m is Concat:語句,在其后面加上BiFPN_Concat相關語句:?

怎么將yolov5中的PANet層改為BiFPN  yolov5 第4張

#?添加bifpn_concat結構
elif?m?in?[Concat,?BiFPN_Concat2,?BiFPN_Concat3]:
????c2?=?sum(ch[x]?for?x?in?f)

4.修改train.py,向優化器中添加BiFPN的權重參數

添加復方式同上(Add)

#?BiFPN_Concat
????????elif?isinstance(v,?BiFPN_Concat2)?and?hasattr(v,?'w')?and?isinstance(v.w,?nn.Parameter):
????????????g1.append(v.w)
????????elif?isinstance(v,?BiFPN_Concat3)?and?hasattr(v,?'w')?and?isinstance(v.w,?nn.Parameter):
????????????g1.append(v.w)

以上就是“怎么將yolov5中的PANet層改為BiFPN”這篇文章的所有內容,感謝各位的閱讀!相信大家閱讀完這篇文章都有很大的收獲,小編每天都會為大家更新不同的知識,如果還想學習更多的知識,請關注蝸牛博客行業資訊頻道。

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:niceseo99@gmail.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

評論

日本韩欧美一级A片在线观看