Slovenščina
Kuna konvolutsiooni kernel teeb iga positsioonipiksli puhul sama operatsiooni, on 1x1 konvolutsioon samaväärne lineaarse kombinatsiooniga kõikidest sisendkarakteristikutest reageerimise graafikutest ja seejärel uue komplekti karakteristikutest reageerimise graafikutest väljastamisega. Eriti kui M & gt; N puhul on see samaväärne mõõtmete vähendamisega pärast koolitust, nii peab uus konvolutsioonikiht koonduma ainult vähem N kanaleid, mis säästab arvutusressursse. Lisaks, arvestades aktiveerimisfunktsiooni n-kanalil, muutub see perceptroniks. Jällegi muutub 1x1 konvolutsioon + aktiveerimisfunktsioon neurovõrguks, millel on kanalite vahel pikslite hulk sisendina vastusgraafiku määratud asukohas. See on võrgu kõige põhilisem võrk. Võrgus on võrk.Nini töös pakutakse välja veel üks laialdaselt kasutatav meetod, mida nimetatakse globaalseks keskmiseks koondamiseks, milleks on arvutada kogu reaktsioonigraafiku keskmine väärtus iga kanali kohta viimase konvolutsioonikihi reaktsioonigraafiku jaoks. Seejärel ühendatakse täieliku ühenduse kiht. Kuna väärtus pärast globaalset ühendamist on võrdne ühe piksliga, muutub lõplik täielik ühendus tegelikult kaalutud liitmise toiminguks. See struktuur on intuitiivsem kui otsene täielik ühendus ja on parem üldistamine.2. AlgstruktuurKui konvolutsiooni + aktiveerimist käsitletakse üldistatud lineaarse mudelina, siis sellest vaatenurgast, kuna üldistatud lineaarset mudelit saab kasutada funktsioonide ekstraheerimiseks, siis miks mitte kasutada paremat mudelit, et saaksime kasutada efektiivsemat struktuuri lihtsa konvolutsiooni + aktiveerimise operatsiooni asendamiseks. Käivitusmooduli struktuur on esitatud joonisel 2.Kuna kõigi konvolutsioonide triip on 1, ei ole see joonisel 2 spetsiaalselt näidatud. Lisaks kasutatakse 3x3 konvolutsiooni, 5x5 konvolutsiooni ja 3x3 koondamise puhul nullpäidet iseloomuliku reaktsiooni skeemi suuruse ühtlaseks hoidmiseks (3x3 täitmine on 1 ja 5x5 täitmine on 2). Lõpuks ühendatakse relu kiht kohe iga konvolutsioonikihi taha, mis ei ole joonisel 2 eraldi joonistatud, vaid koos konvolutsioonikihiga. Enne väljundit on kiht, mida nimetatakse concatenate, mis tõlgib "kõrvaldamine". See toiming tähendab, et "virnastatakse" neli erinevat tüüpi iseloomulike reageerimisskeemide rühma, mis on ükshaaval sama suurusega, et moodustada uus iseloomulike reageerimisskeemide rühm.Joonis 2 Käivitusmooduli skeemSeetõttu võib jooniselt 2 näha, et alguses tehakse peamiselt kaks asja: esimene asi on ekstraheerida sisendfunktsiooni reaktsiooni diagrammi omadused läbi 3x3 koondamise ja kolme konvolutsiooni tuuma erinevate skaaladega 1x1, 3x3 ja 5x5. Teine asi on vähendada arvutuste hulka ja lasta informatsioonil läbida vähem ühendusi, et saavutada hõredam omadused. 1x1 konvolutsiooni tuuma kasutatakse dimensiooni vähendamiseks. Joonisel 2 on iga noole kõrval olevate kanalite arv, mis võtavad näitena Google'i madalaima kihi kontseptsioonimooduli. Võib näha, et 3x3 konvolutsiooni puhul, kus arvutatakse veidi suuremat hulka, vähendatakse 192 kanali iseloomulikku reaktsiooni skeemi poolele algsest 96 kanalist, samas kui 5x5 konvolutsiooni puhul, kus arvutatakse suuremat hulka, vähendatakse see väiksemaks, vaid 16 kanalile.3. Kihtide korraldusõigusKõige levinumaks konvolutsioonilise närvivõrgu vormiks on panna mõned konvolutsioonikihid ja relu kihid kokku, millele järgneb ühenduskiht (konvergence kiht), ja seejärel korrata seda, kuni pilt on ruumis vähendatud piisavalt väikese suuruseni ja on tavaline üleminek täielikult ühendatud kihile kuskil. Lõpuks saab täielik ühenduskiht väljundi, näiteks klassifitseerimise ja skoorimise. Teisisõnu, kõige levinum konvolutsiooniline närvivõrgu struktuur on järgmine:Kus * viitab korduste arvule, pool? Viitab valikulisele koondamiskihile. Kus n & gt= 0, tavaliselt n & lt= 3,M>= 0,K>= 0, tavaliselt K & lt; 3。 Näiteks on järgmised mõned ühised võrgustruktuuri reeglid:INPUT -> FC, rakendada lineaarne klassifitseerija, kus n = M = k = 0.INPUT -> CONV -> RELU -> FC, ühekihiline konvolutsioonivõrk* INPUT -> [CONV -> RELU -> bassein]2 -> FC -> RELU -> FC, iga agregatsioonikihi vahel on konvolutsioonikiht, mis on lihtne mitmekihiline konvolutsioonivõrk.**INPUT -> [CONV -> RELU -> CONV -> RELU -> bassein]3 -> [FC -> RELU]2 -> FC, iga agregatsioonikihi ees on kaks konvolutsioonikihti. See idee kehtib suurematele ja sügavamatele võrkudele (näiteks on see idee sarnane VGg-ga), sest mitu konvolutsioonikihti võivad sisendandmetest enne hävitavate agregatsioonitoimingute tegemist õppida keerulisemaid funktsioone.Viimased edusammud: väljakutse on saanud traditsiooniline kihtide järjestamise meetod, mis tuleneb Google kontseptsioonistruktuurist ja Microsoft Research Asia jääknetostruktuurist. Kahel võrgul on keerulisemad omadused ja erinevad ühendusstruktuurid.4. Konvolutsioonikihi suuruse valikMitme väikese filtri konvolutsioonikihi kombinatsioon on parem kui üks suur filtri konvolutsioonikiht. Oletame, et kattute kolm 3x3 konvolutsioonikihti kihilt kihilt kihilt (kihtide vahel on mittelineaarne aktiveerimisfunktsioon). Selles paigutuses on igal esimese konvolutsioonikihi neuronil 3x3 vaateväli sisendandmete mahust. Teise konvolutsioonikihi neuronidel on 3x3 vaateväli esimesele konvolutsioonikihile, see tähendab 5x5 vaateväli sisendandmete mahule. Sarnaselt on kolmandal konvolutsioonikihil neuronidel 3x3 vaateväli teisel konvolutsioonikihil, see tähendab 7x7 vaateväli sisendandmete mahul. Kui kolme 3x3 konvolutsioonikihti ei kasutata ja kasutatakse eraldi konvolutsioonikihti 7x7 vastuvõtva väljaga, siis on kõigi neuronide vastuvõtvad väljad ka 7x7, kuid on mõningaid puudusi. Esiteks, mitme konvolutsioonikihi ja mittelineaarse aktiveerimiskihi alternatiivne struktuur võib ekstraheerida sügavamaid ja paremaid omadusi kui ühe konvolutsioonikihi struktuur. Teiseks, eeldades, et kõigil andmetel on C kanalid, sisaldab üksik 7x7 konvolutsioonikiht [Valem] parameetreid, samas kui kolme 3x3 konvolutsioonikihi kombinatsioon sisaldab ainult [Valem] parameetreid. Intuitiivselt on parem valida väikese filtriga konvolutsioonikihi kombinatsioon kui suure filtriga konvolutsioonikiht. Esimene võib väljendada sisendandmetes võimsamaid funktsioone ja kasutada vähem parameetreid. Ainus puudus on see, et keskmine konvolutsioonikiht võib hõivata rohkem mälu tagasi levimise ajal.5. Kihi suuruse seadmise seadusSisendkiht: see peaks olema jagatav 2 korda. Tavalised numbrid on 32 (nt cifar-10), 64, 96 (nt stl-10) või 224 (nt Imagenet konvolutsioonivõrk), 384 ja 512.Konvolutsioonikiht: kasutada tuleks väikeseid filtreid (nt 3x3 või 5x5 kõige rohkem), sammuga S = 1. Teine väga oluline punkt on sisendandmete null täitmine, nii et konvolutsioonikiht ei muuda sisendandmete suurust ruumilises mõõtmes. Näiteks kui f = 3, kasutage sisendi suuruse säilitamiseks p = 1. Kui f = 5, P = 2, tavaliselt iga f puhul, võib sisendi suurus säilitada, kui p = (F-1) / 2. Kui tuleb kasutada suuremat filtri suurust (nt 7x7), kasutatakse seda tavaliselt ainult esimesel konvolutsioonikihil, mis vastab originaalpildile.Ühenduskiht (koondkiht): vastutab sisendandmete ruumilise mõõtme vähendamise eest. Kõige tavalisem seade on läheneda 2x2 vastuvõtva välja maksimaalse väärtusega (st f = 2), sammuga 2 (s = 2). Pange tähele, et see toiming kaotab 75% aktiveerimisandmetest sisendandmetes (kuna laiust ja kõrgust vähendatakse 2 võrra). Teine vähem levinud seade on 3x3 vastuvõtvate väljade kasutamine 2. etapis. Maksimaalse agregatsiooni vastuvõtva välja suurus on harva rohkem kui 3, sest agregatsioonitoiming on liiga intensiivne, mis on lihtne põhjustada andmete kadu, mis tavaliselt viib algoritmi jõudluse halvenemiseni.Miks kasutada null polsterdust? Nullpolsterduse kasutamine ei saa mitte ainult hoida konvolutsioonikihi väljundiandmeid ja sisendandmeid ruumilises mõõtmes muutumatuna, vaid ka parandada algoritmi jõudlust. Kui konvolutsioonikihi väärtuse konvolutsioon ilma nullpäiteta väheneb andmemahu suurus veidi ja pildi serva teave kaob liiga kiiresti.Angleški jezik
Because the convolution kernel performs the same operation for each position pixel, a 1x1 convolution is equivalent to a linear combination of all input response graphs and then issuing a new set of characteristics response graphs. Especially when M & gt; For N, this is equivalent to reducing dimensions after training, so the new convolution layer has to concentrate only fewer N channels, saving computational resources. In addition, given the activation function on the n-channel, it becomes a perceptron. Again, the 1x1 convolution + activation function becomes a neural network with the number of pixels between channels as input at the specified location of the response graph. It's the most basic network on the network. There's a net. Nini's work proposes another widely used method called global mean aggregation, which is to calculate the mean value of the entire reaction graph for each channel for the reaction graph of the last convolution layer. Then the complete connection layer is connected. Since the value after global merge is equal to one pixel, the final full connection becomes an actual weighted addition operation. This structure is more intuitive than direct full connection and is better generalization. 2.Initial structureIf convolution + activation is considered a generalized linear model, then from this perspective, since generalized linear model can be used to extract functions, why not use a better model so that we can use a more effective structure to replace simple convolution + activation operation. The structure of the starter module is shown in Figure 2. Since the stripe of all convolutions is 1, it is not specifically shown in Figure 2. In addition, for 3x3 convolution, 5x5 convolution and 3x3 aggregation, a zero head is used to maintain the size of the characteristic reaction scheme uniformly (3x3 filling is 1 and 5x5 filling is 2). Finally, the relu layer is connected immediately behind each convolution layer that is not drawn separately in Figure 2, but with the convolution layer. Before the output there is a layer called concatenate that translates" disposal'. This action means that' stacked' four groups of different types of characteristic response schemes of the same size, one at a time, to form a new group of characteristic response schemes. that in the beginning, mainly two things are done: the first thing is to extract the properties of the input function reaction diagram through 3x3 aggregation and three convolution cores with different scales of 1x1, 3x3 and 5x5. Another thing is to reduce the number of calculations and let the information go through fewer connections to achieve thinner properties. The 1x1 convolution core is used to reduce dimension. Figure 2 shows the number of channels next to each arrow, taking Google's lowest layer concept module as an example. It can be seen that for a 3x3 convolution, where a slightly larger number is calculated, the characteristic reaction scheme of 192 channels is reduced to half of the original 96 channels, whereas for a 5x5 convolution, where a larger number is calculated, it is reduced to only 16 channels. The most common form of convolutional neural network is to put some convolutional layers and relu layers together, followed by a convergence layer, and then repeat it until the image in the room is reduced to a sufficiently small size and there is a normal transition to a fully connected layer somewhere. Finally, the complete connecting layer can be output, such as classification and scoring. In other words, the most common convolutional neural network structure is as follows:Where * refers to the number of repetitions, half? Refers to the optional redundancy layer. Where n & gt= 0, usually n & lt= 3,M>= 0,K>= 0, usually K & lt; 3. For example, the following are some common network structure rules:INPUT -> FC, apply a linear classifier where n = M = k = 0. INPUT -> CONV -> RELU -> FC, single layer convolution net* INPUT -> [CONV -> RELU -> Pool]2 -> HR -> RELU -> FC, there is a convolution layer between each aggregation layer, which is a simple multi-layer convolution network.** INPUT -> [CONV -> RELU -> CONV -> RELU -> pool]3 -> [HR -> RELU]2 -> FC, there are two convolution layers in front of each aggregation layer. This idea applies to larger and deeper networks (for example, this idea is similar to VGg), because several layers of convolution may learn more complex functions from input data before performing destructive aggregation operations. Latest developments: The challenge has become the traditional layer sequencing method, stemming from Google's concept structure and Microsoft Research Asia's net residual structure. The two networks have more complex characteristics and different interconnection structures. 4.The combination of several small filter convection layers is better than one large filter convection layer. Suppose you overlap three 3x3 convolution layers layer by layer (there is a nonlinear activation function between layers). In this layout, each neuron in the first convolution layer has a 3x3 field of view of the input volume. The neurons of the second convolution layer have a 3x3 field of view to the first convolution layer, that is, a 5x5 field of view to the volume of input data. Similarly, the third convolution layer has a 3x3 field of view on the second convolution layer, that is, a 7x7 field of view in the volume of input data. If three 3x3 convolution layers are not used and a separate convolution layer is used with a 7x7 receiving field, then all neurons will also have 7x7 receiving fields, but there are some drawbacks. First, the alternative structure of multiple convolution layers and nonlinear activation layers can extract deeper and better properties than the structure of one convolution layer. Second, assuming that all data have C channels, a single 7x7 convolution layer contains [Formula] parameters, while a combination of three 3x3 convolution layers contains only [Formula] parameters. Intuitively, it is better to choose a combination of a small filter convolution layer than a large filter convolution layer. The first can express more powerful functions in input data and use fewer parameters. The only drawback is that the average convolution layer can take up more memory as it spreads back. 5.Layer sizing lawInput layer: it should be divisible 2 times. The usual numbers are 32 (e.g. cifar-10), 64, 96 (e.g. stl-10), or 224 (e.g. Imagenet convolution network), 384, and 512. Convolution layer: small filters (e.g. 3x3 or 5x5 maximum) should be used with step S = 1. Another very important point is zero input filling, so the convolution layer does not change the size of input data in a spatial dimension. For example, if f = 3, use p = 1 to maintain the input size. If f = 5, P = 2, usually for every f, the input size can be maintained when p = (F-1) / 2. If a larger filter size (e.g. 7x7) is required, it is usually used only on the first convolution layer corresponding to the original image. Connecting layer (aggregate layer): responsible for reducing the spatial dimension of input data. The most common device is to approach 2x2 with the maximum value of the receiving field (i.e. f = 2) in step 2 (s = 2). Note that this action loses 75% of activation data in input data (as width and height are reduced by 2). Another less common device is the use of 3x3 receiving fields 2. phase. The size of the field receiving the maximum aggregation is rarely more than 3, because the aggregation operation is too intense, which is easy to cause data loss, which usually leads to a deterioration in the performance of the algorithm. Why use zero padding? Using zero padding can not only keep the output and input data of the convolution layer unchanged in the spatial dimension, but also improve the performance of the algorithm. If the convolution of the value of the convolution layer without a zero fill decreases the data volume slightly and the edge information of the image disappears too quickly.
Slovenščina Prevedi Angleški jezik | Slovenščina Prevedi Kitajsko | Slovenščina Prevedi Tradicionalni kitajski | Slovenščina Prevedi Japonski jezik | Slovenščina Prevedi Korejščina | Slovenščina Prevedi Francoski | Slovenščina Prevedi Španščina | Slovenščina Prevedi Tajski | Slovenščina Prevedi Arabščina | Slovenščina Prevedi Ruski jezik | Slovenščina Prevedi Portugalščina | Slovenščina Prevedi Nemščina | Slovenščina Prevedi Italijanščina | Slovenščina Prevedi Grščina | Slovenščina Prevedi Nizozemščina | Slovenščina Prevedi Poljščina | Slovenščina Prevedi Bolgarščina | Slovenščina Prevedi Estonščina | Slovenščina Prevedi Danščina | Slovenščina Prevedi Finščina | Slovenščina Prevedi Češčina | Slovenščina Prevedi Romunščina | Slovenščina Prevedi Švedsko | Slovenščina Prevedi Madžarščina | Slovenščina Prevedi Vietnamščina |