建站
咨詢
售后
建站咨詢
新聞中心
以往人們普遍認(rèn)為生成圖像是不可能完成的任務(wù)，因?yàn)榘凑諅鹘y(tǒng)的機(jī)器學(xué)習(xí)思路，我們根本沒有真值（ground truth）可以拿來檢驗(yàn)生成的圖像是否合格。
2014年，Goodfellow等人則提出生成 對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network, GAN） ，能夠讓我們完全依靠機(jī)器學(xué)習(xí)來生成極為逼真的圖片。GAN的橫空出世使得整個(gè)人工智能行業(yè)都為之震動(dòng)，計(jì)算機(jī)視覺和圖像生成領(lǐng)域發(fā)生了巨變。
本文將帶大家了解 GAN的工作原理 ，并介紹如何 通過PyTorch簡(jiǎn)單上手GAN 。
GAN的原理
按照傳統(tǒng)的方法，模型的預(yù)測(cè)結(jié)果可以直接與已有的真值進(jìn)行比較。然而，我們卻很難定義和衡量到底怎樣才算作是“正確的”生成圖像。
Goodfellow等人則提出了一個(gè)有趣的解決辦法：我們可以先訓(xùn)練好一個(gè)分類工具，來自動(dòng)區(qū)分生成圖像和真實(shí)圖像。這樣一來，我們就可以用這個(gè)分類工具來訓(xùn)練一個(gè)生成網(wǎng)絡(luò)，直到它能夠輸出完全以假亂真的圖像，連分類工具自己都沒有辦法評(píng)判真假。
按照這一思路，我們便有了GAN：也就是一個(gè) 生成器（generator） 和一個(gè) 判別器（discriminator） 。生成器負(fù)責(zé)根據(jù)給定的數(shù)據(jù)集生成圖像，判別器則負(fù)責(zé)區(qū)分圖像是真是假。GAN的運(yùn)作流程如上圖所示。
損失函數(shù)
在GAN的運(yùn)作流程中，我們可以發(fā)現(xiàn)一個(gè)明顯的矛盾：同時(shí)優(yōu)化生成器和判別器是很困難的?？梢韵胂?，這兩個(gè)模型有著完全相反的目標(biāo)：生成器想要盡可能偽造出真實(shí)的東西，而判別器則必須要識(shí)破生成器生成的圖像。
為了說明這一點(diǎn)，我們?cè)O(shè)D(x)為判別器的輸出，即x是真實(shí)圖像的概率，并設(shè)G(z)為生成器的輸出。判別器類似于一種二進(jìn)制的分類器，所以其目標(biāo)是使該函數(shù)的結(jié)果最大化：這一函數(shù)本質(zhì)上是非負(fù)的二元交叉熵?fù)p失函數(shù)。另一方面，生成器的目標(biāo)是最小化判別器做出正確判斷的機(jī)率，因此它的目標(biāo)是使上述函數(shù)的結(jié)果最小化。
因此，最終的損失函數(shù)將會(huì)是兩個(gè)分類器之間的極小極大博弈，表示如下：理論上來說，博弈的最終結(jié)果將是讓判別器判斷成功的概率收斂到0.5。然而在實(shí)踐中，極大極小博弈通常會(huì)導(dǎo)致網(wǎng)絡(luò)不收斂，因此仔細(xì)調(diào)整模型訓(xùn)練的參數(shù)非常重要。
在訓(xùn)練GAN時(shí)，我們尤其要注意學(xué)習(xí)率等超參數(shù)，學(xué)習(xí)率比較小時(shí)能讓GAN在輸入噪音較多的情況下也能有較為統(tǒng)一的輸出。
計(jì)算環(huán)境
庫(kù)
本文將指導(dǎo)大家通過PyTorch搭建整個(gè)程序（包括torchvision）。同時(shí)，我們將會(huì)使用Matplotlib來讓GAN的生成結(jié)果可視化。以下代碼能夠?qū)肷鲜鏊袔?kù)：
- """
- Import necessary libraries to create a generative adversarial network
- The code is mainly developed using the PyTorch library
- """
- import time
- import torch
- import torch.nn as nn
- import torch.optim as optim
- from torch.utils.data import DataLoader
- from torchvision import datasets
- from torchvision.transforms import transforms
- from model import discriminator, generator
- import numpy as np
- import matplotlib.pyplot as plt
數(shù)據(jù)集
數(shù)據(jù)集對(duì)于訓(xùn)練GAN來說非常重要，尤其考慮到我們?cè)贕AN中處理的通常是非結(jié)構(gòu)化數(shù)據(jù)（一般是圖片、視頻等)，任意一class都可以有數(shù)據(jù)的分布。這種數(shù)據(jù)分布恰恰是GAN生成輸出的基礎(chǔ)。
為了更好地演示GAN的搭建流程，本文將帶大家使用最簡(jiǎn)單的MNIST數(shù)據(jù)集，其中含有6萬張手寫阿拉伯?dāng)?shù)字的圖片。
像 MNIST 這樣高質(zhì)量的非結(jié)構(gòu)化數(shù)據(jù)集都可以在 格物鈦 的 公開數(shù)據(jù)集 網(wǎng)站上找到。事實(shí)上，格物鈦Open Datasets平臺(tái)涵蓋了很多優(yōu)質(zhì)的公開數(shù)據(jù)集，同時(shí)也可以實(shí)現(xiàn) 數(shù)據(jù)集托管及一站式搜索的功能 ，這對(duì)AI開發(fā)者來說，是相當(dāng)實(shí)用的社區(qū)平臺(tái)。
硬件需求
一般來說，雖然可以使用CPU來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，但最佳選擇其實(shí)是GPU，因?yàn)檫@樣可以大幅提升訓(xùn)練速度。我們可以用下面的代碼來測(cè)試自己的機(jī)器能否用GPU來訓(xùn)練：
- """
- Determine if any GPUs are available
- """
- device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
實(shí)現(xiàn)
網(wǎng)絡(luò)結(jié)構(gòu)
由于數(shù)字是非常簡(jiǎn)單的信息，我們可以將判別器和生成器這兩層結(jié)構(gòu)都組建成全連接層（fully connected layers）。
我們可以用以下代碼在PyTorch中搭建判別器和生成器：
- """
- Network Architectures
- The following are the discriminator and generator architectures
- """
- class discriminator(nn.Module):
- def __init__(self):
- super(discriminator, self).__init__()
- self.fc1 = nn.Linear(784, 512)
- self.fc2 = nn.Linear(512, 1)
- self.activation = nn.LeakyReLU(0.1)
- def forward(self, x):
- x = x.view(-1, 784)
- x = self.activation(self.fc1(x))
- x = self.fc2(x)
- return nn.Sigmoid()(x)
- class generator(nn.Module):
- def __init__(self):
- super(generator, self).__init__()
- self.fc1 = nn.Linear(128, 1024)
- self.fc2 = nn.Linear(1024, 2048)
- self.fc3 = nn.Linear(2048, 784)
- self.activation = nn.ReLU()
- def forward(self, x):
- x = self.activation(self.fc1(x))
- x = self.activation(self.fc2(x))
- x = self.fc3(x)
- x = x.view(-1, 1, 28, 28)
- return nn.Tanh()(x)
訓(xùn)練
在訓(xùn)練GAN的時(shí)候，我們需要一邊優(yōu)化判別器，一邊改進(jìn)生成器，因此每次迭代我們都需要同時(shí)優(yōu)化兩個(gè)互相矛盾的損失函數(shù)。
對(duì)于生成器，我們將輸入一些隨機(jī)噪音，讓生成器來根據(jù)噪音的微小改變輸出的圖像：
- """
- Network training procedure
- Every step both the loss for disciminator and generator is updated
- Discriminator aims to classify reals and fakes
- Generator aims to generate images as realistic as possible
- """
- for epoch in range(epochs):
- for idx, (imgs, _) in enumerate(train_loader):
- idx += 1
- # Training the discriminator
- # Real inputs are actual images of the MNIST dataset
- # Fake inputs are from the generator
- # Real inputs should be classified as 1 and fake as 0
- real_inputs = imgs.to(device)
- real_outputs = D(real_inputs)
- real_label = torch.ones(real_inputs.shape[0], 1).to(device)
- noise = (torch.rand(real_inputs.shape[0], 128) - 0.5) / 0.5
- noise = noise.to(device)
- fake_inputs = G(noise)
- fake_outputs = D(fake_inputs)
- fake_label = torch.zeros(fake_inputs.shape[0], 1).to(device)
- outputs = torch.cat((real_outputs, fake_outputs), 0)
- targets = torch.cat((real_label, fake_label), 0)
- D_loss = loss(outputs, targets)
- D_optimizer.zero_grad()
- D_loss.backward()
- D_optimizer.step()
- # Training the generator
- # For generator, goal is to make the discriminator believe everything is 1
- noise = (torch.rand(real_inputs.shape[0], 128)-0.5)/0.5
- noise = noise.to(device)
- fake_inputs = G(noise)
- fake_outputs = D(fake_inputs)
- fake_targets = torch.ones([fake_inputs.shape[0], 1]).to(device)
- G_loss = loss(fake_outputs, fake_targets)
- G_optimizer.zero_grad()
- G_loss.backward()
- G_optimizer.step()
- if idx % 100 == 0 or idx == len(train_loader):
- print('Epoch {} Iteration {}: discriminator_loss {:.3f} generator_loss {:.3f}'.format(epoch, idx, D_loss.item(), G_loss.item()))
- if (epoch+1) % 10 == 0:
- torch.save(G, 'Generator_epoch_{}.pth'.format(epoch))
- print('Model saved.')
結(jié)果
經(jīng)過100個(gè)訓(xùn)練時(shí)期之后，我們就可以對(duì)數(shù)據(jù)集進(jìn)行可視化處理，直接看到模型從隨機(jī)噪音生成的數(shù)字：
我們可以看到，生成的結(jié)果和真實(shí)的數(shù)據(jù)非常相像。考慮到我們?cè)谶@里只是搭建了一個(gè)非常簡(jiǎn)單的模型，實(shí)際的應(yīng)用效果會(huì)有非常大的上升空間。
不僅是有樣學(xué)樣
GAN和以往機(jī)器視覺專家提出的想法都不一樣，而利用GAN進(jìn)行的具體場(chǎng)景應(yīng)用更是讓許多人贊嘆深度網(wǎng)絡(luò)的無限潛力。下面我們來看一下兩個(gè)最為出名的GAN延申應(yīng)用。
CycleGAN
朱俊彥等人2017年發(fā)表的CycleGAN能夠在沒有配對(duì)圖片的情況下將一張圖片從X域直接轉(zhuǎn)換到Y(jié)域，比如把馬變成斑馬、將熱夏變成隆冬、把莫奈的畫變成梵高的畫等等。這些看似天方夜譚的轉(zhuǎn)換CycleGAN都能輕松做到，并且結(jié)果非常準(zhǔn)確。
GauGAN
英偉達(dá)則通過GAN讓人們能夠只需要寥寥數(shù)筆勾勒出自己的想法，便能得到一張極為逼真的真實(shí)場(chǎng)景圖片。雖然這種應(yīng)用需要的計(jì)算成本極為高昂，但是GauGAN憑借它的轉(zhuǎn)換能力探索出了前所未有的研究和應(yīng)用領(lǐng)域。
結(jié)語
相信看到這里，你已經(jīng)知道了GAN的大致工作原理，并且能夠自己動(dòng)手簡(jiǎn)單搭建一個(gè)GAN了。
網(wǎng)站欄目：簡(jiǎn)單使用PyTorch搭建GAN模型
文章轉(zhuǎn)載：http://www.fisionsoft.com.cn/article/cdddcss.html
