PyTorch 1.7發(fā)布，支持CUDA 11、Windows分布式訓(xùn)練

作者：機(jī)器之心 2020-10-30 09:04:44

開發(fā)

開發(fā)工具

前端

分布式 昨日，PyTorch 團(tuán)隊(duì)發(fā)布 PyTorch 1.7 版本。該版本增添了很多新特性，如支持 CUDA 11、Windows 分布式訓(xùn)練、增加了支持快速傅里葉變換(FFT)的新型 API 等。

創(chuàng)新互聯(lián)長期為超過千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為臥龍企業(yè)提供專業(yè)的網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站，臥龍網(wǎng)站改版等技術(shù)服務(wù)。擁有十余年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

昨日，PyTorch 團(tuán)隊(duì)發(fā)布 PyTorch 1.7 版本。該版本增添了很多新特性，如支持 CUDA 11、Windows 分布式訓(xùn)練、增加了支持快速傅里葉變換(FFT)的新型 API 等。

PyTorch 1.7 版本包含很多新的 API，如支持 NumPy 兼容的 FFT 操作、性能分析工具，以及對(duì)基于分布式數(shù)據(jù)并行(DDP)和基于遠(yuǎn)程過程調(diào)用(RPC)的分布式訓(xùn)練的重要更新。

此外，一些特性也更新為穩(wěn)定版，包括自定義 C++ 類、內(nèi)存分析器、通過自定義類張量對(duì)象進(jìn)行擴(kuò)展、RPC 中的用戶異步函數(shù)，以及 torch.distributed 中的許多其他特性(如 Per-RPC 超時(shí)、DDP dynamic bucketing、RRef helper)。

本次更新的亮點(diǎn)包括：

(1) CUDA 11 得到 PyTorch 官方支持;

(2) 對(duì) autograd 分析器，更新和添加了 RPC、TorchScript 和堆棧跟蹤(Stack trace)的分析和性能;

(3) (測(cè)試版)通過 torch.fft 支持 NumPy 兼容的 FFT 操作;

(4) 原型版)支持英偉達(dá) A100 GPU 和原生 TF32 格式;

(5) 原型版)支持 Windows 系統(tǒng)上的分布式訓(xùn)練。

(6) torchvision

• (穩(wěn)定版)transforms 支持張量輸入、批處理計(jì)算、GPU 和 TorchScript
• (穩(wěn)定版)JPEG 和 PNG 格式的原生圖像 I/O
• (測(cè)試版)新型視頻讀取器 API

(7) torchaudio

• (穩(wěn)定版)增加了對(duì)語音錄制(wav2letter)、文本轉(zhuǎn)語音(WaveRNN)和源分離(ConvTasNet)的支持

(注：從 PyTorch 1.6 版本開始，PyTorch 特性分為 Stable(穩(wěn)定版)、Beta(測(cè)試版)和 Prototype(原型版)。

新特性

PyTorch 1.7 相比之前版本，增加了很多新特性，包括 Python API、C++ API、Autograd、CUDA、量化等多個(gè)方面。

例如 Python API 增添了多個(gè)新的 namespace、operator 以及 API 擴(kuò)展，CUDA 增加了 TF32 支持等，量化方面增加了新的量化操作、支持 FP16 量化等。

PyTorch 1.7 部分新特性，詳情參見 https://github.com/pytorch/pytorch/releases/tag/v1.7.0。

開發(fā)者對(duì) PyTorch 1.7 的態(tài)度

有開發(fā)者對(duì) PyTorch 1.7「支持 Windows 上的分布式訓(xùn)練」這一新功能表示贊賞：

以及樂見于「PyTorch 對(duì) CUDA 11 的支持」：

依然有人趁機(jī)表白 PyTorch，并列出偏好 PyTorch 的原因，如報(bào)錯(cuò)易讀、代碼直觀、易于實(shí)驗(yàn)。

當(dāng)然，版本更迭的路似乎永無止境。有開發(fā)者提出了自己的需求，例如 fp32 卷積、TensorFlow 有而 PyTorch 沒有的 Semantic Versioning：

此時(shí)距離 PyTorch 1.6 版本發(fā)布僅三個(gè)月，不知道 PyTorch 的下一個(gè)版本又將帶給我們哪些驚喜。

參考鏈接：

• https://pytorch.org/blog/pytorch-1.7-released/
• https://github.com/pytorch/pytorch/releases/tag/v1.7.0
• https://www.reddit.com/r/MachineLearning/comments/jj4sr7/d_pytorch_17_released_w_cuda_11_new_apis_for_ffts/

【本文是51CTO專欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】

文章名稱：PyTorch1.7發(fā)布，支持CUDA11、Windows分布式訓(xùn)練
文章位置：http://www.fisionsoft.com.cn/article/dhdeici.html