GAN相关中文优秀学习资料

gan-journey

GAN相关中文优秀学习资料


最近一直在做和GAN相关的工作,看了很多博客和文章,零零散散,每次要看就要再次查找,或是开一大排窗口,很不方便。

看到ywwhack/react-journey这个仓库有了灵感,想要尝试将看过的资料整合在一起,方便自己同时也是方便后面做这方面工作的同学查阅。

同时,欢迎大家补充,分享优质学习资料。
开源文档地址:https://github.com/nutllwhy/gan-journey


GAN原理

GAN于2014年由Ian Goodfellow提出,
论文:Generative Adversarial Nets

一篇可读性&趣味性并重的GAN简介,想简单了解一下GAN的可以直接看这里:GAN系列学习(1)——前生今世

GAN数学公式细解:生成对抗网络GAN的数学公式的前因后果


GAN变种

在经历了2014和2015两年的酝酿,在2015年下半年和2016年上半年,GAN领域相关研究出现了爆炸性的增长。

一篇承上启下的GAN主要变种简介:DCGAN、WGAN、WGAN-GP、LSGAN、BEGAN原理总结及对比

DCGAN

这是我最早接触的一个GAN变种

DCGAN是继GAN之后比较好的改进,其主要的改进主要是在网络结构上

论文:Unsupervised representation learning with deep convolutional generative adversarial networks

github:DCGAN-tensorflow

在线Demo:NEURAL FACE

DCGAN快速上手Demo,亲测可行——二次元萌妹头像生成:GAN学习指南:从原理入门到制作生成Demo

WGAN

与DCGAN不同,WGAN主要从损失函数的角度对GAN做了改进

论文:Wasserstein GAN

github:tensorflow-generative-model-collections

WGAN-GP

WGAN-GP是WGAN之后的改进版,主要改进了连续性限制的条件,作者发现将权重剪切到一定范围之后,比如剪切到[-0.01,+0.01]后,发生了这样的情况,如下左图所示。

论文:Improved Training of Wasserstein GANs

github:wgan-gp


GAN应用

CV

图像降噪:

最早搜到的一个GAN降噪实验:ImageDenoisingGAN

DCGAN降噪:DCGANs for image super-resolution, denoising and debluring

去雨(和去噪同理):Image De-raining Using a Conditional Generative Adversarial Network

NLP

GAN在NLP方向摸索:
记录一次与大神们的关于GAN应用于NLP的讨论


LeakGAN:
如何让对抗网络GAN生成更高质量的文本?LeakGAN现身说法:“对抗中,你可能需要一个间谍!”

对应论文:Long Text Generation via Adversarial Training with Leaked Information


目前在中国诗词数据集上取得最好结果的论文:
自然语言对抗生成:Adversarial Generation of Natural Language

中文报道:【GAN X NLP】自然语言对抗生成:加拿大研究员使用GAN生成中国古诗词

其向判别器D提供来自生成器的概率分布序列和对应于真实数据分布的1-热矢量序列,强制判别器D对连续值进行运算


模型优化

各类主流激活函数简介:ReLU、LReLU、PReLU、CReLU、ELU、SELU

Andrew Ng新作,教你如何构建机器学习项目(翻译优化中):「Machine Learning Yearning」中文版

详解 1×1 Convolution(是英文材料,但是很好懂,配图很直观):One by One [ 1 x 1 ] Convolution – counter-intuitively useful


持续更新…

继续阅读GAN相关中文优秀学习资料

教你免费获取Coursera上优质学习资源&证书,轻松入门机器学习

Coursera上有许多优秀的学习资源,想必大家早有耳闻。
但是注册了账号之后会发现,想在Coursera上学习存在2个问题:

  • 视频课虽可以随便看,但是想要完整的学习体验(随堂测验、编程作业、论坛讨论、获取证书),需要付费,且动辄上百美金,国内普通家境且没有固定收入的学生吃不消。
  • 视频是全英文讲解,部分视频虽有中文字幕,但偶尔也会出现中文字幕缺失,断档的情况。
  • C站服务器在国外,站点偶尔抽风,看不了课程。

我目前是跟着吴恩达教授的Machine Learning课程进行学习,已经学到了第四周,有不少经验和想法,特此汇成一篇文章供大家参考,希望对大家有所帮助。
继续阅读教你免费获取Coursera上优质学习资源&证书,轻松入门机器学习

Andrew Ng机器学习week 2(Linear Regression)编程作业详解

先介绍一下,编程作业分为两部分,必做和选做。

必做部分通过ex1.m来作为主函数执行,选做部分通过ex1_multi.m作为主函数执行。

必做的部分包括提交练习,单参数的梯度优化实践,全部做完 本周就算通过了,系统会给你的程序打分。选做部分是多参数的梯度优化实践,正规方程实践,做完了不会打分,只会显示“Nice work!”

继续阅读Andrew Ng机器学习week 2(Linear Regression)编程作业详解

台湾大学机器学习——课程笔记(5~8)

从这里开始有所深入,会涉及到很多数学公式的推倒,有一定的难度,也难免费心,有的部分需要反复多看几次。

————————————————————————————————

第五章:

5-1训练和测试的过程到底有什么不一样

Learning在某些情况下是可行的
为什么机器可以学到东西?
Learning流程图:
如果hypothesis不是很大,Ein和Eout就可以很相近
选一个Ein最低的,如果很接近0的话,那么Eout也可以很接近0,这样我们就达到了Learnig的效果
必须保证:Ein要很接近0
两个核心问题:要保证,拿一个新的资料去验证我们已经学习过的模型,可以保持一个比较吻合的状态
这里我们把learning拆成了两个问题:
1、Ein和Eout到底会不会接近
2、有连接的话,如何让Ein变得越小越好

继续阅读台湾大学机器学习——课程笔记(5~8)

台湾大学机器学习——课程笔记(1~4)

为了监督自己专心理解视频课,会在看视频课的同时使用为知笔记。

台大的机器学习课程可能是目前国内用户最好理解的机器学习课程(别的推荐课程基本上都是英文讲述),林教授非常可爱,台湾腔特别萌(大概是我一直看下去的动力)

基础理论课程一共16章,所以我分四次发布笔记,算是自己的一个记录,也算是对其他观看这套课程的同学一点微小的辅助。

PS:不太完整的地方,大概是我犯困或者分心了

——————————————————————————————————

第一章:

1-1

红色代表危险,蓝色代表不危险(什么时候使用机器学习是危险的or不危险的)

机器学习:理论与实用相结合
1-2 我们什么时候要用机器学习
问:什么是学习? ——看书、上课、模仿    共通性:从观察出发
观察到的东西:资料
将资料拿来,应用,变成自己的东西的过程
机器学习就是在模仿这个过程
技巧是什么?增进某一种表现的增进
从资料出发,通过机器学习,最终得到某一种表现的增进
为什么要使用机器学习?
 
机器学习的三个关键:
1、有某一种效能/表现可以增进,有潜藏的模式可以学 ->目标
2、不知道怎么把规则写下来
3、要有资料

继续阅读台湾大学机器学习——课程笔记(1~4)