(去年11月,谷歌对AutoML进行了升级。此前AutoML能设计出与人类设计的神经网络同等水平的小型神经网络,但始终被限制在CIFAR-10和Penn Treebank等小型数据集上。
为了让这种方法应用到ImageNet中,研究人员对AutoML做了两点调整,方便更容易地处理大型数据集。
相关论文:
Neural Optimizer Search with Reinforcement Learning
https://arxiv.org/abs/1709.07417
Searching for Activation Functions
https://arxiv.org/abs/1709.07417)
语音理解和生成 另一个主题是开发新技术,提高我们的计算系统在理解和生成人类语音方面的能力,包括我们与谷歌语音团队合作为一个端到端语音识别方法开发了一系列改进措施,把谷歌语音识别系统的相对词错误率降低了16%。这项工作有一个好处,那就是需要融合很多独立的研究线索。
(相关论文:
State-of-the-art Speech Recognition With Sequence-to-Sequence Models
https://arxiv.org/abs/1712.01769
Minimum Word Error Rate Training for Attention-based Sequence-to-Sequence Models
https://arxiv.org/abs/1712.01818
Multi-Dialect Speech Recognition With A Single Sequence-To-Sequence Model
https://arxiv.org/abs/1712.01541
Multilingual Speech Recognition With A Single End-To-End Model
https://arxiv.org/abs/1711.01694
Improving the Performance of Online Neural Transducer Modele
https://arxiv.org/abs/1712.01807
Monotonic Chunkwise Attention
https://arxiv.org/abs/1712.05382
Learning Hard Alignments with Variational Inference
https://arxiv.org/abs/1705.05524
No Need for a Lexicon? Evaluating the Value of the Pronunciation Lexica in End-to-End Models
https://arxiv.org/abs/1712.01864
An analysis of incorporating an external language model into a sequence-to-sequence model
https://arxiv.org/abs/1712.01996)
☆ 相关报道
Hinton的Capsule论文终于公开
相关论文:
Dynamic Routing between Capsules
https://research.google.com/pubs/pub46351.html
sparsely-gated mixtures of experts(这能实现仍然具有计算效率的大型模型)。
在这个研究中,新的神经网络层只需要很小的计算能力提升,便能高效地提升模型的能力。
相关论文:
Outrageously Large Neural Networks:The Sparsely-Gated Mixture-of-Experts Layer
https://arxiv.org/abs/1701.06538
hypernetworks(使用一个模型的权重来生成另一个模型的权重)。
相关论文:
HYPERNETWORKS
https://openreview.net/pdf?id=rkpACe1lx
新型多模模型(使用相同模型执行音频、视觉和文本输入等多任务学习)。
☆ 相关报道
一个神经网络学习一切!
相关论文:
One Model To Learn Them All
https://arxiv.org/abs/1706.05137
基于注意力的机制(代替卷积和循环模型)。
相关论文:
Attention is All You Need
https://arxiv.org/pdf/1706.03762.pdf
符号和非符号学习优化方法。
相关论文:
Neural Optimizer Search with Reinforcement Learning
http://proceedings.mlr.press/v70/bello17a/bello17a.pdf
Learned Optimizers that Scale and Generalize
https://arxiv.org/abs/1703.04813
一项通过离散变量反向传播的技术。
相关论文:
Categorical Reparameterization with Gumbel-Softmax
https://arxiv.org/abs/1611.01144
以及对强化学习算法的一些改进。
相关论文:
Bridging the Gap Between Value and Policy Based Reinforcement Learning
https://arxiv.org/pdf/1702.08892.pdf
计算机系统的机器学习 在计算机系统中用机器学习取代传统的启发式应用也是我们非常感兴趣的方向。我们已经展示了如何使用强化学习在把计算机图像映射到一组计算设备上的时候制定位置决策,效果比人类专家还好。
相关论文:
Bridging the Gap Between Value and Policy Based Reinforcement Learning
https://arxiv.org/pdf/1702.08892.pdf
我们与谷歌研究院的其他同事共同在“The Case for Learned Index Structures”中展示,神经网络不仅比传统的数据结构(B-树、哈希表和Bloom过滤器)更快,而且也小得多。我们认为,我们只是掌握了在核心计算系统中使用机器学习的皮毛。
☆ 相关报道
如何构建未来的机器学习芯片
相关论文:
The Case for Learned Index Structures
https://arxiv.org/abs/1712.01208
隐私和安全 机器学习及其与安全与隐私的交互仍是我们研究的重点。在ICLR 2017的一篇得奖论文中,我们展示了机器学习技术可以用于提供不同的隐私保障方式。
相关论文:
Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data
https://arxiv.org/abs/1610.05755
我们还继续调查了对抗样例的特性,包括在现实世界中展示对抗样例,以及如何在训练过程中规模化使用对抗样例,使模型更适用于对抗样例。
相关论文:
Adversarial examples in the physical world
https://research.google.com/pubs/pub45818.html
Adversarial Machine Learning at Scale
https://arxiv.org/abs/1611.01236
理解机器学习系统 虽然通过机器学习技术得到了漂亮的结果,但更重要的是理解机器学习在什么时候能发挥作用,什么时候无效。
在另一篇ICLR 2017最佳论文中,我们展示了,当前机器学习理论框架无法解释深度学习方法取得的出色结果。
相关论文:
Understanding deep learning requires rethinking generalization
https://openreview.net/forum?id=Sy8gdB9xx¬eId=Sy8gdB9xx
我们还展示了,通过优化方法发现的最小值“平坦度”并不像最初想象中与良好的泛化方法密切相关。为了更好地理解深度框架中训练如何推进,我们发布了一系列分析随机矩阵的论文,因为这是大多数训练方法的出发点。
相关论文:
Nonlinear random matrix theory for deep learning
https://research.google.com/pubs/pub46342.html
理解深度学习的另一个重要途径是更好地衡量性能。我们在最近一项研究中比较了多种GAN方法,展示了良好的实验设计和统计严格性的重要性。许多GAN方法很热门,被用于增强生成模型,但实际上并没有带来性能优化。我们希望这项研究能给其他研究员带来范例,帮助他们展开健壮性更好的实验性研究。
我们正在开发能对机器学习系统进行更好表达的方法。去年3月,通过与OpenAI、DeepMind和YC Research等公司和机构合作,我们推出了新的开放科学在线杂志Distill,致力于支持人类对机器学习的理解。这份在线杂志的文章提供了清晰的机器学习概念,以及出色的交互式可视化工具。在推出第一年中,Distill发布了多篇有启发性的文章,旨在帮助人们了解机器学习的各种内部原理。我们期待2018年能带来更多内容。
https://research.googleblog.com/2018/01/the-google-brain-team-looking-back-on.html
这是Jeff Dean总结Google Brain 2017成就的上篇,他还会再写个下篇,谈一谈他们对机器学习应用于医疗、机器人、各种科学研究、创造等领域的研究,也会谈到Google Brain在公平性和包容性方面所做的工作。
See you later~