当前位置：网站首页 > 技术教程 > 正文

从概念上看看深度学习为什么成功?

csdh11 2024-12-31 10:27 16 浏览

这里以概念分析为主叙述深度学习的部分理论基础。主要摘录了CVPR 2016 Tutorial里The mathematics of deep learning 的Data structure based theory for deep learning 报告要点。[1]

深度学习的核心结构是深度神经网络。

深度神经网络是一系列线性和非线性变化的网络层堆叠。

深度神经网络的若干重要理论性质包括：

1，可表示任意函数（Universal approximation for any measurable Borel functions）；

2，随着深度增加，神经网络的表达能力呈指数增长；

3，随着深度增加，神经网络有更多的局部最优点接近全局最优点。

从具体的网络层的结构设计和数值初始化来说：

1，深度神经网络可以保留输入数据的重要信息；

即通过一层网络变换后的信息和输入信息的差异有上限理论保证。

2，使用随机高斯分布初始化权值，神经网络能保持样本间的距离和角度序关系；

3，深度神经网络的泛化能力具有理论保证；

即深度神经网络在训练集和测试集的精度误差存在理论上线。

以上述若干性质为基础，设计神经网络结构和目标函数以引导信息的变换和流动，辅以合适的初始化和训练方法，深度学习在很多任务上获得了突破性进展。尤其是非结构化数据的处理，语音，文本，图像等等。

[1] http://www.vision.jhu.edu/tutorials/CVPR16-Tutorial-Math-Deep-Learning-Raja.pdf

深度学习 pdf

上一篇：惊现!麻省理工导师极力推荐的深度学习基础，被我找到了!
下一篇：深度学习到底有什么用?

相关推荐

C#自学——特性(Attribute): 特性相当于是一个标签，是没有实际意义的，想要起作用需要使用其他的东西解读。比如一栋普通的房子，房子里面有卧室、厨房、游戏房，这些房间都是一样的，只是贴上了一个标签叫卧室、厨房、游戏房等，但这些标签没有...

通过C#中的属性访问器实现一个计数器，使得每次访问时计数加一: 通过C#属性访问器实现计数器属性访问器是C#提供的一种机制，用于封装字段的读写操作。通过在属性的get访问器中增加逻辑，可以在每次访问属性时执行特定操作，例如计数器的自增。...

WPS三板斧(10):不同对象的属性和方法名称可能相同: 创作声明：部分内容由AI辅助创作...

初窥C# StringValues: 简介在这篇文章中，我会向大家简要介绍一下ASP.NETCore的核心类型之一StringValues。将会探讨StringValues在框架中的使用场景，它的用途，如何实现，以及为什么要这么做。...

C# 优雅的记录属性值变化: 属性变更的记录在很多应用场景中有使用，如用做审计日志或操作日志记录等等。记录属性值变化的方式有很多，但是有一个特性能帮助我们优雅的记录值变化，仅需一个公共方法，即可实现所有属性值变更记录；Caller...

python学习——016属性(attribute)和方法(method)区别: 在Python中，属性（attribute）和方法（method）是面向对象编程里的重要概念，它们存在明显区别，并且调用方式也有所不同，下面为你详细介绍。区别1.定义和本质...

Excel-VBA对象、属性、方法和事件(4): 8、Caller属性返回关于调用VisualBasic的信息（详细内容请参阅“说明”部分）。...

135.C# GDI+基础-创建Graphics类对象: 摘要GDI+是GDI（WindowsGraphicsDeviceInterface）的后继者，它是.NETFramework为操作图形提供的应用程序编程接口，主要用在窗体上绘制各种图形图像，可...

浅谈量化目标对象属性的方法: 什么是量化？...

C# 基础知识系列- 3 集合数组: 简单的介绍一下集合，通俗来讲就是用来保管多个数据的方案。比如说我们是一个公司的仓库管理，公司有一堆货物需要管理，有同类的，有不同类的，总而言之就是很多、很乱。我们对照集合的概念对仓库进行管理的话，那么...

Word中对象属性(Properties)的理解及示例(上): 【分享成果，随喜正能量】人生最大的本钱是尊严，人生最大的欢喜是法乐，人生最大的希望是平安，人生最大的发心是利众。。...

255.C# 绘制字符串: 摘要在C#WinForms应用程序中，绘制字符串是一项常见的任务，无论是为了创建自定义控件、图形用户界面元素还是简单的绘图需求。本文将介绍如何使用C#的WinForms库来绘制字符串，并列举一些常用...

Excel中如何设置文本框属性，实例代码讲解: Excel不仅可以对数据进行处理，而且也可以图形化数据，直观显示数据表达的内容。本节介绍一个很重要的对象，Characters，字符对象，使用Characters对象可修改包含在全文本字符串中的任...

C#自学——反射(Reflection): 反射是很多框架都用到的东西，是从0.25到0.5的一个进阶反射可以动态创建对象，动态赋值，动态调用方法反射可以在运行时获得类的信息每个类都有一个type对象，构造方法对应的是Constructor...

C# WinForms自定义控件怎么添加自定义属性: 在C#WinForms自定义控件中添加属性，可以使用PropertyDescriptor和TypeDescriptor类。以下是一个示例：usingSystem.ComponentModel;u...

一周热门

最近发表

首页
收录
顶部