当前位置：网站首页 > 技术教程 > 正文

从概念上看看深度学习为什么成功?

csdh11 2024-12-31 10:27 4 浏览

这里以概念分析为主叙述深度学习的部分理论基础。主要摘录了CVPR 2016 Tutorial里The mathematics of deep learning 的Data structure based theory for deep learning 报告要点。[1]

深度学习的核心结构是深度神经网络。

深度神经网络是一系列线性和非线性变化的网络层堆叠。

深度神经网络的若干重要理论性质包括：

1，可表示任意函数（Universal approximation for any measurable Borel functions）；

2，随着深度增加，神经网络的表达能力呈指数增长；

3，随着深度增加，神经网络有更多的局部最优点接近全局最优点。

从具体的网络层的结构设计和数值初始化来说：

1，深度神经网络可以保留输入数据的重要信息；

即通过一层网络变换后的信息和输入信息的差异有上限理论保证。

2，使用随机高斯分布初始化权值，神经网络能保持样本间的距离和角度序关系；

3，深度神经网络的泛化能力具有理论保证；

即深度神经网络在训练集和测试集的精度误差存在理论上线。

以上述若干性质为基础，设计神经网络结构和目标函数以引导信息的变换和流动，辅以合适的初始化和训练方法，深度学习在很多任务上获得了突破性进展。尤其是非结构化数据的处理，语音，文本，图像等等。

[1] http://www.vision.jhu.edu/tutorials/CVPR16-Tutorial-Math-Deep-Learning-Raja.pdf

深度学习 pdf

上一篇：惊现!麻省理工导师极力推荐的深度学习基础，被我找到了!
下一篇：深度学习到底有什么用?

相关推荐

10种常见的MySQL错误，你可中招?: 【51CTO.com快译】如果未能对MySQL8进行恰当的配置，您非但可能遇到无法顺利访问、或调用MySQL的窘境，而且还可能给真实的应用生产环境带来巨大的影响。本文列举了十种MySQL...

MYSQL数据库基础和常用语法汇总03篇-数据查询: 【数据查询语言】(1)查询系统内部函数返回内容和算式计算显示MYSQL的版本：selectversion();显示当前时间：selectnow();显示年月日：SELECTDAYOFMONTH...

MySql 十分钟查询数据库500W数据逐条输出比分页查询快100倍: 大家好，我是云枫，今天给大家分享我最近困扰我许久的一个问题，大数据量场景下需要把一张表的数据全部查询出来处理加工然后入库另外一张表遇到问题对于这样的场景其实就类似于ETL工具处理数据抽取，数据加工，数...

DBA技术分享(九)- MySQL数据库中查找最常用的数据类型: 一、概述今天分享几个关于MySQL数据类型的查询，具体如下：在MySQL数据库中查找最常用的数据类型...

sql查看mysql中各数据库大小: mysql数据库版本：mysql5.7用SQL命令查看Mysql数据库大小要想知道每个数据库的大小的话，步骤如下：1、进入information_schema数据库(存放了其他的数据库的信息)use...

mysql数据误删除后的恢复方法: 1、首先查看是否开启了mysql数据操作日志，如果没有那记得打开为以后做好准备。查看的方法如下：在mysql中执行命令：showvariableslike'%bin%';通过上图...

数据库数据恢复—MYSQL数据库MYI文件损坏的数据恢复案例: mysql数据库故障：mysql数据库文件ibdata1、MYI、MYD损坏。故障表现：1、数据库无法进行查询等操作；2、使用mysqlcheck和myisamchk无法修复数据库。mysql数据库数...

「删库跑路」使用Binlog日志恢复误删的MySQL数据: 前言“删库跑路”是程序员经常谈起的话题，今天，我就要教大家如何删！库！跑！路！开个玩笑，今天文章的主题是如何使用Mysql内置的Binlog日志对误删的数据进行恢复，读完本文，你能够了解到：MySQL...

MySQL常用基础用法集锦，都在这里了: 大家还记得我们之前介绍过MySQL的执行顺序吗？MySQL数据插入INSERTINTO与条件查询WHERE的基本用法（二）。本节课我们将给大家介绍MySQL中常用的几个关键字SELECT/HAVIN...

MySQL数据实时同步到Elasticsearch解决方案: 概述在实际的项目开发与运维过程中，MySQL常常扮演着业务数据库的核心角色，以其强大的事务处理能力和数据完整性保障，支撑着系统的稳定运行。然而，随着数据量的急剧增长和查询复杂度的不断提升，单一依赖...

MySql中查询JSON结构数据: 由于以前用的数据里面，为了方便后续的扩展，很多用了JSON结构存储在mysql字段里面，于是就经常需要去使用mysql进行JSON数据的检索，比如用：SELECT*FROMdataWHERE...

大数据量查询容易OOM?试试MySQL流式查询: 一、前言程序访问MySQL数据库时，当查询出来的数据量特别大时，数据库驱动把加载到的数据全部加载到内存里，就有可能会导致内存溢出（OOM）。其实在MySQL数据库中提供了流式查询，允许把符合条...

Oracle通过dblink连接mysql数据库实时数据同步: 1.检查oracle数据库所在的主机上是否已经装了mysqlodbc客户端rpm-qa|grepmysql-connect...

如何使用Python连接MySQL数据库?: 数据分析离不开数据库，如何使用python连接数据库呢？听我娓娓道来哈该笔记参考了PyMySQL官方文档和《python数据采集》关于数据存储的部分，欢迎大家去阅读原著，相信会理解的更加透彻。...

Mysql联表update数据: 1.MySQLUPDATEJOIN语法在MySQL中，可以在UPDATE语句中使用JOIN子句执行跨表更新。MySQLUPDATEJOIN的语法如下：拉勾IT课小编为大家分解UPDATE...

一周热门

最近发表

首页
收录
顶部