当前位置：网站首页 > 技术教程 > 正文

从概念上看看深度学习为什么成功?

csdh11 2024-12-31 10:27 24 浏览

这里以概念分析为主叙述深度学习的部分理论基础。主要摘录了CVPR 2016 Tutorial里The mathematics of deep learning 的Data structure based theory for deep learning 报告要点。[1]

深度学习的核心结构是深度神经网络。

深度神经网络是一系列线性和非线性变化的网络层堆叠。

深度神经网络的若干重要理论性质包括：

1，可表示任意函数（Universal approximation for any measurable Borel functions）；

2，随着深度增加，神经网络的表达能力呈指数增长；

3，随着深度增加，神经网络有更多的局部最优点接近全局最优点。

从具体的网络层的结构设计和数值初始化来说：

1，深度神经网络可以保留输入数据的重要信息；

即通过一层网络变换后的信息和输入信息的差异有上限理论保证。

2，使用随机高斯分布初始化权值，神经网络能保持样本间的距离和角度序关系；

3，深度神经网络的泛化能力具有理论保证；

即深度神经网络在训练集和测试集的精度误差存在理论上线。

以上述若干性质为基础，设计神经网络结构和目标函数以引导信息的变换和流动，辅以合适的初始化和训练方法，深度学习在很多任务上获得了突破性进展。尤其是非结构化数据的处理，语音，文本，图像等等。

[1] http://www.vision.jhu.edu/tutorials/CVPR16-Tutorial-Math-Deep-Learning-Raja.pdf

深度学习 pdf

上一篇：惊现!麻省理工导师极力推荐的深度学习基础，被我找到了!
下一篇：深度学习到底有什么用?

相关推荐

Centos离线静默安装 oracle11g，步骤细验证成功: 一、环境要求1.1.涉及工具及环境1)CentOS764位系统2)oracle安装包文件a)linux.x64_11gR2_database_1of2.zip...

zabbix 5.0 ODBC监控Oracle: 以下配置基于zabbix5.0.24完成，基于5.4测试无法提示找到libsqora.so.21.1类库文件，网上搜索了很多方法都无法解决。本次ODBC数据采集服务不在zabbix中部署，而是由单独...

Windows环境中Oracle数据库ORA-01034错误的处理过程: 摘要：今天一早发现公司的一台Oracle数据库无法访问，使用PL/SQL登录Oracle数据库，提示【ORA-12514:TNS:监听程序当前无法识别连接描述符中请求的服务】，后来经过修复后，并在服务...

部署单机oracle数据库，干货太多，我编辑都累: 一、前言本次实施内容是，oracle单实例系统文件安装，操作系统为CentOS6.9，数据库版本11.2.0.4。二、oracle软件安装...

带你部署单机oracle数据库，超详细带图解说: 一、前言本次实施内容是，oracle单实例系统文件安装，操作系统为CentOS6.9，数据库版本11.2.0.4。二、oracle软件安装...

oracle用户创建及权限设置: 权限：createsessioncreatetableunlimitedtablespaceconnectresource...

简单且优雅数据库操作-测试向: cmd打开命令行输入框sqlplus/nolog连接无用户数据库connectsys/zhwylanassysdba;连接sys用户的管理员身份showuser;显示当前用户目录...

手撸一个Oracle Rac(3): （文章太长，只能分段发表，哎~）四、RAC维护一般命令1.查看集群状态grid用户执行crs_stat-t...

「运维经」第23章——忘记oracle密码: 忘记oracle密码前提条件：你确保安装oracleserver主机的oracle用户密码你还记得。...

详解BarTender超过文件尾访问: Bartender标签打印机软件出现不能正常运行，在打开这个软件会出来一个窗口“尝试超过文件尾访问文件…….btw”的字样。解决方法：彻底卸载软件，删除软件所有的注册信息。方法一：可以采用360安全助...

BarTender只打印口令密码去除教程: BarTender条码打印软件具有“只打印口令设置”功能，通过设置该口令密码可以防止操作人员随意变动模板内容。但是，如果您将BarTender只打印口令设置密码忘了怎么办?也许你会觉得卸载软件重装就O...

Bartender怎么破解?Bartender如何安装图文教程讲解: 什么是bartender？bartender是美国海鸥科技推出的一款条码打印软件bartender在150多个国家与地区已拥有上千万的用户，该软件在条码行业中得到众多群体使用和行业设备巨头认可并与...

FFmpeg+SDL视频播放器-图形界面版: MFC知识创建MFC工程的方法...

技术|开源空间音频格式Eclipsa Audio登场，继HDR10+后Samsung再次硬杠Dolby: 说到空间音频/沉浸式3D音效，你首先想到谁？DolbyAtmos、DTS:X还是Auro3D？如今新的“搅局者”出现了！韩系电视大厂Samsung与Google合作，推出空间音频格式Eclipsa...

视频怎么进行格式转换?6款视频转换MP4格式的免费软件!: 在数字时代，视频格式的多样性为我们提供了丰富的观看和编辑选择，但同时也带来了格式不兼容的困扰：MOV、AVI、WMV、MKV……这些格式多多少少都会遇到因不兼容而无法播放或下载分享的场景。当你想要将视...

一周热门

最近发表

首页
收录
顶部