百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

从概念上看看深度学习为什么成功?

csdh11 2024-12-31 10:27 24 浏览

这里以概念分析为主叙述深度学习的部分理论基础。主要摘录了CVPR 2016 Tutorial里The mathematics of deep learning 的Data structure based theory for deep learning 报告要点。[1]

深度学习的核心结构是深度神经网络。

深度神经网络是一系列线性和非线性变化的网络层堆叠。

深度神经网络的若干重要理论性质包括:

1,可表示任意函数(Universal approximation for any measurable Borel functions);

2,随着深度增加,神经网络的表达能力呈指数增长;

3,随着深度增加,神经网络有更多的局部最优点接近全局最优点。

从具体的网络层的结构设计和数值初始化来说:

1,深度神经网络可以保留输入数据的重要信息;

即通过一层网络变换后的信息和输入信息的差异有上限理论保证。

2,使用随机高斯分布初始化权值,神经网络能保持样本间的距离和角度序关系;

3,深度神经网络的泛化能力具有理论保证;

即深度神经网络在训练集和测试集的精度误差存在理论上线。

以上述若干性质为基础,设计神经网络结构和目标函数以引导信息的变换和流动,辅以合适的初始化和训练方法,深度学习在很多任务上获得了突破性进展。尤其是非结构化数据的处理,语音,文本,图像等等。

[1] http://www.vision.jhu.edu/tutorials/CVPR16-Tutorial-Math-Deep-Learning-Raja.pdf

相关推荐

Centos离线静默安装 oracle11g,步骤细验证成功

一、环境要求1.1.涉及工具及环境1)CentOS764位系统2)oracle安装包文件a)linux.x64_11gR2_database_1of2.zip...

zabbix 5.0 ODBC监控Oracle

以下配置基于zabbix5.0.24完成,基于5.4测试无法提示找到libsqora.so.21.1类库文件,网上搜索了很多方法都无法解决。本次ODBC数据采集服务不在zabbix中部署,而是由单独...

Windows环境中Oracle数据库ORA-01034错误的处理过程

摘要:今天一早发现公司的一台Oracle数据库无法访问,使用PL/SQL登录Oracle数据库,提示【ORA-12514:TNS:监听程序当前无法识别连接描述符中请求的服务】,后来经过修复后,并在服务...

部署单机oracle数据库,干货太多,我编辑都累

一、前言本次实施内容是,oracle单实例系统文件安装,操作系统为CentOS6.9,数据库版本11.2.0.4。二、oracle软件安装...

带你部署单机oracle数据库,超详细带图解说

一、前言本次实施内容是,oracle单实例系统文件安装,操作系统为CentOS6.9,数据库版本11.2.0.4。二、oracle软件安装...

oracle用户创建及权限设置

权限:createsessioncreatetableunlimitedtablespaceconnectresource...

简单且优雅数据库操作-测试向

cmd打开命令行输入框sqlplus/nolog连接无用户数据库connectsys/zhwylanassysdba;连接sys用户的管理员身份showuser;显示当前用户目录...

手撸一个Oracle Rac(3)

(文章太长,只能分段发表,哎~)四、RAC维护一般命令1.查看集群状态grid用户执行crs_stat-t...

「运维经」第23章——忘记oracle密码

忘记oracle密码前提条件:你确保安装oracleserver主机的oracle用户密码你还记得。...

详解BarTender超过文件尾访问

Bartender标签打印机软件出现不能正常运行,在打开这个软件会出来一个窗口“尝试超过文件尾访问文件…….btw”的字样。解决方法:彻底卸载软件,删除软件所有的注册信息。方法一:可以采用360安全助...

BarTender只打印口令密码去除教程

BarTender条码打印软件具有“只打印口令设置”功能,通过设置该口令密码可以防止操作人员随意变动模板内容。但是,如果您将BarTender只打印口令设置密码忘了怎么办?也许你会觉得卸载软件重装就O...

Bartender怎么破解?Bartender如何安装图文教程讲解

什么是bartender?bartender是美国海鸥科技推出的一款条码打印软件bartender在150多个国家与地区已拥有上千万的用户,该软件在条码行业中得到众多群体使用和行业设备巨头认可并与...

FFmpeg+SDL视频播放器-图形界面版

MFC知识创建MFC工程的方法...

技术|开源空间音频格式Eclipsa Audio登场,继HDR10+后Samsung再次硬杠Dolby

说到空间音频/沉浸式3D音效,你首先想到谁?DolbyAtmos、DTS:X还是Auro3D?如今新的“搅局者”出现了!韩系电视大厂Samsung与Google合作,推出空间音频格式Eclipsa...

视频怎么进行格式转换?6款视频转换MP4格式的免费软件!

在数字时代,视频格式的多样性为我们提供了丰富的观看和编辑选择,但同时也带来了格式不兼容的困扰:MOV、AVI、WMV、MKV……这些格式多多少少都会遇到因不兼容而无法播放或下载分享的场景。当你想要将视...