如何用nas搜索自己的网络结构

❶ 我刚购买了铁威马NAS，如何在网络上查找NAS设备

为了帮助你找到铁威马NAS，你可以下载 TNAS PC 桌面应用程序，并通过在 Windows 或 MAC 电脑上运行TNAS PC来搜索TNAS，选中列表中显示的TNAS，然后单击“登录”就可以了。需要注意的是：如果在 TNAS PC 上单击“登录”后，应用程序跳至 IE（Windows自带的默认浏览器）Web浏览器，请从IE复制IP地址，然后尝试使用其他最近版本的Web浏览器，由于 IE 的兼容性，你可能会在安装过程中遇到问题。如果你偏好从 TNAS PC 登录，请将Windows默认浏览器从 IE 更改为其他浏览器。

❷ 如何用电脑查看全网络架构

查看网络构架步骤如下：
1.右键“计算机”,选择“属性”,在左上角选择“设备管理器”。
2.打开设备管理器。在其中选择处理器。
3、上网查询，即可得到该处理器的性质

❸ NAS网络存储的结构

网络存储技术（Network Storage Technologies）基于标准网络协议实现数据传输，为网络中的Windows
/ Linux / Mac OS 等各种不同操作系统的计算机提供文件共享和数据备份； 支持24小时不断电BT、FTP、HTTP、eMule 及 NZB 下载；作为多媒体中心，为SONY PlayStation3/微软Xbox / 苹果 iPad iPhone/Android手机平板提供多媒体文件串流服务；为建设个人网站提供HTTP/FTP服务；支持苹果iMac/Mac mini/Mac Pro/MacBook/Mac Air (包括黑苹果)TimeMachine备份还原。。网络存储结构大致分为三种：直连式存储（DAS：Direct Attached Storage）、网络连接式存储（NAS：Network Attached Storage）和存储网络（SAN：Storage Area Network）。 NAS的优点
NAS 是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。由于这些设备都分配有 IP 地址，所以客户机通过充当数据网关的服务器可以对其进行存取访问，甚至在某些情况下，不需要任何中间介质客户机也可以直接访问这些设备。
第一，NAS适用于那些需要通过网络将文件数据传送到多台客户机上的用户。NAS设备在数据必须长距离传送的环境中可以很好地发挥作用。
第二，NAS设备非常易于部署。可以使NAS主机、客户机和其他设备广泛分布在整个企业的网络环境中。NAS可以提供可靠的文件级数据整合，因为文件锁定是由设备自身来处理的。
第三，NAS应用于高效的文件共享任务中，例如UNIX中的NFS和Windows NT中的CIFS，其中基于网络的文件级锁定提供了高级并发访问保护的功能。
NAS的主要应用
介绍NAS能够满足那些希望降低存储成本但又无法承受SAN昂贵价格的中小企业的需求，具有相当好的性能价格比。究竟哪些行业可以使用到NAS设备呢？首先，看这个单位的核心业务是否建立在某种信息系统上，对数据的安全性要求很高；其次，看该信息系统是否已经有或者将会有海量的数据需要保存，并且对数据管理程度要求较高；最后，还可以判断一下网络中是否有异构平台，或者以后会不会用到。如果上述有一个问题的答案是肯定的，那么就有必要重点考虑使用NAS设备。
1.办公自动化NAS解决方案
办公自动化系统(OA)是政府机构和企业信息化建设的重点。现代企事业单位的管理和运作是离不开计算机和局域网的，企业在利用网络进行日常办公管理和运作时，将产生日常办公文件、图纸文件、ERP等企业业务数据资料以及个人的许多文档资料。传统的内部局域网内一般都没有文件服务器，上述数据一般都存放在员工的电脑和服务器上，没有一个合适的设备作为其备份和存储的应用。由于个人电脑的安全级别很低，员工的安全意识参差不齐，重要资料很容易被窃取、恶意破坏或者由于硬盘故障而丢失。
从对企事业单位数据存储的分析中可以看出，要使整个企、事业单位内部的数据得到统一管理和安全应用，就必须有一个安全、性价比好、应用方便、管理简单的物理介质来存储和备份企业内部的数据资料。NAS网络存储服务器是一款特殊设计的文件存储和备份的服务器，它能够将网络中的数据资料合理有效、安全地管理起来，并且可以作为备份设备将数据库和其它的应用数据时时自动备份到NAS上。
2.税务NAS解决方案
税务行业需要的是集业务、信息、决策支持为一体的综合系统。行业业务系统主要是税收征管信息系统，还有税务业务信息、通用业务信息等。整个系统将行政办公信息、辅助决策信息与业务系统结合起来，组成一个通用的综合系统平台，从而形成一个完整、集成、一体化的税务业务管理系统。
税务行业的业务数据资料、日常办公文件资料及数据邮件系统非常重要，一旦数据资料丢失将会给日常工作和整个地区的税收工作带来麻烦。保证整个数据资料的安全运行及应用成为了税务行业中一个必须解决的现实问题。解决这个问题的办法，就是将这些数据资料存储或备份到一个安全、快速、方便的应用环境中，以此来保证税务行业数据的安全运行。
为合理解决数据业务资料备份和存储的问题，可以使用一台NAS 网络存储服务器来存储和备份业务数据资料以及日常办公数据。在业务主机内，数据库里的信息资料直接通过数据增量备份功能备份到NAS中。连同局域网内部的业务资料以及工作人员的日常办公文件资料或是基于光盘的数据资料，都可以存储到NAS服务器上，以便工作人员随时使用和浏览这些数据资料。使用NAS后，管理员能够有效、合理地安排和管理其内部数据资料，使数据文件从其它网络机器上分离出来，实现数据资料的分散存储，统一管理数据资料环境系统。
3.广告NAS解决方案
广告设计行业是集市场调研、行销策略、创意生产、设计执行、后期制作和媒介发布为一体的综合服务行业。
很多广告公司的数据存储模式比较落后，成本较高且效率低下，主要问题在于数据安全性差；整体数据量大以及原有大量陈旧的数据难以存储管理；存在多操作系统平台，设备繁杂导致存放的数据难以共享和管理，造成效率低下；广告设计人员的离职造成设计资料无辜丢失。采用NAS存储和备份广告设计行业网络中的业务数据资料，实现数据的集中存储、备份、分析与共享，依据设计研究单位对不同数据的不同要求，充分利用现有数据，合理构建广告设计行业的数据存储平台，从而提高了信息资料的传送速度，节省了时间，提高了工作效率。
4.教育NAS解决方案
自提出”校校通”工程后，各个学校都在积极建设自己的校园网，以便将来能及时适应信息时代的发展。随着”校校通”工程逐步到位，”资源通”成为下一步信息化建设的重点，具体体现在学校需要大量的资源信息以满足学生与教师的需求。随着校园内数据资源不断增加，需要存储数据的物理介质具有大容量的存储空间和安全性，并要有非常快的传输速率，确保整个数据资料的安全、快速存取。
2012年以后在校园网建设过程中偏重于网络系统的建设，在网络上配备了大量先进设备，但网络上的教学应用资源却相对匮乏。原有的存储模式在增加教学资源时会显现很多弊病：由于学校传统的网络应用中所有教育资源都存放在一台服务器上，具有高性能与高扩展能力的服务器成本较高；教学资源的访问服务会与应用服务争夺系统资源，造成系统服务效率的大幅下降；应用服务器的系统故障将直接影响资源数据的安全性和可用性，给学校的教学工作带来不便。
针对这些问题，可以引入NAS设备来实现集中存储与备份。
（1）.NAS提供了一个高效、低成本的资源应用系统。由于NAS本身就是一套独立的网络服务器，可以灵活地布置在校园网络的任意网段上，提高了资源信息服务的效率和安全性，同时具有良好的可扩展性，且成本低廉。
（2）.提供灵活的个人磁盘空间服务。NAS可以为每个学生用户创建个人的磁盘使用空间，方便师生查找和修改自己创建的数据资料。
（3）.提供数据在线备份的环境。NAS支持外接的磁带机，它能有效地将数据从服务器中传送到外挂的磁带机上，保证数据安全、快捷备份。
（4）.有效保护资源数据。NAS具有自动日志功能，可自动记录所有用户的访问信息。嵌入式的操作管理系统能够保证系统永不崩溃，以保证连续的资源服务，并有效保护资源数据的安全。
5.医疗数据存储NAS方案
医院作为社会的医疗服务机构，病人的病例档案资料管理是非常重要的。基于CT和X光的胶片要通过胶片数字化仪转化为数字的信息存储起来，以方便日后查找。这些片子的数据量非常大而且十分重要，对这些片子的安全存储、管理数据与信息的快速访问以及有效利用，是提高工作效率的重要因素，更是医院信息化建设的重点问题。据调查，一所医院一年的数据量将近400GB，这么大的数据量仅靠计算机存储是胜任不了的，有的医院会使用刻录机将过去的数据图片刻录到光盘上进行存储，但这种存储解决方式比较费时，且工作效率不高。医院需要一种容量大、安全性高、管理方便、数据查询快捷的物理介质来安全、有效地存储和管理这些数据。使用NAS解决方案可以将医院放射科内的这些数字化图片安全、方便、有效地存储和管理起来，从而缩短了数据存储、查找的时间，提高了工作效率。
6.制造业NAS解决方案
对于制造业来说，各种市场数据、客户数据、交易历史数据、社会综合数据都是公司至关重要的资产，是企业运行的命脉。在企业数据电子化的基础上，保护企业的关键数据并加以合理利用已成为企业成功的关键因素。因此，对制造行业的各种数据进行集中存储、管理与备份，依据企业对不同数据的不同要求，从而合理构建企业数据存储平台。采用NAS的存储方式是比较适合的，可以实现数据的集中存储、备份、分析与共享，并在此基础上充分利用现有数据，以适应市场需求，提高自身竞争力。
综上所述，在数据管理方面，NAS具有很大优势，在某些数据膨胀较快、对数据安全要求较高、异构平台应用的网络环境中更能充分体现其价值。另外，NAS的性能价格比极高，广泛适合从中小企业到大中型企业的各种应用环境。
7.NAS的影楼存储解决方案
NAS数据保护存储方案，为数据提供有效保障，可对重复数据进行删除、压缩以优化存储空间，最高可有效节省80%的存储空间，并且可以通过NAS特有的RAID机制，对硬盘进行有效的保障。NAS支持多电脑及终端设备共享，无论存取，都可以方便使用。设置不同的使用权限，即可以方便用户查看，也可以防止数据丢失;性价比高，影楼配置铁威马F4-NAS增强版的NAS存储器，另加4块4T的企业级硬盘，一套下来总价不到一万元，是用服务器存储成本的十分之一不到，安全方便，实惠高效。 SAN 是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用作 SAN 的接入点。在有些配置中，SAN 也与网络相连。SAN 中将特殊交换机当作连接设备。它们看起来很像常规的以太网络交换机，是 SAN 中的连通点。SAN 使得在各自网络上实现相互通信成为可能，同时并带来了很多有利条件。
网络存储通信中使用到的相关技术和协议包括 SCSI 、RAID 、iSCSI 以及光纤信道。一直以来 SCSI 支持高速、可靠的数据存储。RAID（独立磁盘冗余阵列）指的是一组标准，提供改进的性能和/或磁盘容错能力。光纤信道是一种提供存储设备相互连接的技术，支持高速通信（将来可以达到 10Gbps ）。与传统存储技术，如 SCSI 相比，光纤信道也支持较远距离的设备相互连接。iSCSI 技术支持通过 IP 网络实现存储设备间双向的数据传输。其实质是使 SCSI 连接中的数据连续化。通过 iSCSI，网络存储器可以应用于包含 IP 的任何位置。而作为 Internet 的主要元素，IP 几乎无所不在。

❹ ENAS：首个权值共享的神经网络搜索方法，千倍加速 | ICML 2018

论文: Efficient Neural Architecture Search via Parameter Sharing

  神经网络结构搜索(NAS)目前在图像分类的模型结构设计上有很大的成果，但十分耗时，主要花在搜索到的网络(child model)的训练。论文的主要工作是提出 Efficient Neural Architecture Search (ENAS)，强制所有的child model进行权重共享，避免从零开始训练，从而达到提高效率的目的。虽然不同的模型使用不同的权重，但从迁移学习和多任务学习的研究结果来看，将当前任务的模型A学习到的参数应用于别的任务的模型B是可行的。从实验看来，不仅共享参数是可行的，而且能带来很强的表现，实验仅用单张1080Ti，相对与NAS有1000x倍加速

  NAS的搜索结果可以看作是大图中的子图，可以用单向无环图(DAG)来表示搜索空间，每个搜索的结构可以认为是图2的DAG一个子网。ENAS定义的DAG为所有子网的叠加，其中每个节点的每种计算类型都有自己的参数，当特定的计算方法激活时，参数才使用。因此，ENAS的设计允许子网进行参数共享，下面会介绍具体细节

  为了设计循环单元(recurrent cell)，采用 节点的DAG，节点代表计算类型，边代表信息流向，ENAS的controller也是RNN，主要定义：1) 激活的边 2) 每个节点的计算类型。在NAS(Zoph 2017)，循环单元的搜索空间在预先定义结构的拓扑结构(二叉树)上，仅学习每个节点的计算类型，而NAS则同时学习拓扑结构和计算类型，更灵活

  为了创建循环单元，the controller RNN首先采样 个block的结果，取 ， 为当前单元输入信息(例如word embedding)， 为前一个time step的隐藏层输出，具体步骤如下：

  注意到每对节点( )都有独立的参数 ，根据选择的索引决定使用哪个参数，因此，ENAS的所有循环单元能同一个共享参数集合。论文的搜索空间包含指数数量的配置，假设有N个节点和4种激活函数，则共有 种配置

  ENAS的controller为100个隐藏单元的LSTM，通过softmax分类器以自回归(autoregressive fashion)的方式进行选择的决定，上一个step的输出作为下一个step的输入embedding，controller的第一个step则接受空embedding输入。学习的参数主要有controller LSTM的参数 和子网的共享权重 ，ENAS的训练分两个交叉的阶段，第一阶段在完整的训练集上进行共享权重 学习，第二阶段训练controller LSTM的参数

  固定controller的策略 ，然后进行 进行随机梯度下降(SGD)来最小化交叉熵损失函数的期望 ， 为模型 在mini-batch上的交叉熵损失，模型 从 采样而来

  梯度的计算如公式1， 上从 采样来的，集合所有模型的梯度进行更新。公式1是梯度的无偏估计，但有一个很高的方差（跟NAS一样，采样的模型性能差异），而论文发现，当 时，训练的效果还行

  固定 然后更新策略参数 ，目标是最大化期望奖励 ，使用Adam优化器，梯度计算使用Williams的REINFORCE方法，加上指数滑动平均来降低方差， 的计算在独立的验证集上进行，整体基本跟Zoph的NAS一样

  训练好的ENAS进行新模型构造，首先从训练的策略 采样几个新的结构，对于每个采样的模型，计算其在验证集的minibatch上的准确率，取准确率最高的模型进行从零开始的重新训练，可以对所有采样的网络进行从零训练，但是论文的方法准确率差不多，经济效益更大

  对于创建卷积网络，the controller每个decision block进行两个决定，这些决定构成卷积网络的一层：

  做 次选择产生 层的网络，共 种网络，在实验中，L取12

  NASNet提出设计小的模块，然后堆叠成完整的网络，主要设计convolutional cell和rection cell

  使用ENAS生成convolutional cell，构建B节点的DAG来代表单元内的计算，其中node 1和node 2代表单元输入，为完整网络中前两个单元的输出，剩余的 个节点，预测两个选择：1) 选择两个之前的节点作为当前节点输入 2) 选择用于两个输入的计算类型，共5种算子：identity, separable convolution with kernel size 3 × 3 and 5 × 5, and average pooling and max pooling with kernel size 3×3，然后将算子结果相加。对于 ，搜索过程如下:

  对于rection cell，可以同样地使用上面的搜索空间生成: 1) 如图5采样一个计算图 2) 将所有计算的stride改为2。这样rection cell就能将输入缩小为1/2，controller共预测 blocks
  最后计算下搜索空间的复杂度，对于node i ，troller选择前 个节点中的两个，然后选择五种算子的两种，共 种坑的单元。因为两种单元是独立的，所以搜索空间的大小最终为 ，对于 ，大约 种网络

  节点的计算做了一点修改，增加highway connections，例如 修改为 ，其中 ， 为elementwise乘法。搜索到的结果如图6所示，有意思的是：1) 激活方法全部为tanh或ReLU 2) 结构可能为局部最优，随机替换节点的激活函数都会造成大幅的性能下降 3) 搜索的输出是6个node的平均，与mixture of contexts(MoC)类似

  单1080Ti训练了10小时，Penn Treebank上的结果如表1所示，PPL越低则性能越好，可以看到ENAS不准复杂度低，参数量也很少

  表2的第一块为最好的分类网络DenseNet的结构，第二块为ENAS设计整个卷积网络的结果(感觉这里不应有micro search space)，第三块为设计单元的结果

  全网络搜索的最优结构如图7所示，达到4.23%错误率，比NAS的效果要好，大概单卡搜索7小时，相对NAS有50000x倍加速

  单元搜索的结构如图8所示，单卡搜索11.5小时， ，错误率为3.54%，加上CutOut增强后比NASNet要好。论文发现ENAS搜索的结构都是局部最优的，修改都会带来性能的降低，而ENAS不采样多个网络进行训练，这个给NAS带来很大性能的提升

 

  NAS是自动设计网络结构的重要方法，但需要耗费巨大的资源，导致不能广泛地应用，而论文提出的 Efficient Neural Architecture Search (ENAS)，在搜索时对子网的参数进行共享，相对于NAS有超过1000x倍加速，单卡搜索不到半天，而且性能并没有降低，十分值得参考

 
 
 

❺ 群晖NAS 连接到光纤猫上面 怎么被路由器搜索到网络位置

理论上能实现，但是前提太多，非网络技术人员我说了你也读不懂，而且那么多前提你的设备并非工业级别应该不具备，即便具备了，不懂路由配置你也没法实现。所以得用别的方案：

房间1里面的千兆路由器别当路由器用，当交换机用（或者干脆买个交换机没多钱），用网线将Lan口直接连接到百兆路由器（我猜你的光纤猫是唯一接外网的，这是前提）的Lan口，这样就保证了在拓补结构上所有电脑都在百兆交路由器之下包括NAS，这样就既保证了所有电脑都接受百兆路由器统一分配IP使所有电脑在同一个网段上当然就可以访问NAS，也保证了所有电脑通过光纤猫上外网。

❻ 如何查询自己的网络结构，急！！！

1、局域网的机器，可以用局域网扫描工具，扫描
2、经过的路由可以用 tracert 命令来得知
交换机不好测试了，因为交换机只转发数据，软件测试基本行不通，方法是查找先前的网络结构资料，找不到的话只能实地查看网络连接。

❼ 知识蒸馏综述:网络结构搜索应用

【GiantPandaCV导语】知识蒸馏将教师网络中的知识迁移到学生网络，而NAS中天然的存在大量的网络，使用KD有助于提升超网整体性能。两者结合出现了许多工作，本文收集了部分代表性工作，并进行总结。

知识蒸馏可以看做教师网络通过提供soft label的方式将知识传递到学生网络中，可以被视为一种更高级的label smooth方法。soft label与hard label相比具有以下优点：

那么知识蒸馏在网络结构搜索中有什么作用呢？总结如下：

知识蒸馏在很多工作中作为训练技巧来使用，比如OFA中使用渐进收缩训练策略，使用最大的网络指导小网络的学习，采用inplace distillation进行蒸馏。BigNAS中则使用三明治法则，让最大的网络指导剩下网络的蒸馏。

目标：解决教师网络和学生网络的匹配问题（知识蒸馏中教师网络和学生网络匹配的情况下效果更好）。

在知识蒸馏中，选择不同的教师网络、不同的学生网络的情况下，最终学生网络的性能千差万别。如果学生网络和教师网络的容量相差过多，会导致学生难以学习的情况。Cream这篇文章就是为了解决两者匹配问题。

普通的SPOS方法如左图所示，通过采样单路径子网络进行训练。右图则是结合了知识蒸馏的方法，Cream提出了两个模块：

Cream中心思想是，子网络可以在整个训练过程中协作学习并相互教导，目的是提高单个模型的收敛性。

消融实验如下：

目标：通过教师引导各个block特征层的学习，根据loss大小评判各子网的性能。

这是一篇将NAS和KD融合的非常深的一个工作，被CVPR20接收。之前写过一篇文章进行讲解，这里简单回顾一下。

DNA是两阶段的one-shot NAS方法，因此其引入蒸馏也是为了取代普通的acc指标，提出了使用子网络与教师网络接近程度作为衡量子网性能的指标。

在训练的过程中，进行了分块蒸馏，学生网络某一层的输入来自教师网络上一层的输出，并强制学生网络这一层的输出与教师网络输出一致（使用MSELoss)。在搜索过程结束后，通过计算各子网络与教师网络的接近程度来衡量子网络。

目标：通过改进KL divergence防止学生over estimate或者under estimate教师网络。

上图展示了OFA,BigNAS等搜索算法中常用到的蒸馏方法，子网使用的是KL divergence进行衡量，文中分析了KL 散度存在的局限性：即避零性以及零强制性。如下公式所示，p是教师的逻辑层输出，q是学生逻辑层输出。

AlphaNet提出了一个新的散度衡量损失函数，防止出现过估计或者低估的问题。如下所示，引入了 。

其中 不为0或者1，这样如下图所示：

蓝色线对应example 2表示，当 为负值，如果q过估计了p中的不确定性， 的值会变大。

紫色线对应example 1表示，当 为正数，如果q低估了p中的不确定性， 的值会变大

同时考虑两种情况，取两者中最大值作为散度：

目标：提出了衡量学生网络和教师网络 内部激活相似度 衡量指标，通过表征匹配可以用来加速网络结构搜索。

这部分其实是属于知识蒸馏分类中基于关系的知识，构建的知识由不同样本之间的互作用构成。

具体的指标构成如上图所示，是一个bsxbs大小的矩阵，这个在文中被称为Representational Dissmilarity Matrix，其功能是构建了激活层内部的表征，可以通过评估RDM的相似度通过计算上三角矩阵的关系系数，比如皮尔逊系数。

该文章实际上也是构建了一个指标P+TG来衡量子网的性能，挑选出最优子网络。

如上图所示，RDM的计算是通过衡量教师网络的feature以及学生网络的feature的相似度，并选择选取其中最高的RDM相似度。通过构建了一组指标，随着epoch的进行，排序一致性很快就可以提高。

目标：固定教师网络，搜索最合适的学生网络。

对于相同的教师网络来说，不同的架构的学生网络，即便具有相同的flops或者参数，其泛化能力也有所区别。在这个工作中选择固定教师网络，通过网络搜索的方法找到最优的学生网络，使用L1 Norm优化基础上，选择出与教师网络KL散度差距最小的学生网络。

目标：在给定教师网络情况下，搜索最合适的学生网络。

神经网络中的知识不仅蕴含于参数，还受到网络结构影响。KD普遍方法是将教师网络知识提炼到学生网络中，本文提出了一种架构感知的知识蒸馏方法Architecture-Aware KD （AKD），能够找到最合适提炼给特定教师模型的学生网络。

Motivation: 先做了一组实验，发现不同的教师网络会倾向于不同的学生网络，因此在NAS中，使用不同的教师网络会导致模型倾向于选择不同的网络结构。

AKD做法是选择使用强化学习的方法指导搜索过程， 使用的是ENAS那种通过RNN采样的方法。

目标：从集成的教师网络中学习，并使用NAS调整学生网络模型的容量。NAS+KD+集成。

这篇文章之前也进行了讲解，是网络结构搜索，知识蒸馏，模型集成的大杂烩。

详见： https://blog.csdn.net/DD_PP_JJ/article/details/121268840

这篇文章比较有意思，使用上一步中得到的多个子网络进行集成，可以得到教师网络，然后使用知识蒸馏的方法来引导新的子网络的学习。关注重点在于：

AdaNAS受Born Again Network（BAN）启发, 提出Adaptive Knowledge Distillation（AKD)的方法以辅助子网络的训练。

集成模型选择 ：

从左到右代表四次迭代，每个迭代中从搜索空间中选择三个模型。绿色线框出的模型代表每个迭代中最优的模型，AdaNAS选择将每个迭代中最优subnet作为集成的对象。

最终集成的时候还添加了额外的weight参数w1-w4：

最终输出逻辑层如下所示：（这个w权重也会被训练，此时各个集成网络的权重是固定的，只优化w）

Knowledge Distillation

目标：解决知识蒸馏的效率和有效性，通过使用特征聚合来引导教师网络与学生网络的学习，网络结构搜索则是体现在特征聚合的过程，使用了类似darts的方法进行自适应调整放缩系数。ECCV20

文章总结了几种蒸馏范式：

最后一种是本文提出的方法，普通的特征蒸馏都是每个block的最后feature map进行互相蒸馏，本文认为可以让教师网络的整个block都引导学生网络。

具体如何将教师网络整个block中所有feature map进行聚合，本文使用的是darts的方法进行动态聚合信息。(a) 图展示的是对group i进行的可微分搜索过程。(b)表示从教师到学生的路径loss构建，使用的是CE loss。(c)表示从学生到教师网络的路径loss构建，使用的是L2 Loss。其中connector实际上是一个1x1 卷积层。

（ps: connector让人想到VID这个工作）

❽ 网络架构搜索

        作为计算智能方法的代表，起源于上个世纪四十年代的人工神经网络经历了五六十年代的繁荣，七十年代的低潮，八十年代的再次复苏，到近十年的广泛关注，如今已经成为理论日趋完善，应用逐步发展的前沿方向。Hinton 等人2006 年在《Science》上发表的文章引发了深度神经网络研究的热潮。面对大数据的诸多挑战，以深度信念网络、卷积神经网络和递归神经网络为代表的深度神经网络模型在很多应用领域展示出明显的优势和潜力，特别是随着数据量和数据维数的增加，深度学习的优势愈加突出。例如，Google 借助深度学习开发的AlphaGo 能从海量的对弈中学习正确的决策，微软语音识别采用深度学习使识别错误率显着降低，网络基于深度学习开发的机器人“小度”在跨年龄人脸识别上超越了人类。

       经过多年的研究和发展，基于人工神经网络的识别方法也逐渐取代传统的模式识别方法。神经网络已成为当前比较先进的技术，用来解决许多具有挑战性的识别任务如文字识别、语音识别、指纹识别、遥感图像识别、人脸识别、手写体字符的识别等。其中主流的神经网络模型有卷积网络和递归神经网络，卷积神经网络由 Yann LeCun 在 1998 年提出，自从 AlexNe 在 2012 年的 ImageNet 比赛中使用了这一架构拔得头筹，卷积神经网络迅速流行起来并广泛应用到视觉任务。如今，最先进的卷积神经网络算法在进行图像识别时，甚至可以超过人类肉眼识别的准确率。递归神经网络网络提出于 1990 年，被视为循环神经网络的推广，递归神经网络可以引入门控机制以学习长距离依赖，适用于包含结构关系的机器学习任务，在序列识别方面有重要应用。

        深度神经网络和深度学习算法因为在科研工作与工程任务中都取得了显着的效果从而大受欢迎。它取代了传统的手动提取特征方法，够端到端地自动提取和学习特征。而其中取得显着成功的深度神经网络通常是由于它们成功的架构设计，研究的工作重心从提取特征转移到了寻找最优架构上。通常来说，模型的容量越大网络的性能就越好，能够拟合任意函数。因此为了提升网络性能，网络结构被设计的越来越复杂。例如，VGG-16 约有1.4亿浮点数参数，整个网络占用超过500兆存储空间，需要153亿次浮点操作来处理一个$224\times224$大小的图像。虽然更深的网络层次和复杂的拓扑结构能够更有效地学习特征，但是网络规模的增大意味着人工设计网络时需要花费更多时间来反复试验，即使是专家也需要大量的资源和时间来创建性能良好的模型。

        神经网络架构搜索(NAS)是一种自动化学习网络结构的新方法，用于减少繁重的网络设计成本。目前为止，NAS方法设计的网络在识别任务上的表现已经超过了人工设计的架构。NAS可以视作自动机器学习（AutoML）的子领域，与超参数优化和元学习有明显的重叠。不同的NAS方法的区别主要在于三个维度：搜索空间、搜索策略和性能评估，我们对此分别进行了调研。

        搜索空间：搜索空间定义了网络的所有可选结构和操作，通常指数级大，甚至无界。在设计搜索空间时结合先验知识，即参考现有的针对当前任务的先进结构设计知识，能够有效减小搜索空间并简化搜索。但这也会引入偏好，从而限制网络学习到超越当前人类知识的结构。

        搜索策略：定义搜索空间后，搜索策略引导寻找高性能的模型架构，其中的难点是保证探索和利用的平衡。一方面，希望快速找到性能良好的架构，另一方面，需要避免过早收敛到次优的架构。

        性能评估：NSA的目的是找到一个在未知数据上具有良好泛化性能的架构，一旦模型生成，就需要对其性能进行评估。直观的方法是在训练集上训练收敛，并在验证集上得到其性能，但是这种方法会耗费巨大的算力，从而限制了可探索的网络结构。一些先进的方法关注于减小性能评估时的计算代价，但会引入误差。因此，平衡评价的效率和效果是一个需要研究的问题。

       从计算的角度来看，神经网络代表了一个通过一系列操作将输入变量 x 转换为输出变量 y 的函数。基于计算图语言，神经网络可以表示为一个有向无环图(DAG)，其中每个节点表示一个张量 z ，通过边连接其父节点 I(k)，每条边表示从候选操作集O中选择的一个操作 o 。节点 k 的计算公式为：

        其中候选操作集合$O$主要包括卷积、池化、激活函数、跳跃连接、拼接、加法等基本操作。此外，为了进一步提高模型的性能，一些先进的人工设计模块也可以作为候选操作，如深度可分离卷积、膨胀卷积、组卷积。基于操作的类型可以选择不同的超参数，例如输入节点选取、卷积核数量、尺寸、步长等。不同的搜索空间设计，选择和组合操作的方法也不同所以参数化的形式也不一样。一般来说，一个好的搜索空间应该能够排除人类的偏见，并且足够灵活，能够覆盖更广泛的模型架构。

        全局搜索空间搜索一个完整的网络结构，具有很高的自由度。最简单的例子是链式搜索空间，见图1左。固定的数量的节点按顺序堆叠，只有前一个节点的输出提供给后一个节点作为输入，每个节点代表一个层，并具有指定的操作。右图引入更复杂的跳跃链接和多支路结构，此时当前节点可以结合前面所有节点的输出作为输入，使得搜索的自由度显着增大。许多网络都是多分支网络的特例，比如

1）链式网络： ；

2）残差网络： ；

3）DenseNets：

        虽然整体结构搜索很容易实现，但它也有一些缺点。首先，搜索空间的大小与网络深度是指数级关系，寻找泛化性能好的深度网络计算成本高。此外，生成的架构缺乏可迁移性和灵活性，在小型数据集上生成的模型可能不适合较大的数据集。有研究提出，初始架构的选择在搜索全局结构时十分重要。在适当的初始条件下，可以获得与单元搜索空间性能相当的架构，但是初始架构选择的指导原则仍然不明确。

        基于单元的搜索空间受启发于人工设计知识，许多有效的网络结构都会重复使用固定结构，例如在RNNs中重复LSTM块或堆叠残差模块。因此可以只搜索这样的重复单元(cells)，整个神经结构的搜索问题被简化为在单元搜索空间中搜索最优的单元结构，从而极大的减小搜索空间。大多数研究对比了基于全局搜索空间和单元搜索空间的实验结果，证明在基于单元的搜索空间中可以获得良好的性能。单元搜索空间的另一个优势是能方便地在数据集和任务之间进行泛化，因为通过增减卷积核和单元的数量，架构的复杂性几乎可以任意改变。

        NASNet是最早提出的单元搜索空间之一，也是当前最热门的选择，之后的大部分改进只是在此基础上对操作选择和单元组合策略进行了少量修改。如图2所示，它由两种单元组成，分别为保持输入特征维度的标准单元(normal cell)，和减小空间维度的简化单元(rection cell)。每个单元由b个块组成，每个块由它的两个输入和相应的操作定义。可选的输入包括前两个单元的输出和单元中先前定义的块的输出，所以它支持跨单元的跳跃连接。未使用的块被连接起来并作为单元格的输出，最终通过预定义好的规则级联这些单元。

        不同于上面将单元结构按照人工定义的宏结构进行连接，层次结构是将前一步骤生成的单元结构作为下一步单元结构的基本组成部件，通过迭代的思想得到最终的网络结构。Hier提出的层次搜索空间，通过合并低层单元生成高级单元实现单元级别和网络级别的同时优化。此方法具体分为3层。第一层包含一系列的基础操作；第二层通过有向无环图连接第一层的基础操作，构建不同的单元，图结构用邻接矩阵编码；第三层是网络级的编码，决定如何连接第二层的单元，组合成一个完整的网络。基于单元的搜索空间可以看作是这种层次搜索空间的一个特殊情况。

        强化学习方法（RL）能够有效建模一个顺序决策的过程，其中代理与环境相互作用，代理学会改善其行为从而使目标回报最大化。（图3）给出了一个基于强化的NAS算法的概述。代理通常是一个递归神经网络(RNN)，它在每一步t执行一个动作 来从搜索空间采样一个新的样本，同时接收状态 的观察值和环境中的奖励 ，以更新代理的采样策略。这种方法非常适合于神经结构搜索，代理的行为是生成神经结构，行为空间是搜索空间，环境是指对代理生成的网络进行训练和评估，奖励是训练后的网络结构对未知数据的预测性能，在最后一个行为之后获得。

4.2进化算法

        进化算法（EA）是一种成熟的全局优化方法，具有较高的鲁棒性和广泛的适用性。许多研究使用进化算法来优化神经网络结构。进化算法演化了一组模型，即一组网络；在每个世代中，至少从这组模型中选择一个模型，作为亲本在突变后作为生成子代。在对子代进行训练之后，评估它们的适应度并将它们添加到种群中。

        典型的进化算法包括选择、交叉、变异和更新等步骤。选择时一般使用联赛选择算法对父类进行采样，其中适应性最好的一个作为亲本。Lemonade对适应度使用核密度估计，使网络被选择的概率与密度成反比。交叉方式因编码方案的不同而不同。突变针对的是亲本的部分操作，例如添加或移除层，改变层的超参数，添加跳跃连接，以及改变训练超参数。对于产生的后代，大多数方法随机初始化子网络权重，而Lemonade把父网络学习到的权重通过使用网络态射传递给其子网络。Real等人让后代继承其父母的所有不受突变影响的参数，虽然这种继承不是严格意义上的功能保留，它可以加速学习。生成新的网络的同时需要从种群中移除一些个体。Real等人从群体中移除最差的个体，AmoebaNet移除最老的个体。也有一些方法定期丢弃所有个体，或者完全不移除个体。EENA通过一个变量调节最坏模型和最老模型的删除概率。

        基于代理模型的优化方法(SMBO)用一个代理模型来近似目标函数。即不需要训练采样到的网络结构，只需要训练一个代理模型，使用代理模型预测网络的性能。通常在实践中只需要得到架构的性能排序，而不一定要计算出具体的损失值，因此代理模型只需要预测相对得分并选出有前途的候选架构。然后只对预测性能好的架构进行评估，用它们的验证精度更新代理模型，这样只需要完全训练少量候选架构，大大减少搜索时间。代理模型通常训练为最小化平方误差：

        贝叶斯优化（BO）是用于超参数优化的最流行的方法之一。最经典的是基于高斯过程的BO，生成的神经结构的验证结果可以建模为高斯过程，然而，基于高斯的BO方法在观察次数上的推理时间尺度是立方的，并且不擅长处理变长神经网络。有些工作使用基于树或者随机森林的方法来在非常高维的空间中高效的搜索，并且在很多问题上取得了优异的效果。Negrinho利用其搜索空间的树形结构，并使用蒙特卡洛树搜索。虽然没有完整的比较，但初步的证据表明这些方法可以超越进化算法。

        上面的搜索策略搜是从一个离散的搜索空间提取神经结构样本。DARTS提出搜索空间的连续松弛，在连续可微的搜索空间上搜索神经架构如图4所示，并使用如下softmax函数来松弛离散空间:

 

松弛后，架构搜索的任务转化为网络架构与神经权值的联合优化。这两类参数分别在训练集和验证集上交替优化，表示为一个双层优化问题。

        为了对搜索过程进行引导，必须对产生的神经网络性能进行评估。一种直观的方法是训练网络至收敛，然后评估其性能。但是，这种方法需要大量的时间和计算资源。因此提出了几种加速模型评估的方法。

        为了减少计算负担，可以用实际性能的低质近似来估测性能。实现方法包括: 缩短训练时间、选择数据集的子集、在低分辨率的图像上训练、每层使用更少的通道数、堆叠更少的单元结构。在低质条件下搜索到的最优网络或单元，构建出最终结构在数据集上重新训练，得到目标网络。虽然这些低精度的近似能够减少训练花费，但性能被低估的同时不可避免地引入了误差。最近的研究表明，当这种低质评价与完全评价之间的差异较大时，网络性能的相对排名可能变化很大，并强调这种误差会逐渐增加。

        早停技术最初用于防止过拟合。一些研究通过在训练初期预测网络性能，在验证集上预计表现不佳的模型被强制停止训练，以此来加速模型评估。一种在早期估计网络性能的方法是学习曲线外推法。Domhan 等提出训练初期对学习曲线进行插值，并终止那些预测性能不好的网络结构的训练。Swersky等在评估学习曲线的好坏时，把网络架构的超参数作为参考因素。另一种方法根据梯度的局部统计信息实现早期停止，它不再依赖验证集，允许优化器充分利用所有的训练数据。

        代理模型可以被训练用预测网络性能。PNAS提出训练一个代理网络（LSTM）来预测网络结构的性能，他不考虑学习曲线而是基于结构的特点来预测性能，并在训练时推断更大的网络结构。SemiNAS是一种半监督NAS方法，利用大量的未标记架构进一步提高搜索效率。不需要在对模型进行训练，只使用代理模型来预测模型精度。预测网络性能的主要难点是：为加快搜索过程，需要在对较大的搜索空间进行较少的评估的基础上进行良好的预测。当优化空间过大且难以量化，且对每个结构的评估成本极高时，基于代理的方法就不适用。

        代理模型还可以用来预测网络权重。超网络（Hypernetworks）是一种神经网络，被训练来为各种架构生成网络权值。超网络在搜索过程中节省了候选体系结构的训练时间，因为它们的权值是通过超网络的预测得到的。Zhang等人提出了一种计算图表示，并使用图超网络(GHN)比常规超网络(SMASH)更快更准确地预测所有可能架构的权值。

        权重继承是让新网络结构继承之前训练完成的其他网络结构的权值。其中一种方法是网络态射，一般的网络设计方法是首先设计出一个网络结构，然后训练它并在验证集上查看它的性能表现，如果表现较差，则重新设计一个网络。可以很明显地发现这种设计方法会做很多无用功，因此耗费大量时间。而基于网络态射结构方法能够在原有的网络结构基础上做修改，修改后的网络可以重用之前训练好的权重。其特殊的变换方式能够保证新的网络结构还原成原网络，因此子网络的表现至少不会差于原网络，并且能在较短的训练时间内继续成长为一个更健壮的网络。具体地，网络射态能够处理任意非线性激活函数，可以添加跳跃连接，并且支持添加层或通道得到更深或更宽的等效模型。经典的网络态射只能使网络变大，这可能导致网络过于复杂，之后提出的近似网络态射通过知识蒸馏允许网络结构减小。进化算法经常使用基于网络态射的变异，或者直接让孩子继承亲本的权重，再执行一般变异操作，这样产生的网络具有一个更好的初始值，而不用重头开始训练。

❾ NAS 新方法：用 Petridish 自动搜索最佳神经网络结构

更多信息请查看原文：https://www.yanxishe.com/TextTranslation/2358?from=jianshu0318

神经架构搜索（NAS）是现代深度学习技术中最热门的趋势之一。从概念上讲，NAS方法专注于为给定问题和数据集找到合适的神经网络体系结构。可以将其视为使机器学习架构本身成为机器学习问题。近年来，NAS技术的数量激增，正在侵入主流的深度学习框架和平台。但是，第一代NAS模型在将经过一个域测试的神经网络改编为另一个域时遇到了许多挑战。因此，寻找新的NAS技术可能会继续推动该领域的新创新。最近， Microsoft Research推出了Petridish ，这是一种NAS算法，用于优化神经网络体系结构的选择。

之所以存在NAS，是因为设计神经网络的过程非常消耗资源。在当前的深度学习生态系统中，依赖于知名的，性能最高的网络，在您的数据集看起来可能与之前已证明的网络所遇到的一切完全不同的空间中，提供的保证很少。在许多情况下，NAS方法通常需要数百个GPU天才能找到好的架构，并且几乎比随机搜索更好。机器学习中还有一个类似于NAS技术挑战的问题：特征选择。

就像NAS方法一样，特征选择算法需要为给定特定数据集的模型提取相关特征。显然，选择特征比神经网络体系结构要简单得多，但是特征选择技术的许多原理为Petridish团队提供了灵感。

NAS简史

鉴于NAS方法最近很流行，许多人可能认为NAS是一门新兴学科。毫无疑问，自2016年以来，NAS经历了复兴， 谷歌发表了有关强化学习的着名NAS论文 。但是，其许多起源可以追溯到1980年代后期。 NAS最早的论文之一是1988年的“ 用于识别问题的自组织神经网络 ”。从那里开始，这个领域看到了一些出版物，概述了有趣的技术，但是直到Google推动NAS引起了主流机器学习社区的关注。如果您对NAS方法的发布历史感兴趣， AutoML Freiburg-Hannover网站 将提供迄今为止最完整的汇编之一。

NAS的两种类型：前向搜索与后向搜索

探索NAS空间时，有两种基本类型的技术：向后搜索和正向搜索。向后搜索方法是实现NAS方法的最常用方法。从概念上讲，向后搜索NAS方法从一个超级图开始，该图是所有可能架构的结合，并学会通过梯度下降或强化学习逐步降低不必要的边缘的权重。尽管此类方法极大地减少了NAS的搜索时间，但它们在首先需要创建人名图需要人员领域知识的情况下具有主要局限性。

前向搜索NAS方法试图将神经网络体系结构从小型扩展到大型。这种方法类似于深度学习模型中特征选择算法的许多原理。与后向方法不同，前向方法不需要预先指定有限的搜索空间，因此在从现有模型中进行热启动以及进行终生学习时，前向方法更加通用并且更易于使用。

培养皿

Petridish是一种前向搜索NAS方法，受特征选择和梯度增强技术的启发。该算法的工作原理是创建一个模型库以供选择，作为其搜索输出，然后合并停止前进和停止梯度层以更有效地识别用于构建该画廊的有益候选者，并使用异步训练。

Petridish算法可以分为三个基本阶段：

阶段0：Petridish从某些父模型开始，这是一个很小的人为编写的具有一到两层的模型，或者是领域专家已经在数据集中找到的模型。

阶段1：Petridish使用停止梯度层和停止向前层将候选层连接到父模型，并对其进行部分训练。候选层可以是搜索空间中的任何操作包。使用停止梯度层和停止向前层可以在不影响模型的正向激活和反向梯度的情况下累积相对于候选对象的梯度。如果没有停止梯度层和停止向前层，将很难确定哪些候选层对父模型的性能有所贡献，并且如果您想查看它们各自的贡献，则会需要单独的培训，从而增加了成本。

阶段2：如果发现某个特定候选者或一组候选者对该模型有利，那么我们将移除停止梯度和停止前进层以及其他候选者，并训练模型收敛。训练结果被添加到散点图中，自然而然地产生了帕累托边界的估计。

帕累托边界的合并是对Petridish的有趣补充，它使研究人员可以更轻松地确定实现特定任务最佳性能组合的体系结构。 帕累托边界的估计使我们更容易看到准确性，FLOPS，内存，延迟和其他条件之间的折衷。 在下图中，沿着Pareto边界（红线）的模型构成了搜索输出，这是一个模型库，研究人员和工程师可以从中选择。

Microsoft Research在不同的NAS基准测试中评估了Petridish。 具体而言，使用CIFAR-10数据集对Petridish进行了图像分类模型测试，然后将结果传输到ImageNet。 在CIFAR-10上，Petridish的平均测试错误率为2.75±0.21％，最佳结果为2.51％，仅在流行的单元格搜索空间上使用3.2M参数和5天的GPU搜索时间即可获得最佳测试结果。 将CIFAR-10上找到的模型转移到ImageNet时，Petridish仅在宏搜索空间上使用4.3M参数即可达到28.7±0.15％的top-1测试错误，最佳结果为28.5％。 初始测试能够胜过现有的NAS方法，同时保持可行的计算成本水平。

Petridish是NAS技术快速发展的生态系统中有趣的补充。 Petridis依赖于前向搜索模型这一事实使它更加引人入胜，因为大多数流行的NAS方法都依赖于向后搜索技术。 微软已经将NAS模型作为其Azure ML平台的一部分，因此有趣的是Petridish成为了该堆栈的一部分。

❿ NAS网络存储的整体结构

1、网络附属存储（NAS）包括核心处理器，文件服务管理工具，一个或者多个的硬盘驱动器。
2、 NAS在一个LAN上占有自己的节点。
3、 NAS设备包括存储器件（例如磁盘阵列、CD/DVD驱动器、磁带驱动器 或可移动的存储介质）和集成在一起的简易服务器(功能服务器)，可用于实现涉及文件存取及管理的所有功能。