非线性除了神经网络还有什么工具

❶ 请问有哪些常用的数据挖掘技术

数据挖掘的技术有很多种，按照不同的分类有不同的分类法。下面着重讨论一下数据挖掘中常用的一些技术：统计技术，关联规则，基于历史的分析，遗传算法，聚集检测，连接分析，决策树，神经网络，粗糙集，模糊集，回归分析，差别分析，概念描述等十三种常用的数据挖掘的技术。
1、统计技术
数据挖掘涉及的科学领域和技术很多，如统计技术。统计技术对数据集进行挖掘的主要思想是：统计的方法对给定的数据集合假设了一个分布或者概率模型(例如一个正态分布)然后根据模型采用相应的方法来进行挖掘。
2、关联规则
数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之I司存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。
3、基于历史的MBR(Memory-based Reasoning)分析
先根据经验知识寻找相似的情况，然后将这些情况的信息应用于当前的例子中。这个就是MBR(Memory Based Reasoning)的本质。MBR首先寻找和新记录相似的邻居，然后利用这些邻居对新数据进行分类和估值。使用MBR有三个主要问题，寻找确定的历史数据；决定表示历史数据的最有效的方法；决定距离函数、联合函数和邻居的数量。
4、遗传算法GA(Genetic Algorithms)
基于进化理论，并采用遗传结合、遗传变异、以及自然选择等设计方法的优化技术。主要思想是：根据适者生存的原则，形成由当前群体中最适合的规则组成新的群体，以及这些规则的后代。典型情况下，规则的适合度(Fitness)用它对训练样本集的分类准确率评估。
5、聚集检测
将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其它簇中的对象相异。相异度是根据描述对象的属眭值来计算的，距离是经常采用的度量方式。
6、连接分析
连接分析，Link analysis，它的基本理论是图论。图论的思想是寻找一个可以得出好结果但不是完美结果的算法，而不是去寻找完美的解的算法。连接分析就是运用了这样的思想：不完美的结果如果是可行的，那么这样的分析就是一个好的分析。利用连接分析，可以从一些用户的行为中分析出一些模式；同时将产生的概念应用于更广的用户群体中。
7、决策树
决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法。
8、神经网络

在结构上，可以把一个神经网络划分为输入层、输出层和隐含层。输入层的每个节点对应—个个的预测变量。输出层的节点对应目标变量，可有多个。在输入层和输出层之间是隐含层(对神经网络使用者来说不可见)，隐含层的层数和每层节点的个数决定了神经网络的复杂度。
除了输入层的节点，神经网络的每个节点都与很多它前面的节点(称为此节点的输入节点)连接在一起，每个连接对应一个权重Wxy，此节点的值就是通过它所有输入节点的值与对应连接权重乘积的和作为—个函数的输入而得到，我们把这个函数称为活动函数或挤压函数。
9、粗糙集
粗糙集理论基于给定训练数据内部的等价类的建立。形成等价类的所有数据样本是不加区分的，即对于描述数据的属性，这些样本是等价的。给定现实世界数据，通常有些类不能被可用的属性区分。粗糙集就是用来近似或粗略地定义这种类。
10、模糊集
模糊集理论将模糊逻辑引入数据挖掘分类系统，允许定义“模糊”域值或边界。模糊逻辑使用0.0和1.0之间的真值表示一个特定的值是一个给定成员的程度，而不是用类或集合的精确截断。模糊逻辑提供了在高抽象层处理的便利。
11、回归分析
回归分析分为线性回归、多元回归和非线性同归。在线性回归中，数据用直线建模，多元回归是线性回归的扩展，涉及多个预测变量。非线性回归是在基本线性模型上添加多项式项形成非线性同门模型。
12、差别分析
差别分析的目的是试图发现数据中的异常情况，如噪音数据，欺诈数据等异常数据，从而获得有用信息。
13、概念描述
概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别，生成一个类的特征性描述只涉及该类对象中所有对象的共性。

❷ 要分析多输入，多输出和非线性系统常用什么方法

现 代控制系统对传感器的准确度、稳定性和工作条件等方面提出了很高的要求。然而，从严格意义上来说，目前绝大多数传感器特性都不理想，其输入输出特性大多为 非线性关系。为此，人们通过一些方法来进行非线性补偿和修正。特别是近年来，随着神经网络的发展，有不少学者提出了基于神经网络进行非线性传感特性校正的 方法。这些方法一般是用一个多层的前馈神经网络去映射传感器特性曲线的反函数作为校正环节，算法相对简单，实现容易。 但是通过分析神经网络的基本工作原理，笔者认为该方法依然存在一些不足［1、6］：1)在训练过程中神经网络极容易陷入局部最小，而不能得到全局最小；2)神经网络过分依赖训练数据的质量和数量，但大多数情况下样本数据十分有限，由于噪声影响，存在数据不一致情况，对神经网络的训练结果影响较大；3)输入数据往往是高维的，而训练结果仅是输入空间的稀疏分布，所以大量的高维数据必然会大大增加算法的训练时间。 支持向量机SVM［4，5］(Support Vector Machine)是基于统计学习理论的一种新的学习方法，最早由Vapnik教授及其合作者于上世纪90年 代中期提出。由于其优良特性，最近引起了许多研究者的兴趣。支持向量机主要用于模式识别，目前在该方面成功的范例较多；与模式识别相比，支持向量机用于函 数拟合的成功应用较少。和神经网络相比，支持向量机是基于统计学习理论的小样本学习方法，采用结构风险最小化原则，具有很好的泛化性能；而神经网络是基于 大样本的学习方法，采用经验风险最小化原则。 将支持向量机函数拟合技术应用于传感器非线性特性校正的研究刚起步，国内尚无先例。如何在传感器非线性特性校正领域充分发挥支持向量机函数拟合的技术优势，解决神经网络方法中的缺陷是一个值得研究的问题。 1支持向量机拟合基本理论 1.1线性函数拟合问题 与支持向量机的研究最初是针对模式识别中的线性可分问题［5］相似，先分析线性样本点的线性函数拟合问题，拟合函数以线性函数的特性出现，可用形式＝ωTx＋b表示。假设所有训练数据｛xi，yi｝能在精度ε下无误差地用线性函数拟合，即 统计学理论指出，在这一优化目标是最小化ωTω／2时可取得较好的推广能力。考虑到实际应用中允许拟合误差的情况，则支持向量机优化目标可以表示为［3］  式中c为平衡因子，为惩罚因子，惩罚函数L(·)通常采用如下的离散定义形式(如图1所示) n，进一步采用对偶优化方法，最大化目标函数 小部分不为0，它们对应在不灵敏区边界上或外 式中，偏移量b可由支持向量(xi，yi)及精度ε求得，SVs表示支持向量集。 1.2非线性函数拟合问题 对于非线性函数拟合基本思想是：可以通过非线性变换x→φ(x)将原拟合问题映射到某个高维特征空间中，然后在该空间中进行线性拟合，即 在支持向量机中，引入核函数(Kernel function)来简化非线性逼近。在高维特征空间中，线性问题中的内积运算可用核函数来代替。核函数满足k(x,x′)＝〈φ(x),φ(x′)〉，这样目标函数式(4)就变成了式(6)所示的形式： 2传感器非线性误差校正原理［6］ 大多数传感系统都可用y＝f(x)，x∈(ζα，ζb)表示，其中y表示传感系统的输出，x表示传感系统的输入，ζα，ζb为输入信号的范围。y信号可经过电子设备进行测量，目的是根据测得的y信号求得未知的变量x，即表示为x＝y－1(y)。在实际应用过程中，绝大多数传感器传递函数为非线性函数。 为了消除或补偿传感系统的非线性特性，可使其输出y通过一个补偿环节。该模型的特性函数为u＝g(y)，其中u为非线性补偿后的输出，它与输入信号x呈线性关系。很明显函数g(*)也是一个非线性函数，并使得补偿后的传感器具有理想特性。在实际应用中，非线性补偿函数g(*)的表达式难以准确求出，但可以通过建模来实现，补偿模型的建立就成了校正传感器非线性特性的关键。 笔者根据支持向量机的函数拟合能力，提出了基于支持向量机的传感器非线性特性校正方法。 3仿真与应用研究 该文使用支持向量机对两个非线性传感系统的非线性误差进行校正，取得了较满意的效果。 3.1一维传感器非线性校正 用实验法得出一组训练样本(见表1)，在表1中x表示传感系统的输入量，其值由精度较高的设备产生，在这里可作为标准量，y值为传感系统的输出量。 设计支持向量机对该传感系统进行非线性校正，传感器输出信号y经过该SVM的处理相当于进行了一个逆传感模型，支持向量机的输出u作为非线性补偿后的输出，它与输入信号x的误差应更小。 由此可得到一组训练样本(yi，xi)，其中yi表示支持向量机的输入，xi为拟合的目标。 设计支持向量机时，精度ε＝0.02，核函数选用多项式k(xi，x)＝(xi·x＋1)6，传感器非线性校正曲线如图3所示，由此可见用该方法提高了传感器的精度。 3.2二维图像传感器非线性校正 有二维图像传感器，其校正前的输出如图4a所示，而实际像点应在栅格线的交叉点。从图4a不难看出，该传感器存在着严重的非线性，且这种非线性不能以解析式表达。 如式(1)所示，文中介绍的支持向量机每个学习样本的输入数据xi是一个多维向量，样本输出yi是一个数而非向量。待校正的二维图像传感器校正样本｛(xa，xb)，(ya，yb)｝是二维输入二维输出的数据，因此，不能直接用支持向量机进行校正。 笔者设计两个SVM来解决该问题，一个SVMa用于校正a方向上的误差，其学习样本为｛(xa，xb)，ya｝；另一个SVMb用于校正b方向上的误差，其学习样本为｛（xa，xb)，yb｝。两个SVM设ε＝0.01，核函数均选用多项式k(xi，x)＝(xi·x＋1)4。 用SVMa和SVMb分别校正样本数据在a和b方向非线性误差，校正结果如图4b所示。 比较图4b与图4a，校正后的二维图像传感器的非线性已得到校正，精度令人满意。  4结束语 将SVM技术应用于传感器非线性特性校正的研究刚起步，国内尚无此 类文献。毕竟支持向量机理论和应用还是一个较新的领域，仍处于理论和实验研究 阶段。笔者认为支持向量机今后的研究应该集中在以下几个方面：①核函数的构造与选择； ②大样本条件下SVM算法研究；③惩罚函数的改进。

❸ 神经网络的常见的工具

在众多的神经网络工具中，NeuroSolutions始终处于业界领先位置。它是一个可用于windows XP/7高度图形化的神经网络开发工具。其将模块化，基于图标的网络设计界面，先进的学习程序和遗传优化进行了结合。该款可用于研究和解决现实世界的复杂问题的神经网络设计工具在使用上几乎无限制。

❹ 非线性是神经网络的王道啥意思

神经元的广泛互联与并行工作必然使整个网络呈现出高度的非线性特点。在客观世界中，许多系统的输入与输出之间存在着复杂的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。设计合理地神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任何复杂的非线性映射。神经网络的这一优点能使其可以作为多维非线性函数的通用数学模型。该模型的表达式非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。

❺ 深度学习可以解决非线性问题么

深度学习已经在计算机视觉、语言识别和自然语言理解等多个领域取得了巨大的成就。深度学习的概念源于人工神经网络的研究。深度学习结构包含一个多隐层的多层感知器。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出。基于深度信念网络(DBN)提出非监督贪婪逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习就是一种特征学习方法，把原始数据通过一些简单的但是非线性的模型转变成为更高层次的，更加抽象的表达。

深入介绍深入学习

深入研究深度学习，发现其包含三个核心概念：多层组合、端到端的学习和分布式表示。

多层组合

多层表示更符合人类的学习方式，神经网络作为其中的一种，可以从一个单一的感知输入中产生多种理解，例如一个单词的发音（与其类比，深度学习具有惊人的相似）。从一个单词的发音到大脑的理解之间存在多个隐层，这与深度学习的过程很一致。多层表示中最令人兴奋的一件事情就是，原来在处理数据分类任务的时候，是通过数据科学家建模神经网络，而现在他们可以自动生成数据模型。

当前多数分类、回归等学习方法为浅层结构算法，很多情况下只有一层表示，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）

❻ 数学建模中除了回归、灰色、时间序列、神经网络外还有些啥子预测方法

移动平均法

❼ 非线性拟合能力最好的数学模型是什么 我所知道的比如插值，回归等拟合复杂函数的效果不好，神经网络虽

实际也就敢用2阶的级数来模拟，阶数太高容易受噪声干扰，太低有不能体现非线性系统的特征，我也是遇到你所说的这些问题，说实话吧，神经网络这块虽然人家论文写的很多，但是在控制着要去实用实时性太差，还不如线性的积分法，动态系统( 难以得到样本)中用泰勒级数还可以，静态的系统里就多了，但是神经网络这个对样本需求量太大了，最小二乘和多项式还是能接受的非线性拟合能力最好的数学模型是什么？ 我所知道的比如插值，回归等拟合复杂函数的效果不好，神经网络虽

❽ 非线性系统控制除了鲁棒还有哪些

控制系统与控制理论研究内容涵盖从基础理论到工程设计与实现技术的多个层次，应用遍及从工业生产过程到航空航天系统以及社会经济系统等极其广泛的领域。 控制系统与控制理论主要应用于航空类飞行器控制、人工智能、神经网络技术、模糊控制等。 控制理论与控制工程学科是以工程系统为主要对象，以数学方法和计算机技术为主要工具，研究各种控制策略及控制系统的理论、方法和技术。控制理论是学科的重要基础和核心内容，控制工程是学科的背景动力和发展目标。本学科的智能控制方向主要包括模糊控制、专家系统、神经元网络、遗传算法等方面的研究，特别强调的是上述方法的交叉及其在工业过程控制方面的应用。故障诊断方向主要研究当控制系统一旦发生故障时，仍能保证闭环系统稳定，且满足规定的性能指标。利用获得的实时数据对生产过程进行在线监测及故障诊断，根据系统的运行状态制定相应的控制策略，使系统工作在最佳状态。鲁棒控制方向主要研究被控对象参数变化后，控制系统仍能稳定可靠的工作，并在某种意义下保证系统的最优性。信号处理方向主要研究控制系统中的信号处理问题，包括非线性系统的鲁棒滤波器的设计，自适应滤波器、噪声抵消器、小波分析等。

❾ 求助神经网络做非线性回归问题

样本变量不需要那么多，因为神经网络的信息存储能力有限，过多的样本会造成一些有用的信息被丢弃。如果样本数量过多，应增加隐层节点数或隐层数目，才能增强学习能力。一、隐层数一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。一般来讲应设计神经网络应优先考虑3层网络（即有1个隐层）。一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型，实际上就是一个线性或非线性（取决于输出层采用线性或非线性转换函数型式）回归模型。因此，一般认为，应将不含隐层的网络模型归入回归分析中，技术已很成熟，没有必要在神经网络理论中再讨论之。二、隐层节点数在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。 目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况，而且多数是针对最不利的情况，一般工程实践中很难满足，不宜采用。事实上，各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。研究表明，隐层节点数不仅与输入/输出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。

❿ 除了MATLAB能做BP神经网络，还有其他什么软件能做

在我看来bp神经网络是一种算法，只要是算法就可以用任何软件工具（只要编译器或者解释器支持，c，c++，python，matlab......）来进行实现，只是实现时的复杂程度有区别而已