前向神经网络是神经网络研究中的一类重要模型，已成为解决模式识别、分类问题和函数逼近等的基本工具。前向神经网络能否有效应用，其中一个基础核心问题就是如何选择高效的学习算法。   在线BP算法是迄今最为广泛应用的一类学习算法，有关在线BP学习算法的收敛性研究一直是神经网络学习问题的研究热点之一。虽然研究人员已做了大量工作，但所得结果仅涉及到一些特殊的网络或给出非常严格的条件。针对于此，本项目旨在对一般情形下该算法收敛性进行确定性分析与研究，从而进一步明晰在线BP训练过程的收敛行为，进而可以在一定程度上保证神经网络技术解决问题的有效性。主要研究内容为：1）无穷小步长情形在线BP算法的弱收敛性和强收敛性。利用泛函分析理论和点集拓扑理论，结合在线BP算法的基本性质，分别在更弱的条件下证明无穷小步长情形在线BP算法的两个弱收敛结果，以及在四个不同条件下证明无穷小步长情形在线BP算法的强收敛结果。所获结果深化并统一了已有的在线BP算法的收敛性结果，尤其是对已有的在线BP算法收敛性的重要结论做出了实质性改进。2）动态步长情形在线BP算法的全局弱收敛性和全局强收敛性。首先建立了一种新的步长规则--动态步长，并指出这一步长弱化了一般形式无穷小步长所需满足的条件。其次，在更弱的条件下证明动态步长情形在线BP算法的全局弱收敛性：算法所产生的误差函数序列收敛于误差全局极小值，以及全局强收敛性：算法所产生的权值序列收敛于某一误差全局极小值点。所获结果进一步深化了在线BP算法的收敛性理论，同时所引进的理论与方法对于研究广泛类BP算法也有重要的方法论意义。   针对于传统学习算法收敛速度慢、易陷于局部极小等局限性，本项目展开了关于全新快速学习算法的提出、发展及理论分析，以及搭建统一学习模型方面的系统研究。主要研究内容包括：1）ELM算法的提出与发展。本项目提出了一种全新的学习算法--ExtremeLearningMachine（ELM）。ELM算法是通过引入"一个学习系统的隐变量无需迭代"的重要思想而将其化为一个线性学习系统，从而不仅减少参数设置和选择，而且大大提高学习速度并保证泛化能力的一类快速学习算法。该算法不仅适用于sigmoid，RBF,sin等连续可微的激活函数类，而且也适用于threshold这类不连续的激活函数，从而克服了基于梯度下降的学习算法（如BP算法）不适用于不可微函数类的这一缺憾。在该算法的进一步发展中，变量x的定义域从"实值域"扩展为"复值域"。2）ELM算法的网络结构确定及其逼近能力研究。本项目提出了节点增长型与节点自适应调整型两大类网络结构确定方法，并对其全局逼近能力进行了系统研究。①节点增长型：首先提出了I-ELM算法并证明其全局逼近能力。在I-ELM算法中，隐节点随机选取并逐个添加，直至达到最大隐节点数或期望误差。所获全局逼近理论减少了对激活函数的限制，即无论激活函数是否连续、是否可导、是否为sigmoidal型，均可保证该算法的全局逼近性。在I-ELM的基础上，采用不同的隐节点增长方式又分别提出了CI-ELM，OCI-ELM和EI-ELM等算法，并对上述算法的全局逼近能力进行了系统研究。②节点自适应调整型：不同于传统的调整网络结构方法（即在小网络上不断增长隐节点或从大网络中不断减少隐节点），本项目提出了一种新的可以自适应增长网络隐节点个数的算法AG-ELM，并证明了该算法的全局逼近能力。该算法为获得更紧凑的网络结构与更好的泛化能力之间提供了一种平衡解。所得理论结果推广了I-ELM算法已有的全局逼近性结论，不仅对更广泛的激活函数适用，而且可以逼近更大范围的函数形式。最重要的是，所获结果为采用随机机制学习算法类的逼近能力的研究提供了一个基本理论框架。为了进一步提高AG-ELM算法的性能，本项目又进一步提出了一种动态调整网络隐节点个数并逐步更新输出层权重的新算法D-ELM，该算法在保持泛化能力的前提下可以获得更紧凑的网络结构。3）搭建统一学习模型。将核学习的思想引入ELM算法，表明ELM算法中的特征映射可以使用包括随机隐节点和核函数在内的更为广泛的形式。基于这一理论保障，ELM算法搭建了一个可以直接用于解决回归问题、两类分类问题和多类分类问题的统一学习模型。所获结果为ELMs技术在更多不同领域的实际应用提供了新的思路和方法。   本项目研究获得了国家自然科学基金委、陕西省科技厅、陕西省教育厅等多家政府部门及新加坡教育部共10项项目资助；获陕西高等学校科学技术奖一等奖1项；发表SCI检索论文20篇（SCI一区7篇，SCI二区4篇），其中10篇论文被引1696次（他引1548次，自引148次）。论文"ExtremeLearningMachineforRegressionandMulti-ClassClassification"获评为ESI近两年热点文章及ESI近十年高被引用论文榜；培养博士研究生6名、硕士研究生14名。