边界函数是判断的标准。
良好的定义有助于我们开展各种运算。其中各种参数的变化就依赖于迭代的进行,最终能够找到特定的极值。
多类别的分类,一对余的思路,把独特的特征提取出来,其余的视为同一类;然后重复这个过程,知道分解为多个独特的类别。我们的理想是通过这些类别继续进行分类,在高维得到独特的分类。
正则化(regularization)的技术,保留所有的特征,但是减少参数的大小(ude),可以改善或者减少过度拟合问题。这可以使用一定的罚分策略来优化。
我们必须在欠拟合和过度拟合之间寻找一定的平衡,从而使得能够对数据有良好的预测能力,并且能够不断兼容新数据的加入。(理论上越多变量的次数可以形成越好的拟合,高次项导致了过拟合的产生,这是一种分形的性质)我们理想的马尔科夫模型是具有大概的分布,容许少量异常数据的出现,因为这是网络的选择性表达的结果,这也可以参考博弈论的鹰鸽博弈的不同分布的耦合。我们的边界是模糊的。
以上是线性的分类,接下来是非线性的多项式构造。如神经网络、支持向量机等等算法。本质上是对线性的计算的无限多次数的计算的依照优化,通过一定的特征识别来减少无用计算,把更多的资源用于具有更大概率涌现的路径形成。以网络的观点来解释,就是更加关注中心节点的运算,以点带面。(诚然,一般节点的大规模计算也是能够逼近中心节点的计算的结果,但相对来说,投入产出比太低。我们还是遵循马太效应的幂律分布)
也就是说,我们从变量的线性拟合跨越到对分布模式的寻找。对于可能的组合和爆炸性增长的参数计算(。假设我们有非常多的特征,例如大于100个变量,我们希望用这100个特征来构建一个非线性
的多项式模型,结果将是数量非常惊人的特征组合,即便我们只采用两两特征的组合(事实上需要更多的组合),我们也会有接近5000个组合而成的特征。这对于一般的逻辑回归来说需要计算的特征太多了。),我们需要以高维的视角来考虑,这是如同微积分的维度运算:高维函数的简单加减计算对应于低维函数的复杂累加计算(傅里叶级数揭示的一对基底的选择性表达可以以任意精度逼近真实的函数,但问题是计算量太大了,即使是对计算机来说也是不可接受的,因此我们需要提取出高维量来计算,即分布)。
多项式的收敛,即特征组合的数目如同泰勒级数,只考虑一阶和二阶的情况,忽略高阶。
模式识别,选择一个宏观对象,提取出其对应的数学模型,然后选择其中的元素,根据一定的关系(函数定义)组成一定的新的关系,然后构造一定的算法来识别其特征,最终根据一定的判断标准来做出判断。假如我们只选用灰度图片,每个像素则只有一个值,我们可以选取图片上的两个不同位置上的两个像素,然后训练一个逻辑回归算法利用这两个像素的值来判断图片上是否是汽车:假使我们采用的都是50x50像素的小图片,并且我们将所有的像素视为特征,则会有2500个特征,如果我们要进一步将两两特征组合构成一个多项式模型,则会有约25002/2个(接近3百万个)特征。
神经网络篇:
模拟大脑的快速收敛机制,从而对数学空间的大规模的计算提取出高维的特征量,然后在这种高维的层次进行运算,从而做出快速的判断。如我们大脑对各种图片的识别机制。机器智能识别大规模的数据,并在底层进行运算,我们需要训练其模拟我们的思维方式,更准确的说是高维的思维方式(我对于计算机的底层计算往高维层次的遍历方式是不是如同人类的思考过程没有信心,当然我们已经证明对于哺乳动物这是一条可行的路,对于机器的智能进化有很大的参考价值)来减少不必要的计算。这我认为是基于已有的大规模底层运算的基础才能达成的,需要多层次耦合形成悖论式的高维结构,然后才能选择性表达为各种特定的路径。实际上,这也同样依赖于我们神经元的底层计算。我认为概率网络能够做出很好的说明。
神经网络的设想:通过对学习算法的提出来构建各种高维度的功能实现模块。这是一种底层计算的遍历到高维结构,期间我们需要经历大规模的试错和筛选,毕竟高维对低维的关系如同金字塔的不同位置。(层次相似性是我们做出这种转换的基础)而且神经网络的不同模块虽然是分化分布的结果,但其还具有恢复到初始状态的可能性,从而演化出原本不具有的功能,如把耳朵到听觉皮层的神经切断。在这种情况下,将其重新接到一个动物的大脑上,这样从眼睛到视神经的信号最终将传到听觉皮层。
多层次的信息传递和运算(信号的传递,各种投射纤维,神经元的连接),新式的图灵机?还是图灵机的一种应用?神经网络中,神经元的动态连接形成的高维复杂结构可以对应于世界上一切的可能性,然后在一定的规则指导下可以根据一定标准退火坍缩为一定的路径即学习,这是对幂律分布的应用。
这种大脑学习算法,是根据环境的选择性表达和如同自然选择的路径形成,我们可以对基本的神经元的连接来模拟这个过程。即我们将大脑假设