作业帮数据预处理的主要方法有哪些
来源：学生作业帮助网 编辑：作业帮 时间：2024/11/26 05:31:21
数据预处理的主要方法有哪些
数据预处理的主要方法有哪些
数据预处理的主要方法有哪些
1.墓于粗糙集( Rough Set)理论的约简方法 粗糙集理论是一种研究不精确、不确定性知识的数学工具.目前受到了KDD的广泛重视,利用粗糙集理论对数据进行处理是一种十分有效的精简数据维数的方法.我们所处理的数据一般存在信息的含糊性(Vagueness)问题.含糊性有三种:术语的模糊性,如高矮;数据的不确定性,如噪声引起的;知识自身的不确定性,如规则的前后件间的依赖关系并不是完全可靠的.在KDD中,对不确定数据和噪声干扰的处理是粗糙集方法的 2.基于概念树的数据浓缩方法 在数据库中,许多属性都是可以进行数据归类,各属性值和概念依据抽象程度不同可以构成一个层次结构,概念的这种层次结构通常称为概念树.概念树一般由领域专家提供,它将各个层次的概念按一般到特殊的顺序排列. 3.信息论思想和普化知识发现 特征知识和分类知识是普化知识的两种主要形式,其算法基本上可以分为两类:数据立方方法和面向属性归纳方法. 普通的基于面向属性归纳方法在归纳属性的选择上有一定的盲目性,在归纳过程中,当供选择的可归纳属性有多个时,通常是随机选取一个进行归纳.事实上,不同的属性归纳次序获得的结果知识可能是不同的,根据信息论最大墒的概念,应该选用一个信息丢失最小的归纳次序. 4.基于统计分析的属性选取方法 我们可以采用统计分析中的一些算法来进行特征属性的选取,比如主成分分析、逐步回归分析、公共因素模型分析等.这些方法的共同特征是,用少量的特征元组去描述高维的原始知识基. 5.遗传算法〔GA, Genetic Algo}thrn}) 遗传算法是一种基于生物进化论和分子遗传学的全局随机搜索算法.遗传算法的基本思想是:将问题的可能解按某种形式进行编码,形成染色体.随机选取N个染色体构成初始种群.再根据预定的评价函数对每个染色体计算适应值.选择适应值高的染色体进行复制,通过遗传运算(选择、交叉、变异)来产生一群新的更适应环境的染色体,形成新的种群.这样一代一代不断繁殖进化,最后收敛到一个最适合环境的个体上,从而求得问题的最优解.遗传算法应用的关键是适应度函数的建立和染色体的描述.在实际应用中,通常将它和神经网络方法综合使用.通过遗传算法来搜寻出更重要的变量组合.