高维特征选择方法在近红外光谱分类中的应用

秦玉华; 丁香乾; 宫会丽

高维特征选择方法在近红外光谱分类中的应用

1.
中国海洋大学信息科学与工程学院,山东青岛 266100;
2.
青岛科技大学信息科学技术学院,山东青岛 266061

基金项目:

科技部创新基金（06C26213710334）

详细信息

作者简介:
秦玉华（1971- ），女，副教授，硕士，主要从事近红外光谱学、数据挖掘、模式识别方面的研究。Email：yuu71@163.com

中图分类号: O433.4

High dimensional feature selection in near infrared spectroscopy classification

1.
College of Information Science and Engineering,China Ocean University,Qingdao 266100,China;
2.
College of Information Science and Technology,Qingdao University of Science and Technology,Qingdao 266061,China

摘要: 针对卷烟近红外光谱高噪和高冗余特点，提出了一种基于随机森林（RF）和主成分分析（PCA）的特征优选方法RF-PCA，建立了5种不同质量级别卷烟的分类模型，并和其他方法进行了比较。该方法能够有效地对高维数据样本进行分类，用于甄别卷烟品质真伪。特征选择可以过滤与分类不相关的特征，而通过PCA方法可以消除冗余特征的不良影响，并可进一步降低特征维数。实验表明：RF-PCA方法能有效地剔除近红外光谱数据中的噪声特征和冗余特征，提高了分类效率。
- 近红外光谱 /
- 特征选择 /
- 随机森林 /
- 主成分分析 /
- 卷烟
Abstract: With regard to the large number of irrelevant and redundant features exist in the near infrared spectra, a novel feature selection method based on random forest and principal component analysis (RF-PCA) was proposed in this paper. By using the RF-PCA, a classification model of cigarettes qualitative evaluation was developed and also compared with other methods. The result shows that RF-PCA effectively classifies the samples of high dimensional data and can be used to evaluate quality and authenticity of the cigarettes. RF feature selection removes irrelevant features of the classification, while PCA further eliminates the influence of redundant features and also reduces the feature dimensionalities. The experiments show that RF-PCA effectively removes noise and redundant features in the NIR spectra and the classification accuracy is improved as well.
- NIR spectra /
- feature selection /
- RF /
- PCA /
- cigarettes

[1]	Liu Xu, Chen Huacai, Liu Taiang. Application of PCA-SVR to NIR prediction model for tobacco chemical composition[J]. Spectroscopy and Spectral Analysis, 2007, 27(12): 2460-2463. (in Chinese)
[2]
[3]	Hana M, Mcclure W F, Whitaker T B. Applying artificial neural networks Ⅱ． Using near infrared data to classify tobacco types and identify native grown tobacco[J]． Journal of Near Infrared Spectroscopy, 1997, 5: 19-25.
[4]	刘旭, 陈华才, 刘太昂. PCA-SVR联用算法在近红外光谱分析烟草成分中的应用[J]．光谱学与光谱分析, 2007, 27(12): 2460-2463.
[5]
[6]	Tang Xuemei, Zhang Wei, Li Hui. Application of near-infrared reflectance spectroscopy in discriminating counterfeit cigarettes from genuine[J]. Tobacco Science and Technology, 2008, 11: 5-8. (in Chinese)
[7]	Bylesjo M, Rantalainen M, Nicholson J K, et al. K-OPLS package: Kernel-based orthogonal projections to latent structures for prediction and interpretation in feature space[J]. BMC Bioinformatics, 2008, 9(1): 106-112.
[8]
[9]
[10]	Boaz Nadler, Coifman Ronald R. The prediction error in CLS and PLS: the importance of feature selection prior to multivariate calibration[J]. Journal of Chemometrics, 2005, 19(2): 107-118.
[11]	唐雪梅, 张薇, 李慧. 卷烟真伪鉴别的近红外定性分析方法[J]. 烟草科技, 2008, 11: 5-8.
[12]	Leo Breiman. Random forests[J]. Machine Learning, 2001, 45(1): 5-32.
[13]	Statnikov A, Wang L, Aliferis C F. A comprehensive comparison of random forests and support vector machines for microarray based cancer classification[J]. BMC Bioinformatics, 2008, 9: 319-323.
[14]
[15]	Menze B H, Petrich W, Hamprecht F A. Multivariate feature selection and hierarchical classification for infrared spectroscopy: serum-based detection of bovine spongiform encephalopathy[J]. Analytical and Bioanaytical Chemistry, 2007, 387(5): 1801-1807.
[16]
[17]	Efron B, Tibshirani R J． Bootstrap measures for standard errors, confidence interval and other measures of statistical accuracy[J]. Statistical Science, 1986, 1(1): 54-74.
[18]
[19]	Menze B H, Kelm B M, Masuch R, et al. A comparison of random forest ant its Gini importance with standard chemometric methods for the feature selection and classification of spectral data[J]. BMC Bioinformatics, 2009, 10: 1-16
[20]
[21]	Simon Bernard, Laurent Heutte, Sebastien Adam. Influence of hyperparameters on random forest accuracy[J]. MCS, 2009:171-180.
[22]
[23]	Jolliffe I T． Principal Component Analysis[M]． New York: Springer-Verlag, 1986.
[24]
[25]
[26]
[27]

[1]	官子涵, 王敏, 李晓彤. 基于主成分分析和节点像差理论的公差降敏方法 . 红外与激光工程, 2024, 53(2): 20230590-1-20230590-10. doi: 10.3788/IRLA20230590
[2]	张宇. 基于主成分分析和VU分解法的两步随机相移算法 . 红外与激光工程, 2024, 53(2): 20230596-1-20230596-11. doi: 10.3788/IRLA20230596
[3]	王彦, 程东升, 蒋超, 葛子阳, 金萍. 基于FBG柔性传感器的滑觉信号特性识别 . 红外与激光工程, 2023, 52(3): 20220587-1-20220587-11. doi: 10.3788/IRLA20220587
[4]	吴鹏飞, 邓植中, 雷思琛, 谭振坤, 王姣. 基于激光散斑图像多特征参数的表面粗糙度建模研究 . 红外与激光工程, 2023, 52(12): 20230348-1-20230348-11. doi: 10.3788/IRLA20230348
[5]	史屹君, 武鸿涛, 刘文皓, 苏子博, 刘洋. 近红外光谱吸收技术的无线电子鼻设计 . 红外与激光工程, 2022, 51(5): 20210374-1-20210374-6. doi: 10.3788/IRLA20210374
[6]	杨彦伟, 张丽丽, 郝晓剑, 张瑞忠. 机器学习结合激光诱导击穿光谱技术铁矿石分类方法 . 红外与激光工程, 2021, 50(5): 20200490-1-20200490-8. doi: 10.3788/IRLA20200490
[7]	吴鑫, 伍友利, 牛得清, 刘同鑫, 蔡宇轩, 许瑞. 基于主成分-层次分析的红外抗干扰评估方法研究 . 红外与激光工程, 2021, 50(11): 20210060-1-20210060-10. doi: 10.3788/IRLA20210060
[8]	赵晓枫, 魏银鹏, 杨佳星, 蔡伟, 张志利. 综合相似性在红外目标隐身效果评估中的应用 . 红外与激光工程, 2020, 49(1): 0104004-0104004(11). doi: 10.3788/IRLA202049.0104004
[9]	万李涛, 熊楠菲, 王栋, 汪子君. 信赖域方法在红外图像序列处理中的应用 . 红外与激光工程, 2020, 49(7): 20190505-1-20190505-7. doi: 10.3788/IRLA20190505
[10]	李彬彬, 谢欢, 童小华, 叶丹, 孙凯鹏, 李铭. 基于随机森林的ICESat-2卫星数据地表覆盖分类 . 红外与激光工程, 2020, 49(11): 20200292-1-20200292-7. doi: 10.3788/IRLA20200292
[11]	王静, 丁香乾, 王晓东, 韩凤, 韩冬, 曲晓娜. 基于深度信念网络的烟叶部位近红外光谱分类方法研究 . 红外与激光工程, 2019, 48(4): 404001-0404001(7). doi: 10.3788/IRLA201948.0404001
[12]	张文涛, 李跃文, 占平平, 熊显名. 基于太赫兹时域光谱技术与PCA-SVM的转基因大豆油鉴别研究 . 红外与激光工程, 2017, 46(11): 1125004-1125004(6). doi: 10.3788/IRLA201746.1125004
[13]	侯榜焕, 姚敏立, 贾维敏, 沈晓卫, 金伟. 空谱结构保持的高光谱图像分类 . 红外与激光工程, 2017, 46(12): 1228001-1228001(8). doi: 10.3788/IRLA201746.1228001
[14]	刘源, 谢睿达, 赵琳, 郝勇. 基于机器学习的大视场星敏感器畸变在轨标定技术 . 红外与激光工程, 2016, 45(12): 1217004-1217004(9). doi: 10.3788/IRLA201645.1217004
[15]	周建民, 符正晴, 李鹏, 杨君. 孔洞缺陷的红外无损检测和PNN识别与定量评估 . 红外与激光工程, 2015, 44(4): 1193-1197.
[16]	陈媛媛, 王志斌, 王召巴. 思维进化蝙蝠算法及其在混合气体红外光谱特征选择中的应用 . 红外与激光工程, 2015, 44(3): 845-851.
[17]	樊书祥, 黄文倩, 张保华, 郭志明, 赵春江. 便携式苹果糖度光谱检测仪的设计与试验 . 红外与激光工程, 2014, 43(S1): 219-224.
[18]	陈媛媛, 王志斌, 王召巴. 基于改进蝙蝠算法的红外光谱特征选择 . 红外与激光工程, 2014, 43(8): 2715-2721.
[19]	谢志华, 刘国栋. 基于局部二元模式的快速红外人脸识别系统 . 红外与激光工程, 2013, 42(12): 3190-3195.
[20]	陈彬, 刘阁, 张贤明. 连续投影算法的润滑油中含水量近红外光谱的分析 . 红外与激光工程, 2013, 42(12): 3168-3174.

点击查看大图

计量

文章访问数: 418
HTML全文浏览量: 80
PDF下载量: 203
被引次数: 0

全文HTML

参考文献 (27)

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

高维特征选择方法在近红外光谱分类中的应用

作者简介:
秦玉华（1971- ），女，副教授，硕士，主要从事近红外光谱学、数据挖掘、模式识别方面的研究。Email：yuu71@163.com

High dimensional feature selection in near infrared spectroscopy classification

计量

高维特征选择方法在近红外光谱分类中的应用

1. 中国海洋大学信息科学与工程学院,山东青岛 266100;

2. 青岛科技大学信息科学技术学院,山东青岛 266061

作者简介:
秦玉华（1971- ），女，副教授，硕士，主要从事近红外光谱学、数据挖掘、模式识别方面的研究。Email：yuu71@163.com

English Abstract

High dimensional feature selection in near infrared spectroscopy classification

1. College of Information Science and Engineering,China Ocean University,Qingdao 266100,China;

2. College of Information Science and Technology,Qingdao University of Science and Technology,Qingdao 266061,China

全文HTML

目录

留言板

高维特征选择方法在近红外光谱分类中的应用

作者简介: 秦玉华（1971- ），女，副教授，硕士，主要从事近红外光谱学、数据挖掘、模式识别方面的研究。Email：yuu71@163.com

High dimensional feature selection in near infrared spectroscopy classification

计量

出版历程

高维特征选择方法在近红外光谱分类中的应用

1. 中国海洋大学 信息科学与工程学院,山东 青岛 266100; 2. 青岛科技大学 信息科学技术学院,山东 青岛 266061

作者简介: 秦玉华（1971- ），女，副教授，硕士，主要从事近红外光谱学、数据挖掘、模式识别方面的研究。Email：yuu71@163.com

English Abstract

High dimensional feature selection in near infrared spectroscopy classification

1. College of Information Science and Engineering,China Ocean University,Qingdao 266100,China; 2. College of Information Science and Technology,Qingdao University of Science and Technology,Qingdao 266061,China

全文HTML

目录

作者简介:
秦玉华（1971- ），女，副教授，硕士，主要从事近红外光谱学、数据挖掘、模式识别方面的研究。Email：yuu71@163.com

1. 中国海洋大学信息科学与工程学院,山东青岛 266100;

2. 青岛科技大学信息科学技术学院,山东青岛 266061

作者简介:
秦玉华（1971- ），女，副教授，硕士，主要从事近红外光谱学、数据挖掘、模式识别方面的研究。Email：yuu71@163.com

1. College of Information Science and Engineering,China Ocean University,Qingdao 266100,China;

2. College of Information Science and Technology,Qingdao University of Science and Technology,Qingdao 266061,China