基于ERNIE-CAB-CNN的稀土專利文本分類模型
電子技術應用
廖列法，石利嬌
江西理工大學 信息工程學院
摘要： 針對稀土專利文本專業性強的特點以及現有的文本分類方法存在的不足，鑒于類別注意力在計算機視覺領域的廣泛應用和取得的良好效果，提出了一種用于文本分類的類別注意力模塊（Category Attention Module，CAB），并結合預訓練模型ERNIE和卷積神經網絡（Convolutional Neural Networks，CNN）構建了一個用于稀土專利文本分類的創新模型ERNIE-CAB-CNN。模型使用ERNIE對專利文本進行向量化，得到語義信息更加豐富的向量表示后，通過CAB為文本中各個類別的重要特征賦予較高權值，使模型可以更準確地區分不同類別的特征。最后用CNN進一步提取文本中其他關鍵局部特征，得到的最終文本向量表示用于分類。通過Patsnap專利數據庫官方網站檢索下載稀土專利數據構建數據集進行實驗，實驗結果表明，稀土專利文本分類模型ERNIE-CAB-CNN在測試集上分類的準確率、精確率、F1分數分別為82.68％、83.2％、82.06％，取得了良好的分類效果。
中圖分類號：TP3 文獻標志碼：A DOI: 10.16157/j.issn.0258-7998.245583
中文引用格式： 廖列法，石利嬌. 基于ERNIE-CAB-CNN的稀土專利文本分類模型[J]. 電子技術應用，2025，51(1)：18-24.
英文引用格式： Liao Liefa，Shi Lijiao. Text classification model of rare earths patents based on ERNE-CAB-CNN[J]. Application of Electronic Technique，2025，51(1)：18-24.
中文引用格式： 廖列法，石利嬌. 基于ERNIE-CAB-CNN的稀土專利文本分類模型[J]. 電子技術應用，2025，51(1)：18-24.
英文引用格式： Liao Liefa，Shi Lijiao. Text classification model of rare earths patents based on ERNE-CAB-CNN[J]. Application of Electronic Technique，2025，51(1)：18-24.
Text classification model of rare earths patents based on ERNE-CAB-CNN
Liao Liefa，Shi Lijiao
School of Information Engineering， Jiangxi University of Science and Technology
Abstract： In view of the strong specialization of rare earth patents and the shortcomings of existing classification methods, this paper proposes a Category Attention Block (CAB) for text classification in view of the wide application of category attention in the field of computer vision. Combined with ERNIE and Convolutional Neural Network (CNN), an innovative model ERNE-CAB-CNN for rare earth patent text classification is constructed. The model uses ERNIE to vectorize the patent text, and obtains the vector representation with richer semantic information. Then, it assigns higher weights to the key features of each category in the text through CAB, so that the model can distinguish different types of features more accurately. Finally, CNN is used to further extract other key local features in the text, and the resulting text vector representation is used for classification. Through the official website of Patsnap patent database, rare earth patent data are retrieved and downloaded to build a dataset for experiments. The experimental results show that the precision rate, accuracy rate and F1 score of the rare earths patent text classification model based on ERNE-CAB-CNN on the test set are 82.68%, 83.2% and 82.06%, respectively, achieving a good classification effect.
Key words : rare earth patent classification；text classification；category attention；ERNIE；CNN；feature extraction
引言
稀土元素是指鑭、鈰、鐠、釹、釤、銪、釓、鋱、鏑等17種元素的總稱，因其獨特的4f電子結構而顯現出豐富的光電磁性能，在電子信息、新能源、有色金屬、機械制造等行業用途廣泛，被稱為“萬能之土”[1]。稀土被國家列為實行保護性開采的重要戰略資源，是發展現代工業和國防尖端技術不可代替的有色金屬資源[2]。
黨的十八大明確提出科技創新是提高社會生產力和綜合國力的戰略支撐，必須擺在國家發展全局的核心位置。科技創新既是我國稀土產業高質量發展的必由之路，也是中國稀土集團打造創新驅動的世界一流稀土產業集團的必然要求。在我國由稀土資源大國加速邁向稀土產業強國的背景下，強化科技賦能，稀土產業集群正加快高質量發展，加快稀土由“世界級儲量”向“世界級產業”邁進[3]。
專利申請作為保護創新成果、促進交流分享和增強競爭優勢的有效途徑，自1999年之后，我國稀土領域的專利布局開始變得活躍，專利數量迅速增長。與世界其他國家相比，中國的申請速度在加快，2011年到2018年增加了250%[1]。基于上述的我國由稀土資源大國加速邁向稀土產業強國的背景和創新驅動發展戰略的實施，今后我國的稀土領域的專利的數量將仍會持續增長。
對大量的稀土專利進行分類研究，可以為科研人員提供快速準確的技術背景和相關文獻，使科研人員及時地了解稀土專利文本中包含的最新技術信息，能夠在一定程度上為科學研究工作提供強有力的支持，推動稀土材料科研的發展、促進稀土產業的創新與升級。
本文詳細內容請下載：
http://www.viuna.cn/resource/share/2000006276
作者信息：
廖列法，石利嬌
（江西理工大學 信息工程學院，江西 贛州 341000）
此內容為AET網站原創，未經授權禁止轉載。