技術(shù)文章
TECHNICAL ARTICLES在溫度 - 修正系數(shù)校準(zhǔn)的數(shù)據(jù)處理中,異常值和缺失值的處理直接影響修正模型的準(zhǔn)確性,需結(jié)合統(tǒng)計(jì)方法和校準(zhǔn)場景特性科學(xué)處理,避免因數(shù)據(jù)偏差導(dǎo)致擬合公式失真。以下是具體方法和操作原則:
一、異常值的處理:識別與剔除
異常值是指偏離數(shù)據(jù)集整體趨勢的及端值(如因溫度波動(dòng)、氣泡干擾、操作失誤導(dǎo)致的錯(cuò)誤數(shù)據(jù)),處理步驟包括 “識別→驗(yàn)證→剔除 / 修正":
1. 異常值的識別方法
統(tǒng)計(jì)法(常用):
3σ 原則:對同一溫度 - 濃度組合下的重復(fù)測量值(如 5 次),計(jì)算平均值(μ)和標(biāo)準(zhǔn)差(σ),若某數(shù)據(jù)滿足 “|x - μ|> 3σ",則判定為異常值(適用于數(shù)據(jù)近似正態(tài)分布的場景)。
示例:5 次測量值為 [0.03, 0.02, 0.04, 0.10, 0.03],μ=0.044,σ=0.034,0.10 滿足 “0.10 - 0.044 = 0.056 > 3×0.034=0.102?不,0.056 < 0.102,此處舉例調(diào)整為 0.15,則 0.15-0.044=0.106>0.102,判定為異常)。
格拉布斯檢驗(yàn)(Grubbs' test):更嚴(yán)格的統(tǒng)計(jì)方法,通過計(jì)算統(tǒng)計(jì)量 G = |x - μ|/σ,與臨界值(根據(jù)樣本量和置信水平查表)對比,若 G > 臨界值,則為異常值(適用于小樣本,如 n=3~10)。
經(jīng)驗(yàn)法(輔助判斷):
結(jié)合校準(zhǔn)場景的物理意義判斷,例如:
0 NTU 標(biāo)準(zhǔn)液(超純水)的測量值突然跳升至 0.1 NTU 以上,可能是鏡片污染或氣泡干擾,判定為異常;
溫度穩(wěn)定后,同一濃度的測量值波動(dòng)超過 ±0.05 NTU(高精度場景),可能是設(shè)備故障,需排查后重新測量。
2. 異常值的處理原則
可溯源的異常值:若明確因操作失誤(如標(biāo)準(zhǔn)液污染)、設(shè)備波動(dòng)(如恒溫槽跳變)導(dǎo)致,直接剔除,并用剩余數(shù)據(jù)重新計(jì)算均值(需確保剩余樣本量≥3 次,否則需重新測量)。
疑似異常值:若無法確定原因,可通過 “重復(fù)測量" 驗(yàn)證 —— 對該溫度 - 濃度組合重新測量 3 次,若新數(shù)據(jù)與原非異常值一致,則剔除原異常值;若新數(shù)據(jù)仍波動(dòng)大,需檢查傳感器狀態(tài)(如清潔度、光源穩(wěn)定性)。
禁止直接修改異常值:不得為 “擬合效果" 人為調(diào)整異常值,需保留原始記錄(如在備注欄標(biāo)注 “第 4 次測量因氣泡干擾剔除"),確保數(shù)據(jù)可追溯。
二、缺失值的處理:補(bǔ)全與標(biāo)記
缺失值指因設(shè)備故障、記錄遺漏或樣本污染導(dǎo)致的部分?jǐn)?shù)據(jù)缺失(如某溫度點(diǎn)的 10 NTU 數(shù)據(jù)未記錄),處理需根據(jù)缺失原因和影響范圍選擇方法:
1. 缺失值的補(bǔ)全方法
直接補(bǔ)測(優(yōu)先):若缺失數(shù)據(jù)量少(如 1 個(gè)溫度點(diǎn)的 1 組濃度),且校準(zhǔn)過程可重復(fù),必須重新測量補(bǔ)全,避免因數(shù)據(jù)缺失導(dǎo)致擬合公式偏差(尤其關(guān)鍵溫度點(diǎn),如 25℃常溫)。
插值法(無法補(bǔ)測時(shí)):
線性插值:適用于溫度點(diǎn)連續(xù)且趨勢穩(wěn)定的場景,例如:已知 15℃時(shí) 10 NTU 的 K 值為 0.98,25℃時(shí)為 1.015,缺失 20℃數(shù)據(jù),則插值 K = 0.98 + (20-15)/(25-15)×(1.015-0.98) = 0.9975。
鄰近均值法:若缺失點(diǎn)附近有多個(gè)數(shù)據(jù)(如缺失 30℃,但 25℃和 35℃數(shù)據(jù)完整),取鄰近兩點(diǎn)的均值作為補(bǔ)值(適用于溫度變化平緩的場景)。
模型預(yù)測法(輔助):若已建立初步擬合公式,可通過公式預(yù)測缺失值,但需在結(jié)果中注明 “該值為模型預(yù)測,非實(shí)測",且后續(xù)需補(bǔ)測驗(yàn)證。
2. 缺失值的處理原則
關(guān)鍵數(shù)據(jù)不允許缺失:傳感器量程覆蓋的核心溫度點(diǎn)(如 10~30℃)和關(guān)鍵濃度點(diǎn)(如 0 NTU、1 NTU、10 NTU)必須完整,否則需終止校準(zhǔn),排查原因后重新進(jìn)行。
缺失比例控制:若缺失數(shù)據(jù)占總數(shù)據(jù)量的比例超過 10%(如 100 組數(shù)據(jù)缺失 10 組以上),校準(zhǔn)結(jié)果不可靠,需重新開展校準(zhǔn),避免擬合公式因數(shù)據(jù)不足導(dǎo)致偏差。
明確標(biāo)記缺失來源:在數(shù)據(jù)表格中用 “NA" 標(biāo)注缺失值,并在備注欄說明原因(如 “20℃時(shí)設(shè)備斷電導(dǎo)致數(shù)據(jù)缺失"),方便后續(xù)追溯。
三、處理后的驗(yàn)證與記錄
驗(yàn)證處理效果:
異常值剔除或缺失值補(bǔ)全后,需重新計(jì)算均值和擬合公式,對比處理前后的擬合優(yōu)度(R2)—— 若 R2 顯著提升(如從 0.95 升至 0.99),說明處理有效;若變化不大或下降,需檢查是否誤判異常值。
完整記錄處理過程:
在校準(zhǔn)報(bào)告中詳細(xì)記錄:
異常值的識別方法、剔除依據(jù)及原始值;
缺失值的補(bǔ)全方法(如插值公式、補(bǔ)測時(shí)間);
處理前后的數(shù)據(jù)對比(如均值變化、擬合參數(shù)調(diào)整)。
總結(jié)
異常值處理的核心是 “基于統(tǒng)計(jì)和物理意義的客觀剔除",避免及端值扭曲趨勢;缺失值處理的核心是 “優(yōu)先補(bǔ)測,謹(jǐn)慎插值",確保數(shù)據(jù)完整性。二者均需以 “不人為干預(yù)真實(shí)趨勢" 為原則,并通過記錄和驗(yàn)證保證處理過程的可追溯性,最終為溫度 - 修正系數(shù)的準(zhǔn)確性奠定基礎(chǔ)。
關(guān)于我們
公司簡介公司新聞榮譽(yù)資質(zhì)產(chǎn)品展示
水質(zhì)監(jiān)測儀 常規(guī)數(shù)字傳感器 離子傳感器服務(wù)與支持
技術(shù)文章資料下載在線留言聯(lián)系我們掃碼加微信
服務(wù)熱線
甘丹科技河北有限公司
3564226449@qq.com
Copyright © 2025甘丹科技河北有限公司 All Rights Reserved 備案號:冀ICP備16027114號-4
技術(shù)支持:化工儀器網(wǎng) 管理登錄 sitemap.xml