如何從源頭打造極速優(yōu)化的MES系統(tǒng)

作者：黃睿

當(dāng)企業(yè)上線MES系統(tǒng)之后，僅僅是萬(wàn)里長(zhǎng)征的開始，為什么要進(jìn)行MES的優(yōu)化？這是一個(gè)非常之現(xiàn)實(shí)以迫切的問(wèn)題，眾所周知，MES系統(tǒng)所運(yùn)行的必要基礎(chǔ)數(shù)據(jù)之外，MES系統(tǒng)每天還采集了大量的生產(chǎn)過(guò)程數(shù)據(jù)存放到數(shù)據(jù)庫(kù)之中，其數(shù)據(jù)量大小，取決于如下幾個(gè)方面：

A． 企業(yè)的生產(chǎn)規(guī)模。

B． MES管理的產(chǎn)品流程的數(shù)量

C． MES每流程上數(shù)據(jù)采集節(jié)點(diǎn)的站點(diǎn)數(shù)

D． 每站點(diǎn)數(shù)內(nèi)部的數(shù)據(jù)采集內(nèi)容

E．第站點(diǎn)上的數(shù)據(jù)采集的時(shí)間頻率

F．第三方系統(tǒng)存放到MES數(shù)據(jù)庫(kù)中的數(shù)據(jù)內(nèi)容

隨著系統(tǒng)的上線，數(shù)據(jù)量日漸增大，由最初的幾個(gè)G，增加到100G甚至幾個(gè)TB, 系統(tǒng)的性能，也隨之而下降，同時(shí)還表現(xiàn)出如下的幾個(gè)方面的弊?。?/span>

G．系統(tǒng)掃描相應(yīng)變慢

H．系統(tǒng)報(bào)表查詢變慢

I．看板等實(shí)時(shí)刷新程序無(wú)法正常執(zhí)行

J．系統(tǒng)登陸時(shí)間過(guò)長(zhǎng)

K．系統(tǒng)作業(yè)過(guò)程中停頓(卡，延時(shí)) 或死鎖, 需重啟服務(wù)器次數(shù)增多。

L．?dāng)?shù)據(jù)備份日漸困難。

以上問(wèn)題不光是MES系統(tǒng)所特有的，所有的事務(wù)處理性(OLTP)性的數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)，都將面臨以上的困擾。由于很多MES系統(tǒng)默認(rèn)采用的是關(guān)系性數(shù)據(jù)庫(kù)（SQL Server /Oracle），除少量計(jì)算在前端完成以外，系統(tǒng)中95%的邏輯運(yùn)算都在DB層中實(shí)現(xiàn)，非常依賴于數(shù)據(jù)庫(kù)服務(wù)器的性能， 所以，當(dāng)MES系統(tǒng)表現(xiàn)不盡如人意之時(shí)，首先需要在數(shù)據(jù)庫(kù)后臺(tái)進(jìn)行必要的數(shù)據(jù)優(yōu)化，完成后基本上就能取得相應(yīng)的性能提升，以下以中國(guó)市占率相當(dāng)之高的深圳市華磊迅拓科技有限公司的OrBit-MES系統(tǒng)為例，來(lái)說(shuō)明如何針對(duì)DB層進(jìn)行深度的優(yōu)化：

OrBit-MES后臺(tái)優(yōu)化包含的內(nèi)容如下：

1.合理的表以及邏輯關(guān)系的設(shè)計(jì)；

2.數(shù)據(jù)庫(kù)的日常維護(hù)工作；

3.數(shù)據(jù)庫(kù)大數(shù)據(jù)量表的數(shù)據(jù)壓縮；

4.數(shù)據(jù)庫(kù)大數(shù)據(jù)量表的分區(qū)表方法；

5.歷史數(shù)據(jù)的定期遷移；

6.合理的負(fù)載部署，服務(wù)器的分工；

7.服務(wù)器硬件性能的提升；

 以下以最常見的表結(jié)構(gòu)與邏輯關(guān)系的設(shè)計(jì)的優(yōu)化為例子加以重點(diǎn)說(shuō)明：OrBit-MES系統(tǒng)表以及標(biāo)準(zhǔn)模型表，以及相關(guān)邏輯（存儲(chǔ)過(guò)程）是在系統(tǒng)平臺(tái)的設(shè)計(jì)階段已定決定，并且經(jīng)過(guò)了相當(dāng)多的實(shí)踐，其性能相對(duì)穩(wěn)定可靠，靠此部份的優(yōu)化以提升系統(tǒng)整體性能的收益不大，效果也不太明顯。

系統(tǒng)在實(shí)施周期時(shí)根據(jù)客戶所定制的表，以及存儲(chǔ)過(guò)程，特別是新上線的功能插件所對(duì)應(yīng)的存儲(chǔ)過(guò)程，將有比較大的優(yōu)化余地， 在這類業(yè)務(wù)表的設(shè)計(jì)時(shí)，應(yīng)注意如下方面：

A.遵守業(yè)界通行的數(shù)據(jù)庫(kù)設(shè)計(jì)的標(biāo)準(zhǔn)范式（至少前3個(gè)范式盡可能遵守）

B.遵守OrBit-MES建議的主鍵定義方法，以及字段命名規(guī)則

C.合理的設(shè)計(jì)表的冗余以及關(guān)聯(lián)，區(qū)分事務(wù)處理表（大表），以及基礎(chǔ)數(shù)據(jù)表(小表)。

D.合理設(shè)計(jì)索引，特別是經(jīng)常用于查詢的表的索引（產(chǎn)品表，工單表, Lot表等），對(duì)于大表只創(chuàng)建必要的索引。

E.對(duì)于第三方測(cè)試數(shù)據(jù)表，采用分庫(kù)或分服務(wù)器的設(shè)計(jì)方案，不要放到MES主數(shù)據(jù)庫(kù)中。

F.一切新表的設(shè)計(jì)，應(yīng)以性能為首要考慮因素

業(yè)務(wù)邏輯（查詢或存儲(chǔ)過(guò)程）設(shè)計(jì)時(shí)時(shí)，應(yīng)注意如下方面：

A. 所有的內(nèi)部查詢應(yīng)基于主鍵PK

B.避免在一個(gè)大的SQL中采用一次性連接多個(gè)表的查詢 (特別是大表對(duì)大表的關(guān)聯(lián)，是非常不明智的)，應(yīng)拆分為基于PK的多步來(lái)執(zhí)行查詢。

C. 避免使用大的事務(wù)包裹業(yè)務(wù)邏輯，事務(wù)應(yīng)盡可能短小，否則容易占用服務(wù)器資源導(dǎo)致排隊(duì)甚至死鎖。

D. 少用游標(biāo)，絕不要針對(duì)大表使用游標(biāo)。

E.Select查詢時(shí)盡可能使用 With (no lock) 語(yǔ)句，避免占用鎖的開銷，在每一個(gè)存儲(chǔ)過(guò)程中加入： SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED ,以降低死鎖的可能性。

F.Insert最好以批量方式執(zhí)行，一次性處理多條新記錄。

G.Update應(yīng)基于PK為條件，避免使用復(fù)雜的Where表達(dá)式, 導(dǎo)致表鎖。

H.一切有利于減少死鎖，提升性能的邏輯設(shè)計(jì)為首要考慮因素。

事實(shí)證明，頻繁的死鎖往往出自于不合理的業(yè)務(wù)邏輯設(shè)計(jì)，故在進(jìn)行OrBit-MES的客戶化功能的數(shù)據(jù)設(shè)計(jì)時(shí)，應(yīng)仔細(xì)權(quán)衡，以性能為先導(dǎo)，才能取得相對(duì)較好的結(jié)果。

當(dāng)數(shù)據(jù)庫(kù)服務(wù)層的優(yōu)化進(jìn)達(dá)到一個(gè)相當(dāng)高的水準(zhǔn)之后，企業(yè)的還需要考慮后續(xù)的一些優(yōu)化過(guò)程，比如大數(shù)據(jù)的定期歸檔，提升網(wǎng)絡(luò)以及服務(wù)器本身的的IOPS性能等等，進(jìn)行深度的負(fù)載均衡的設(shè)計(jì)，在這方面，不同的MES廠商水平參差不齊，所以選型MES時(shí)，請(qǐng)注意一定不能有“運(yùn)維優(yōu)化黑箱”，候選的MES系統(tǒng)所有的數(shù)據(jù)資產(chǎn)必須全方位向甲方開放，同時(shí)還需要提供專業(yè)的瓶頸定位工具以及優(yōu)化工具，它必須是一個(gè)“可高度優(yōu)化的MES”, 否則企業(yè)將會(huì)為此付出極為沉痛的代價(jià)。

只有從源頭加以及分析與優(yōu)化，才能讓你的MES系統(tǒng)“健步如飛”。