程序員轉(zhuǎn)型AI高手的8項杰出思維

1   前言

在AI大潮流中，程序員(又稱碼農(nóng))具有的優(yōu)勢是擅長挖掘AI開源代碼(如免費金礦)。由于互聯(lián)網(wǎng)上有豐富的開源AI大模型的代碼(Code)，而程序員熟悉免費拿大模型的代碼，把其參數(shù)量調(diào)小，搭配企業(yè)自有IP練出企業(yè)自有IP的中小模型了。于是，免費代碼既省成本、又自有IP，豈不美乎。

基于上述的優(yōu)勢技能,程序員可以將AI模型(代碼)視為-種軟件容器(Container),其能程序員擅長于代碼，可以表達算法，也包容芯片算力。于是，程序員承接下且致力于組合創(chuàng)新AI容器，以便支持人們的多樣化商且致力于組合創(chuàng)新AI容器，以便支持人們的多樣化商業(yè)應用需求。

程序員的珍貴價值在于—AI模型代碼的創(chuàng)新組合，其內(nèi)涵包括:

●   IT延伸人的手腳，AI 擴大人思維空間。

●   LLM強龍與企業(yè)AI地頭蛇的相輔相成。

●   傳統(tǒng)IT、今日AI與人之間，三合協(xié)作。

●   LLM是神鷹，IT是獵狗，您是成吉思汗。

于是，本文就來說明，程序員轉(zhuǎn)型AI高手的葵花寶典，它包含8項杰出思維和創(chuàng)新組合技能。如下：

1.精準厘清泛化需求，調(diào)整模型參數(shù),追求最優(yōu)化。

2.家貓搭配野貓。貓丁興旺，企業(yè)興隆，財源廣闊。

3.優(yōu)化人機的協(xié)作模式。建立<人, AI,IT>的三合。

4.熟悉微調(diào)的訓練機制，并搭配GPU性能優(yōu)化策略。

5.區(qū)分AI模型的可觀察空間與隱空間(Latent space)。

6.避免掉入把AI模型應用于<果-果>推論的陷阱里。

7.活用LLM來優(yōu)化人機接口，拉近科技與人的距離。

8.AIGC不僅能生成作品，也能生成樣本(Samples)。

2   詳細解說

2.1   杰出思維(1)：精準厘清泛化需求，調(diào)整模型參數(shù)，追求最優(yōu)化

●   泛化(Generalization)是大模型的必要特性和能力，因而模型的參數(shù)量大增，運算效率下降且更加耗能。[泛化」之意是:當我們的AI模型可以應對未來的數(shù)據(jù)，也就是可以被廣泛使用卻仍在我們模型的識別的范圍內(nèi)，也就是它的適應性很好，這就是泛化。

●   從上所述可知，泛化是導致模型變大、效率下降的原因。所以，縮小泛化的幅度，能有效減小模型、加細觀察企業(yè)AI應用情境中的泛化需求，然后刪除不必細觀察企業(yè)AI應用情境中的泛化需求，然后刪除不必要的模型泛化功能、結(jié)構(gòu)，以及數(shù)據(jù)收集和訓練。

●   例如，在商店<柜臺CLIP招財貓>模型的使用情境里，客人拿來結(jié)賬的商品是自己店家的商品，由柜臺的Camera拍攝照片，才輸入給CLIP 模型。于是，泛化的幅度不需要超出本家產(chǎn)品圖像，只需要涵蓋產(chǎn)品放置的角度不同而拍攝到不同視角的圖像即可。這樣即可大幅縮小參數(shù)量、訓練數(shù)據(jù)量、加速訓練和推理效能，省時又省能源。

2.2   杰出思維(2):家貓搭配野貓。貓丁興旺，企業(yè)興隆,財源廣闊

●   亦即，訓練自己的家貓(小模型),搭配外來的野貓(大模型)。貓丁興旺，企業(yè)興隆。

●   精心思考如何來建立企業(yè)家貓模型，復制企業(yè)專家直覺，擴大企業(yè)生產(chǎn)力，提升競爭力。亦即，引導企業(yè)內(nèi)的領(lǐng)域?qū)＜?、AI工程師，一起攜手為企業(yè)(建立AI模型、訓練模型、應用模型〉。大力延伸企業(yè)專家有效的〈去蕪存菁>剪枝之后，才是企業(yè)最值得信賴的有效的〈去蕪存菁>剪枝之后，知識力,最能提供客戶〈比你更懂你)的服務效能。亦即，才是企業(yè)最值得信賴的訓練自己的家貓(小模型),搭配外來的野貓(大模型)。

●   生成式AI大模型是發(fā)散性(加法設(shè)計)，如同風箏一樣隨風飄揚。它需要有一根繩索， 即縮斂性(減法設(shè)計)模型，來精準微調(diào)，力求整體和諧。例如，Stable Difusion是發(fā)散性模型，富有創(chuàng)新力。各企業(yè)可以訓練自用Difusion來生成足夠樣本，來訓練自用GAN模型，來擔任縮斂的任務。

●   再如ChatGPT等是發(fā)散性模型,富有幻想創(chuàng)新力。各企業(yè)可基于企業(yè)知識圖(Knowledge Graph)，訓練自用Graph AI模型，來擔任縮斂的任務。

2.3   杰出思維(3):優(yōu)化人機之間的協(xié)作模式

●   鑒于近年來AI的發(fā)展，AI(如ChatGPT)愈來愈善解人意，但是行為卻更加幻覺。于是，我們可以把機器(計算機)的任務分為三項: 1) 與人體貼互動、2)正確工作行為、3)關(guān)鍵重要決策。

●   其中的第1項任務可由AI來打前鋒。而第2項任務則由傳統(tǒng)IT打前鋒搭配AI輔助。至于攸關(guān)法律責任(或人命關(guān)天)的重要決策，則交給人類來主導&裁決。AI可以比喻為<神鷹>、IT 可比喻為<鬣狗>、善用<神鷹、鬣狗、成吉思汗>的三合架構(gòu)，則您極善用<神鷹、鬣狗、成吉思汗>的三合架構(gòu)，則您極可能如成吉思汗，締造史上最大帝國。

●   就如同Uber汽車，人類司機是決策者(需負法律責任，并且人命關(guān)天)。而AI扮演<相>的角色——如幫忙看地圖、比人類看得更廣，尋找更佳路線，并實時重新探索新路徑。此時，不是拿人類所看到的地圖數(shù)據(jù)去訓練AI,而是收集更多人類視野中看不見的、無法實時看完的巨大數(shù)據(jù)來訓練AI。

●   此外，AI還要時時刻刻觀察人類的決策，瞬間評估人類的決策，實時反饋給決策者，避免人類將錯誤決策付之<執(zhí)行>，于是大大降低了決策風險。

2.4   杰出思維(4):微調(diào)(Fine- tuning)訓練，并搭配GPU性能優(yōu)化策略

●   例如，熟悉LoRA微調(diào)三步驟：

●   Step-1:觀察&測試原模型(如MT5- -Small)的input和output格式

●   Step-2:準備Training data，建立自己的Dataset類別，并拿原模型測試訓練。

●   Step-3:將LoRA外掛到原模型(如MT5-Small)，并進行協(xié)同訓練及測試。

●   再如，程序代碼指定使用BF16精度、NTWC內(nèi)存數(shù)據(jù)格式等，發(fā)揮Intel GPU的高效率潛能，大幅加快訓練效率。以及指定量化(Quantization)模式，提高推論效率、降低功耗。

2.5   杰出思維(5):區(qū)分模型里的可觀察空間與隱空間(Latent space)

●   力求發(fā)揮隱空間的三項特質(zhì)是:架構(gòu)通用性、內(nèi)涵復用性、模塊組裝性。這個架構(gòu)如同一棵大樹的主干，向上支持枝葉(即可觀察空間)的新陳代謝，又能支持根部(如底層GPU芯片)的成長，因而創(chuàng)造了整體生生不息的有機次序(Organic Order)。

●   當?shù)讓有酒瑢痈臅r，它不會影響可觀察層，能大幅降低AI芯片開發(fā)的風險。因此，基于隱空間架構(gòu)可以確保芯片底層設(shè)計變動的自由度，可以實現(xiàn)<沒錢就改版，改版就有錢>的美好商模。

2.6   杰出思維(6):避免掉入<把AI模型應用于<果果>推論>的陷阱

●   許多人們掉入把AI模型應用于<果果>推論的陷阱里。例如，ECG心電圖數(shù)據(jù)、血糖檢測數(shù)據(jù)，其實都是<果>，不是<因>。而眼睛、腳踝腫大癥狀，也是<果>。 心臟休克，也是<果>。AI模型應用于<果果>預測都不會準確，都會失敗!

●   例如在醫(yī)學AI領(lǐng)域，病毒檢測和預測，不能掉入這項迷思里。而要請教醫(yī)學專家:這些果的幕后的<因>是甚么?然后建立兩個AI模型，第1個模型：第2個模型是：從預測出的真正<因>，推論出所需要第2個模型是:從預測出的真正<因>，推論出所需要的果(如胰臟癌并發(fā)癥)。

●   除了醫(yī)學AI模型之外，其實各行業(yè)都要留意：所有呈現(xiàn)的數(shù)據(jù)幾乎都是現(xiàn)象的<果>。而這些現(xiàn)象的真實的<因>并沒有呈現(xiàn)于大數(shù)據(jù)里。

●   因而一般人常常只關(guān)心數(shù)據(jù)的<真>與<假>。而沒有深入探索出關(guān)于<因>的潛藏數(shù)據(jù)。例如，Apple Watch是-項成功的AI商業(yè)案例，人們需要建立<果因推論>的AI模型，而不是僅僅建立<果果>AI模型。

2.7   杰出思維(7):活用LLM優(yōu)化人機交互，拉近科技與人的距離

●   綜觀計算機科技的發(fā)展史，凡是有科學技術(shù)或美學設(shè)計來顯著拉近人機之間的距離時，都會帶來巨大的商業(yè)效益。例如，40 年前從DOS+鍵盤輸入，改進到Windows+鼠標輸入，帶給主導企業(yè)可觀的收益。

●   到了15年前，從平板+觸控筆操作，改進到手從輸入關(guān)鍵詞查詢，又推進到LLM的文字(語音)從輸入關(guān)鍵詞查詢，又推進到LLM的文字(語音)輸輸入和交互，也將帶給有關(guān)企業(yè)巨大的商業(yè)利益。

2.8   杰出思維(8): AIGC不僅能生成作品，還能生成樣本(Samples)

來訓練決策式(或辨別式)AI模型。

●   生成樣本來訓練AI模型。例如，擅用基因醫(yī)學的GWAS分析，以及IC芯片設(shè)計的龐大特征(Features)數(shù)來生成樣本(樣本)，做為決策式AI模型的訓練數(shù)據(jù)，IC芯片設(shè)計、無人機作戰(zhàn)、企業(yè)投資等決策都有巨大IC芯片設(shè)計、無人機作戰(zhàn)、企業(yè)投資等決策都有巨大商業(yè)意義。

●   與上述的基因檢測分析、腸道菌相檢測分析一樣，因為IC的組成要素(如晶體管)的數(shù)量都是高達10億(Billion)級別的。使得這些元素之間的鏈接(Connection)的數(shù)據(jù)有一項重要特性特征(Feature)的個數(shù)非常大(如幾千~幾十萬)。因之，AI科技可以給予<半導體IC產(chǎn)業(yè)>一項禮物，即是：高維度大數(shù)據(jù)運算能力。

4   結(jié)束語

AIGC潮流就如同一個巨大的海流，程序員(碼農(nóng))就能水漲船高，積極轉(zhuǎn)型成為AI模型的組合創(chuàng)新高手。并且促進AI與IC芯片兩個行業(yè)之間的協(xié)同設(shè)計(co-design)，融合交流，逐漸成為<豐富美學&擅用算力>的AI產(chǎn)業(yè)新人才，并主導未來AI生態(tài)發(fā)展。

（本文來源于《EEPW》202407）