基于AI技術(shù)的IP資源可視化管理系統(tǒng)研發(fā)

摘要：隨著國(guó)家IPv6戰(zhàn)略的推進(jìn)，IPv4與IPv6兩種資源將長(zhǎng)期雙棧并存。建網(wǎng)以來(lái)，河南聯(lián)通IP資源的維護(hù)管理，依靠傳統(tǒng)的人工手動(dòng)分配和Excel表格統(tǒng)計(jì)方式，還未實(shí)現(xiàn)系統(tǒng)化數(shù)字化管理?，F(xiàn)有的維護(hù)模式，無(wú)法滿(mǎn)足5G時(shí)代物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等廣連接業(yè)務(wù)對(duì)IPv6地址的爆發(fā)式增長(zhǎng)需求，對(duì)未來(lái)IP地址的統(tǒng)計(jì)分析、日常維護(hù)、自動(dòng)化分配、地址溯源、IP安全審計(jì)等都將帶來(lái)極大的考驗(yàn)。本項(xiàng)目通過(guò)AI和大數(shù)據(jù)技術(shù)，對(duì)全省IPv4和IPv6地址資源進(jìn)行線上系統(tǒng)化管理，摒棄長(zhǎng)期以來(lái)使用傳統(tǒng)excel手工管理的模式，解決了河南聯(lián)通IP地址管理工作中存在人工參與度過(guò)高、手工臺(tái)賬、信息錯(cuò)漏、無(wú)法自動(dòng)稽核、缺乏全流程管控等問(wèn)題，實(shí)現(xiàn)了IP資源維護(hù)管理工作的全面數(shù)字化轉(zhuǎn)型。

關(guān)鍵詞：IP去重；IP異常分析；IP智能畫(huà)像；IP管理；IP可視化

1 概述

長(zhǎng)期以來(lái)，河南聯(lián)通缺乏 IP 資源維護(hù)的數(shù)字化管理手段。IP 資源由省級(jí)分公司從集團(tuán)申請(qǐng)后，按照大段地址分配至各市級(jí)分公司。各市分工公司再將大段地址按業(yè)務(wù)需求進(jìn)行細(xì)化，分配給客戶(hù)網(wǎng)絡(luò)側(cè)或骨干設(shè)備側(cè)，整個(gè) IP 資源的規(guī)劃、分配、管理都依靠電子表格（excel）的方式進(jìn)行手工靜態(tài)管理。未來(lái) 5G 物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等終端廣連接業(yè)務(wù)，對(duì) IPv6 地址的爆發(fā)式增長(zhǎng)需求，使現(xiàn)網(wǎng)環(huán)境中的 IPv4 和 IPv6 兩類(lèi)資源長(zhǎng)期共存，與 IP 相關(guān)的業(yè)務(wù)越來(lái)越繁雜，基于 IP 資源的安全管理要求 也越來(lái)越嚴(yán)格。在此背景下，我們組建技術(shù)專(zhuān)家團(tuán)隊(duì)研 究基于 AI 和大數(shù)據(jù)技術(shù)的 IP 資源管理方案，建設(shè)全省統(tǒng)一的 IP 資源可視化管理系統(tǒng)，標(biāo)記已入庫(kù) IP 地址使用狀態(tài)，實(shí)現(xiàn)全量 IP 地址的動(dòng)態(tài)管理。根據(jù)業(yè)務(wù)使用申請(qǐng)進(jìn)行自動(dòng)化分配，能夠自動(dòng)比對(duì)全網(wǎng)的活躍 IP 地址和已入庫(kù)地址，從而自動(dòng)發(fā)現(xiàn)未入庫(kù)的異常地址，能夠自動(dòng)審核 IP 地址管理信息，形成 IP 地址數(shù)字化閉環(huán)管理體系。

2 系統(tǒng)研發(fā)思路

2.1 IP資源管理現(xiàn)狀

當(dāng)前河南聯(lián)通對(duì) IP 地址資源的管理主要依賴(lài)通過(guò)手工錄入 excel 的方式管理。IP 地址管理員通過(guò) excel 記錄已經(jīng)分配的 IP 地址，每次下面地市管理員申請(qǐng) IP 時(shí)，上級(jí) IP 管理員需要在 excel 中篩選出尚未被占用、 可供分配的 IP，易出現(xiàn)重復(fù)分配的情況。個(gè)別地市有獨(dú)立的自行維護(hù)的簡(jiǎn)易 IP 管理系統(tǒng)，但缺乏跟其他地市的 IP 數(shù)據(jù)聯(lián)動(dòng)，在進(jìn)行系統(tǒng)間的信息傳輸時(shí)，會(huì)因技術(shù)不同、標(biāo)準(zhǔn)不同、協(xié)議不同等問(wèn)題形成信息孤島。分地市建立獨(dú)立的管理系統(tǒng)，不論從經(jīng)濟(jì)費(fèi)用、人力消耗、 時(shí)間消耗、數(shù)據(jù)準(zhǔn)確性等方面，都不是實(shí)現(xiàn)對(duì)全省 IP 資源精準(zhǔn)智能管理的最優(yōu)方案。

2.2 存在問(wèn)題

IP 資源的日常維護(hù)過(guò)程中，經(jīng)常遇到以下問(wèn)題：

（1）IP 管理人員進(jìn)行 IP 規(guī)劃、IP 地址分配等工作時(shí)，因用手工方式導(dǎo)致效率低、易出錯(cuò)；

（2）已分 IP 資源缺乏信息化手段支撐，數(shù)據(jù)無(wú)法實(shí)時(shí)更新記錄?，F(xiàn)網(wǎng)中已分配但是沒(méi)有被納管的 IP 地址無(wú)法做到實(shí)時(shí)預(yù)警提示，存在使用對(duì)象不明確、監(jiān)管失效的問(wèn)題；

（3）業(yè)務(wù)開(kāi)通過(guò)程中，無(wú)法實(shí)現(xiàn)地址資源的自動(dòng)分配能力，造成交付效率低，稽核難度大；

（4）IP 數(shù)據(jù)繁雜，缺乏有效的技術(shù)手段，對(duì) IP 資 源進(jìn)行數(shù)字化、可視化分析，無(wú)法實(shí)現(xiàn)全量資源的數(shù)據(jù)查詢(xún)、數(shù)據(jù)挖掘、資源畫(huà)像等能力。

2.3 系統(tǒng)建設(shè)目標(biāo)

鑒于全省 IP 地址管理的現(xiàn)狀和存在的問(wèn)題，明確項(xiàng)目研發(fā)目標(biāo)形成全省統(tǒng)一的 IP 地址管理體系，由河南聯(lián)通省級(jí)管理員及 18 個(gè)地市級(jí)管理員分權(quán)分域共同維護(hù)。通過(guò) AI 和大數(shù)據(jù)分析等智能化技術(shù)，對(duì)全省的 IP 地址數(shù)據(jù)進(jìn)行統(tǒng)一管理。本系統(tǒng)主要研發(fā)方向和創(chuàng)新點(diǎn)如下：

（1）IP 智能去重計(jì)算：在量級(jí)巨大的 IPV4 和 IPV6 地址池中，通過(guò)系統(tǒng)內(nèi)置的子網(wǎng)拆分算法，在地市申請(qǐng) IP 地址時(shí)，網(wǎng)絡(luò)地址管理員通過(guò)系統(tǒng)，可以智能去重，精準(zhǔn)篩選出可供分配使用的 IP 地址，大大減少人力篩選的成本。

（2）異常 IP 分析：系統(tǒng)通過(guò)對(duì)接路由表，DNS 系統(tǒng)，結(jié)合大數(shù)據(jù)混合運(yùn)算，將各個(gè)地市上報(bào)到系統(tǒng)的 IP 與路由表、DNS 系統(tǒng)的 IP 進(jìn)行對(duì)比分析，識(shí)別出未納入系統(tǒng)管理的 IP，此類(lèi) IP 就視為異常 IP，之后通過(guò)系統(tǒng)消息發(fā)送，推送給對(duì)應(yīng)的省市管理員，方便管理員針對(duì)上報(bào) IP 數(shù)據(jù)進(jìn)行直接管控，增強(qiáng)了系統(tǒng) IP 數(shù)據(jù)的實(shí)時(shí)性、準(zhǔn)確性。

（3）IP 智能畫(huà)像：應(yīng)網(wǎng)安部門(mén)的要求，需要從 IP 安全角度出發(fā)，對(duì) IP 的歷史使用軌跡進(jìn)行分析，然后形成 IP 智能畫(huà)像，顯示 IP 從申報(bào)、到使用、到回收等全生命周期的歷史痕跡。在出現(xiàn) IP 安全責(zé)任事故時(shí)，方便信安、網(wǎng)安部門(mén)進(jìn)行溯源追責(zé)，滿(mǎn)足安全責(zé)任事故要求。

（4）IP 可視化展示：對(duì)手工錄入的 IP 數(shù)據(jù)、系統(tǒng) 自動(dòng)采集的 IP 數(shù)據(jù)、異常告警的 IP 數(shù)據(jù)等多維度數(shù)據(jù)進(jìn)行大數(shù)據(jù)處理、統(tǒng)計(jì)與分析，然后通過(guò)柱狀圖、餅狀圖等多種圖形化方式進(jìn)行 IP 可視化展示，展示維度包括告警數(shù)據(jù)、地市 IP 數(shù)據(jù)情況、地圖 IP 數(shù)據(jù)熱力圖等。系統(tǒng)使用通用 X86 服務(wù)器架構(gòu)，支持物理機(jī)和虛擬機(jī)部署。IP 智能去重使用分布式計(jì)算模式，可 組建服務(wù)器群進(jìn)行并行計(jì)算，平滑提升分析能力，可靈活調(diào)度計(jì)算能力，實(shí)現(xiàn)不同運(yùn)算速度的主機(jī)并行工作。主機(jī)故障時(shí)計(jì)算任務(wù)自動(dòng)分配到其他計(jì)算單元進(jìn)行處理。IP 異常分析使用實(shí)時(shí)監(jiān)控工作模式，對(duì)實(shí)時(shí)錄入的 IP 數(shù)據(jù)進(jìn)行合規(guī)性異常校驗(yàn)，及時(shí)將當(dāng)前 IP 資源跟 DNS 系統(tǒng)、路由表中 IP 進(jìn)行對(duì)比，梳理出異常 IP 記錄，保證 IP 地址的正常可用性。IP 智能畫(huà)像使用主備機(jī)工作模式，符合電信級(jí)運(yùn)營(yíng)服務(wù)標(biāo)準(zhǔn)，負(fù)責(zé) IP 地址的申報(bào)歷史、使用歷史、回收歷史等多種信息，并具有靈活的擴(kuò)容架構(gòu)。 IP 可視化展示使用數(shù)據(jù)實(shí)時(shí)處理工作模式，實(shí)時(shí)對(duì) IP 數(shù)據(jù)、告警數(shù)據(jù)、使用情況等數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，通過(guò)可視化的方式展示 IP 多維度數(shù)據(jù)。

3 系統(tǒng)設(shè)計(jì)原理

3.1 系統(tǒng)整體架構(gòu)

系統(tǒng)整體軟件架構(gòu)分為三層：數(shù)據(jù)管理層、數(shù)據(jù)分析處理層和結(jié)果展示層。

3.2 數(shù)據(jù)管理層

數(shù)據(jù)管理層主要針對(duì)全省錄入的 IP 地址信息形成完整的基礎(chǔ)資源庫(kù)，分為：待驗(yàn)證庫(kù)和正式資源庫(kù)兩個(gè)。待驗(yàn)證倉(cāng)庫(kù)中的 IP 資源為未確認(rèn)或存疑數(shù)據(jù)，正式資源庫(kù)中的 IP 資源數(shù)據(jù)為正式管理數(shù)據(jù)。

外部導(dǎo)入到系統(tǒng)的 IP 資源數(shù)據(jù)存在待驗(yàn)證倉(cāng)庫(kù)中需要運(yùn)維人員進(jìn)行確認(rèn)后導(dǎo)入正式資源庫(kù)。IP 資源包括網(wǎng)絡(luò)設(shè)備地址、互聯(lián)中繼地址、用戶(hù) IP 地址三類(lèi)，支持對(duì) IP 資源進(jìn)行管理和維護(hù)操作。通過(guò)智能算法識(shí)別庫(kù)內(nèi) IP 資源沖突的情況，在新增資源時(shí)，系統(tǒng)使用 IP 地址去重算法，會(huì)自動(dòng)比對(duì)校驗(yàn)導(dǎo)入數(shù)據(jù)和資源庫(kù)數(shù)據(jù)的資源。先將所有數(shù)據(jù)導(dǎo)入中間件 active MQ，批量處理程序?qū)?zhí)行對(duì)比操作，將所有導(dǎo)入數(shù)據(jù)中不正確的數(shù)據(jù)標(biāo)記出來(lái)，從而反饋到頁(yè)面提醒用戶(hù)哪些數(shù)據(jù)有錯(cuò)誤，并且會(huì)提示詳細(xì)的錯(cuò)誤原因引導(dǎo)用戶(hù)進(jìn)行排查。

同時(shí)系統(tǒng)針對(duì) IP 資源進(jìn)行分權(quán)分域管理，各個(gè)地市管理員只能看到自己錄入的 IP 數(shù)據(jù)，省級(jí)管理員可維護(hù)全省的 IP 地址資源，保證 IP 地址的安全性。IP 資 源模塊會(huì)通過(guò)算法，以網(wǎng)段表、子網(wǎng)表、IP 表的結(jié)構(gòu)分塊存儲(chǔ)在數(shù)據(jù)庫(kù)，網(wǎng)段、子網(wǎng)、IP 資源之間保留關(guān)聯(lián)關(guān)系，精確到 IP 地址的管理，最大化地利用了 IP 資源池，對(duì)于網(wǎng)絡(luò)資源的分配和后續(xù)管理都有極大的幫助。

3.3 數(shù)據(jù)分析處理層

數(shù)據(jù)分析處理層主要針對(duì)錄入到系統(tǒng)的 IP 地址資源，從系統(tǒng)層面實(shí)現(xiàn) IP 地址的去重和異常 IP 的檢測(cè)分析功能。

3.3.1 IP地址去重

IP 地址去重是在 IP 自動(dòng)分配時(shí)，通過(guò)系統(tǒng)內(nèi)置的算法實(shí)現(xiàn)子網(wǎng)拆分、合并、去重，進(jìn)而從資源庫(kù)中，篩選出可供分配的 IP 地址。

（1）IP 子網(wǎng)拆分：依靠 AI 算法，將一個(gè)大的網(wǎng)段根據(jù)掩碼來(lái)拆分所得多個(gè)子網(wǎng)，并且更新 IP 資源庫(kù)中每一個(gè) IP 的網(wǎng)段歸屬情況，拆分后可以預(yù)查看拆分可得到的網(wǎng)段，并且可修改拆分出來(lái)的子網(wǎng)對(duì)應(yīng)的屬性，保存后，原先屬于拆分前子網(wǎng)的所有 IP 資源，都將根據(jù)填寫(xiě)的新子網(wǎng)的信息進(jìn)行更新，歸屬于新的子網(wǎng)。

（2）IP 子網(wǎng)合并：IP 子網(wǎng)合并是將兩個(gè)或 2n 個(gè)符 合 IP 合并規(guī)則的子網(wǎng)合并成一個(gè)大的子網(wǎng)，根據(jù)最終的掩碼會(huì)根據(jù)選中的子網(wǎng)大小來(lái)計(jì)算得出合并所得到的子網(wǎng)大小。并且原有子網(wǎng)下所有 IP 都將被自動(dòng)被規(guī)劃到合并后的子網(wǎng)中。

（3）IP 去重算法：在計(jì)算 IP 地址去重的時(shí)候，先將 IPV4 地址轉(zhuǎn)換為十進(jìn)制，保存在數(shù)據(jù)庫(kù)中。

IP 去重算法及自動(dòng)分配算法原理：系統(tǒng)針對(duì)用戶(hù)填寫(xiě)的 IP 地址掩碼，基于 AI 算法，對(duì)系統(tǒng)內(nèi)部規(guī)劃的 IP 子網(wǎng)地址進(jìn)行智能拆分或者合并，計(jì)算出滿(mǎn)足用戶(hù)需求的子網(wǎng)地址，分配算法通過(guò)對(duì)比地市、自治域、用途、掩碼（前綴）等參數(shù)，找到可分配資源池中狀態(tài)為未占用的資源，展示出所有可以選擇的網(wǎng)段出來(lái)，用戶(hù)可以自行選擇需要的網(wǎng)段下邊的符合條件的可選 IP 資源進(jìn)行分配占用，最終實(shí)現(xiàn) IP 地址的分配。

先獲取可供分配的網(wǎng)段列表，按照 30 個(gè)網(wǎng)段為一組，使用多線程和計(jì)數(shù)器分別去處理每一組網(wǎng)段。每一個(gè)線程都要檢查網(wǎng)段下是否有可供分配的子網(wǎng)，尋找到合適的網(wǎng)段，然后排除完全符合條件的子網(wǎng)，尋找可以合并或拆分的子網(wǎng)。尋找該網(wǎng)段最小子網(wǎng)，如果最小子網(wǎng)的子網(wǎng)掩碼大于輸入的掩碼，則查看是否可合并。如果最小子網(wǎng)的子網(wǎng)掩碼小于輸入的掩碼，則查看是否可合并。正序排列，取最小子網(wǎng)，掩碼數(shù)最大。計(jì)算過(guò)程中，需要判斷掩碼數(shù)是否相同，沒(méi)有被使用的子網(wǎng)個(gè)數(shù)，根據(jù)合并子網(wǎng)的需要，進(jìn)行拆分計(jì)算，同時(shí)也要計(jì)算子網(wǎng)下已經(jīng)被使用的數(shù)量，以及并子網(wǎng)需要的子網(wǎng)個(gè)數(shù)。如果某一個(gè)子網(wǎng)存在已經(jīng)分配過(guò)的 IP，需要特殊處理，判斷是否可以使用其中的一段。具體做法是獲取拆分后的子網(wǎng)中所有的 IP，查詢(xún)這些 IP 中有沒(méi)有被使用的。通過(guò)掩碼查詢(xún)到的網(wǎng)段，再通過(guò)網(wǎng)段拆分出來(lái)的子網(wǎng)去對(duì)比數(shù)據(jù)庫(kù)子網(wǎng)表數(shù)據(jù)，如果子網(wǎng)存在，則看有沒(méi)有被使用，如果被使用，則對(duì)比下一條子網(wǎng)數(shù)據(jù)。如果沒(méi)有相同掩碼的子網(wǎng)，則找有沒(méi)有掩碼位數(shù) -1 的子網(wǎng)，并用系統(tǒng)工具類(lèi)拆分兩個(gè)子網(wǎng)。如果 -1 也沒(méi)有，則使用 -1-1 的方案直到找到可以拆分的子網(wǎng)為止。同理合并需要 +1 去找。最終將計(jì)算出的可供分配的網(wǎng)段數(shù)據(jù)、子網(wǎng)數(shù)據(jù)按照 IP 升序返回即可。

3.3.2 異常IP資源檢測(cè)

系統(tǒng)通過(guò)接口接收全網(wǎng)路由表信息和用戶(hù) DNS 域 名解析數(shù)據(jù)，結(jié)合大數(shù)據(jù)混合運(yùn)算，將各個(gè)地市上報(bào)到系統(tǒng)的 IP 與路由表和 DNS 系統(tǒng)的 IP 進(jìn)行對(duì)比分析，識(shí)別出在網(wǎng)使用但未納入系統(tǒng)管理的 IP，并將此類(lèi) IP 標(biāo)記為異常IP，通過(guò)系統(tǒng)消息推送給對(duì)應(yīng)的省市管理員，方便管理員針對(duì)上報(bào) IP 數(shù)據(jù)進(jìn)行直接管控，增強(qiáng)了系統(tǒng) IP 數(shù)據(jù)的實(shí)時(shí)性、準(zhǔn)確性。

異常 DNS 活躍 IP 檢測(cè)原理：用戶(hù)的 DNS 域名解 析數(shù)據(jù)中，記錄了 IP 的活躍程度以及所屬地市，只要存在 IP 訪問(wèn)過(guò) DNS 系統(tǒng)就證明該 IP 為在線使用的活躍 IP。通過(guò) sftp 的方式定期從接口獲取活躍 ip 數(shù)據(jù)，以 txt 文本方式存放 600 多萬(wàn)活躍 IP 數(shù)據(jù)。將 DNS 活 躍 IP 數(shù)據(jù)入庫(kù)。系統(tǒng)通過(guò)執(zhí)行 python 腳本，讀取 txt 中的 IP 數(shù)據(jù)，讀取過(guò)程中過(guò)濾掉私網(wǎng) IP 地址，只保留公網(wǎng) IP，最后將過(guò)濾后的 IP 數(shù)據(jù)保存到 mysql 數(shù)據(jù)庫(kù)中。通過(guò)對(duì)比系統(tǒng)內(nèi)已錄入的全量 IP 數(shù)據(jù)與 DNS 系統(tǒng)的活躍 IP 數(shù)據(jù)，當(dāng) DNS 活躍 IP 未錄入或歸屬地市信息不準(zhǔn)確時(shí)，將該數(shù)據(jù)標(biāo)記為異常 IP。針對(duì)對(duì)比出的異 常 IP 數(shù)據(jù)，系統(tǒng)會(huì)保存在數(shù)據(jù)庫(kù)中，這些 IP 是需要管 理員進(jìn)行補(bǔ)充錄入或修改 IP 資源信息的，系統(tǒng)會(huì)推送相關(guān) DNS 異常 IP 消息到系統(tǒng)站內(nèi)信中，管理員可在系統(tǒng)內(nèi)隨時(shí)查閱異常 IP 并進(jìn)行處理。

異常路由表活躍 IP 檢測(cè)原理：全網(wǎng)路由表中記錄了 IP 資源所在的路由表相關(guān)信息，只要路由表存在的 IP，就證明該 IP 為在線使用。由于全省每個(gè)地市采用一個(gè)獨(dú)立的 AS 自治域管理，因此系統(tǒng)通過(guò)接口分地市獲取各自 AS 的明細(xì)路由，注意區(qū)分華為、貝爾等廠家不同格式的路由信息。系統(tǒng)會(huì)自動(dòng)識(shí)別路由表表頭來(lái)匹配對(duì)應(yīng)的解析方法，通過(guò)程序解析路由表內(nèi)容，獲取路由表的 Network 字段、 NextHop 字段，同時(shí)過(guò)濾掉不需要的下一跳對(duì)應(yīng)的 IP 地址，然后將過(guò)濾后的數(shù)據(jù)保存到 mysql 數(shù)據(jù)庫(kù)中。將已錄入的 IP 資 源數(shù)據(jù)逐條比對(duì)路由表數(shù)據(jù)，當(dāng)匹配到用戶(hù) IP 資源與路由表中路由數(shù)據(jù)出現(xiàn) IP 起始結(jié)束地址不一致或不存在的數(shù)據(jù)，該 IP 資源會(huì)被標(biāo)記為異常數(shù)據(jù)。針對(duì)異常 IP 數(shù)據(jù)，系統(tǒng)會(huì)保存在數(shù)據(jù)庫(kù)中，這些 IP 是需要管理員進(jìn)行補(bǔ)充錄入或修改 IP 資源信息的，會(huì)推送相關(guān)路由表異常 IP 消息到系統(tǒng)站內(nèi)信中，管理員可隨時(shí)查閱異常 iP 并進(jìn)行處理。

所有異常數(shù)據(jù)都會(huì)以 IP 地址、IP 用途、地市、異常類(lèi)型進(jìn)行存儲(chǔ)。管理人員可以通過(guò)地市來(lái)分權(quán)分域展開(kāi)一場(chǎng)排查工作，根據(jù) IP 地址快速鎖定問(wèn)題 IP 對(duì)應(yīng)的網(wǎng)絡(luò)設(shè)備和客戶(hù)。及時(shí)發(fā)現(xiàn)和解決全省 IP 地址的漏覆蓋情況，避免因人為因素給公司帶來(lái)的網(wǎng)絡(luò)信息安全隱患和相應(yīng)的經(jīng)濟(jì)損失。異常 IP 檢測(cè)后臺(tái)部署了一套 DNS 數(shù)據(jù)對(duì)比和路由表數(shù)據(jù)對(duì)比服務(wù)，通過(guò)定時(shí)任務(wù)執(zhí)行的方式開(kāi)啟對(duì)比服務(wù)來(lái)判斷系統(tǒng)中 IP 資源的異常狀況，并通過(guò)站內(nèi)信等方式提醒用戶(hù)解決異常問(wèn)題。如下圖所示：

3.4 結(jié)果展示層

結(jié)果展示層主要是對(duì) IP 數(shù)據(jù)分析處理后的結(jié)果進(jìn)行匯總展示，對(duì) IP 資源系統(tǒng)中的多維度數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析與展示，通過(guò)可視化的方式直觀了解全網(wǎng)的整理 IP 使用情況、告警情況。其中主要的創(chuàng)新點(diǎn)為 IP 智能畫(huà)像和 IP 可視化。

3.4.1 IP智能畫(huà)像

從全省網(wǎng)絡(luò)安全的角度出發(fā)，對(duì) IP 的歷史使用軌跡進(jìn)行分析，然后形成IP智能畫(huà)像能力，顯示IP從申報(bào)、分配、使用、異常檢測(cè)、回收等全生命周期的歷史痕跡。 可以在網(wǎng)絡(luò)安全責(zé)任事故時(shí)，快速協(xié)助信安、網(wǎng)安相關(guān)部門(mén)進(jìn)行溯源追責(zé)。IP 智能畫(huà)像在構(gòu)建過(guò)程中，本質(zhì)上是將 IP 數(shù)據(jù)組合成 IP 數(shù)據(jù)特征，從而形成 IP 的數(shù)據(jù)模型。IP 數(shù)據(jù)在量化之后主要是以標(biāo)簽為主，標(biāo)簽的定義拆分為三個(gè)步驟，分別是層級(jí)、生產(chǎn)以及權(quán)重。

（1）層級(jí)：分為原始標(biāo)簽、事實(shí)標(biāo)簽、模型 & 預(yù)測(cè)標(biāo)簽、策略標(biāo)簽。

原始標(biāo)簽來(lái)源于 IP 基礎(chǔ)信息、IP 地理位置、IP 訪問(wèn)數(shù)據(jù)、IP 異常記錄。

事實(shí)標(biāo)簽來(lái)源于：IP 屬性、網(wǎng)絡(luò)屬性、IP 類(lèi)型、訪問(wèn)頻次、平均日活、異常頻次。是對(duì)原始數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析后的初步提煉結(jié)果。

模型&預(yù)測(cè)標(biāo)簽來(lái)源于：IP屬性、活躍度、網(wǎng)絡(luò)屬性、地理屬性、風(fēng)險(xiǎn)度、異常頻次、訪問(wèn)偏好。模型標(biāo)簽是由一個(gè)或多個(gè)事實(shí)標(biāo)簽組合而成，是基于模型訓(xùn)練的結(jié)果。以模型標(biāo)簽“風(fēng)險(xiǎn)度”為例，它是由活躍度、異常頻次、訪問(wèn)偏好這幾個(gè)事實(shí)標(biāo)簽組合而成的。以已有的模型標(biāo)簽數(shù)據(jù)作為特征，經(jīng)過(guò)機(jī)器學(xué)習(xí)生產(chǎn)的標(biāo)簽，就作為預(yù)測(cè)標(biāo)簽。

策略標(biāo)簽來(lái)源于：IP 價(jià)值分層、IP 活躍分層、IP 異常分層。策略標(biāo)簽，則是 IP 標(biāo)簽構(gòu)建的最終目的，根據(jù)目的提煉 IP，并對(duì)用戶(hù)進(jìn)行定向的活躍分析、異常分析等。

（2）生產(chǎn)：分為基于規(guī)則定義的標(biāo)簽生產(chǎn)方式、基于主題模型的標(biāo)簽生產(chǎn)方式?；谝?guī)則定義標(biāo)簽，就是根據(jù)固定的規(guī)則，通過(guò)數(shù)據(jù)查詢(xún)的結(jié)果生產(chǎn)對(duì)應(yīng)的 IP 標(biāo)簽。

主題模型，目的是找到 IP 訪問(wèn)偏好，它將內(nèi)容劃分為了 3 個(gè)層級(jí)：分類(lèi)、主題、關(guān)鍵詞。在 IP 標(biāo)簽中，我們可以參照分類(lèi)算法將 IP 進(jìn)行聚類(lèi)，使用關(guān)鍵詞的算法挖掘 IP 的偏好，從而生產(chǎn)標(biāo)簽。中間涉及的算法有：線性支持向量機(jī)、邏輯回歸、文本挖掘算法：TF-IDF。

行為類(lèi)型權(quán)重，指的是對(duì)于同一類(lèi)標(biāo)簽，由于其行為的輕重不同所以權(quán)重不同。時(shí)間衰減因子，時(shí)間衰減因子體現(xiàn)了標(biāo)簽的熱度隨著時(shí)間逐漸冷卻的過(guò)程。

3.4.2 IP資源可視化

對(duì)手工錄入的 IP 數(shù)據(jù)、系統(tǒng)自動(dòng)采集的 IP 數(shù)據(jù)、異常告警的 IP 數(shù)據(jù)等多維度數(shù)據(jù)進(jìn)行大數(shù)據(jù)處理、統(tǒng)計(jì)與分析，然后通過(guò)柱狀圖、餅狀圖等多種圖形化方式 進(jìn)行 IP 可視化展示，展示維度包括告警數(shù)據(jù)、地市 IP 數(shù)據(jù)情況、地圖 IP 數(shù)據(jù)熱力圖等。

（1）IP 數(shù)據(jù)概覽：通過(guò)大數(shù)據(jù)統(tǒng)計(jì)分析能力，在 IP 可視化大屏上展示 IP 系統(tǒng)中總體的 IP 數(shù)量、IP 網(wǎng)段 數(shù)量、不同類(lèi)型告警的數(shù)量、已使用 IP 數(shù)、活躍 IP 數(shù)等，通過(guò)該模塊用戶(hù)可以快速了解 IP 的總體數(shù)據(jù)。

（2）IP 使用情況可視化展示：對(duì) IP 系統(tǒng)內(nèi)的 IP 規(guī)劃、IP 使用情況、IP 空閑等業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，然后按照省市縣三級(jí)進(jìn)行歸類(lèi)，再通過(guò)柱狀圖的形式進(jìn)行展示，方便用戶(hù)直觀了解 IP 數(shù)據(jù)的使用情況。

（3）IP 告警數(shù)據(jù)可視化展示：對(duì)目前的告警異常數(shù)據(jù)進(jìn)行采集、分類(lèi)。然后通過(guò)折線圖的方式展示時(shí)不同種類(lèi)告警在不同時(shí)間段的告警數(shù)量。告警數(shù)據(jù)也支持全省、全市、區(qū)縣等下鉆展示，用戶(hù)可直觀了解 IP 數(shù)據(jù)的告警情況。

（4）IP 統(tǒng)計(jì)排名可視化展示：對(duì) IP 數(shù)量、告警、使用情況等多維度數(shù)據(jù)按照地市、區(qū)縣等進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析，然后通過(guò)柱狀圖的形式對(duì)地市、區(qū)縣進(jìn)行數(shù)據(jù)排名，管理人員可以快速了解各個(gè)地市和區(qū)縣的 IP 相關(guān)數(shù)據(jù)排名。

（5）IP 數(shù)據(jù)地圖可視化展示：通過(guò)地圖的形式展示各個(gè)地市、區(qū)縣的數(shù)據(jù)使用情況，不同數(shù)據(jù)量通過(guò)不同的顏色進(jìn)行區(qū)分展示；地圖上可展示 IP 數(shù)據(jù)的流向；地圖支持多層鉆取。IP數(shù)據(jù)地圖可直觀查看各個(gè)地域的 IP 數(shù)據(jù)情況。

（6）IP 可視化數(shù)據(jù)分權(quán)分域查看：可對(duì)不同用戶(hù)配置不同的數(shù)據(jù)查看權(quán)限，省級(jí)管理員可查看全省數(shù)據(jù)，地市管理員可查看地市 IP 數(shù)據(jù)，區(qū)縣管理員可查看區(qū)縣數(shù)據(jù)。通過(guò)數(shù)據(jù)的權(quán)限管控，保證數(shù)據(jù)的安全性，防止數(shù)據(jù)泄露。

4 效果展示

本項(xiàng)目自 2020 年 5 月系統(tǒng)正式上線，目前已推廣至全省 18 個(gè)市分公司使用，成為河南聯(lián)通在網(wǎng)絡(luò)維護(hù)和 IP 地址資源管理工作中的重要支撐手段，取得了良好的效果。

4.1 IP地址總覽

目前系統(tǒng)已完成了河南聯(lián)通 IPv4 和 IPv6 數(shù)據(jù)的收錄，IPv4 總數(shù) 611.8 萬(wàn)個(gè)，已分配 557.2 萬(wàn)個(gè)，IP 資料入庫(kù)條目數(shù) 9.2 萬(wàn)條。

圖7 IPv4資源情況

IPv6 資源收錄情況：按 /64 前綴的地址塊個(gè)數(shù)統(tǒng)計(jì)，IP 總數(shù) 100.3 億個(gè)，已分配 2 億個(gè)，IP 資料入庫(kù)條目數(shù) 1519 條。

圖8 IPv6資源情況

4.2 IP自動(dòng)分配

通過(guò)系統(tǒng)去重算法，將導(dǎo)入的一個(gè)或數(shù)百上千個(gè) IP，通過(guò) IP 地址轉(zhuǎn)化成十進(jìn)制數(shù)首先進(jìn)行范圍匹配，再進(jìn)行精確的 IP 匹配，最終可以將導(dǎo)入的所有 IP 的關(guān)聯(lián)數(shù)據(jù)查詢(xún)出來(lái)，關(guān)聯(lián)數(shù)據(jù)包括 IP 地址、資源類(lèi)型、 IP 類(lèi)型（IPv4 或 IPv6）、錄入方式、錄入時(shí)間、以及相關(guān)責(zé)任人等信息。對(duì)系統(tǒng)內(nèi)部規(guī)劃的 IP 子網(wǎng)地址進(jìn)行智能拆分或者合并，計(jì)算出滿(mǎn)足用戶(hù)需求的子網(wǎng)地址，分配算法通過(guò)對(duì)比地市、自治域、用途、掩碼（前綴）等參數(shù)，找到可分配資源池中狀態(tài)為未占用的資源，展示出所有可以選擇的網(wǎng)段出來(lái)，用戶(hù)可以自行選擇需要的網(wǎng)段下邊的符合條件的可選 IP 資源進(jìn)行分配占用，最終實(shí)現(xiàn) IP 地址的分配。

4.3 IP異常檢測(cè)智能分析

系統(tǒng)使用 IP 異常智能檢測(cè)算法，結(jié)合全省入庫(kù) IP 資源、用戶(hù)dns域名解析、全網(wǎng)路由表的大數(shù)據(jù)關(guān)聯(lián)分析，實(shí)現(xiàn)了對(duì)在網(wǎng)運(yùn)行但未錄入 IP 資源的自動(dòng)發(fā)現(xiàn)與預(yù)警功能。異常 IP 記錄如下圖：

通過(guò)系統(tǒng)上線一年多的整治工作，現(xiàn)在系統(tǒng)內(nèi)的異常IP數(shù)據(jù)已經(jīng)大幅下降，異常IP數(shù)從整治前的55316個(gè)，減少到 896 個(gè)降幅 98.38%。

4.4 IP智能畫(huà)像

系統(tǒng)基于 IP 智能畫(huà)像 AI 算法，結(jié)合域名解析系統(tǒng)、信安專(zhuān)線系統(tǒng)、IP/ICP 備案系統(tǒng)等數(shù)據(jù)，對(duì) IP 地址庫(kù)的錄入數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，實(shí)現(xiàn) IP 所有關(guān)聯(lián)信息的快速查詢(xún)展示，對(duì) IP 資源分布、使用軌跡、歷史情況等信息的精準(zhǔn)溯源。能夠?qū)?IP 地址進(jìn)行深度圖譜畫(huà)像，可視化展示所有 IP 關(guān)聯(lián)數(shù)據(jù)信息。

4.5 IP資源可視化

對(duì)手工錄入的 IP 數(shù)據(jù)、系統(tǒng)自動(dòng)采集的 IP 數(shù)據(jù)、異常告警的 IP 數(shù)據(jù)等多維度數(shù)據(jù)進(jìn)行大數(shù)據(jù)處理、統(tǒng)計(jì)與分析，然后通過(guò)柱狀圖、餅狀圖等多種圖形化方式進(jìn)行 IP 可視化展示，展示維度包括告警數(shù)據(jù)、地市 IP 數(shù)據(jù)情況、地圖 IP 數(shù)據(jù)熱力圖等。

5 結(jié)語(yǔ)

本項(xiàng)目通過(guò) AI 和大數(shù)據(jù)技術(shù)，對(duì)全省 IPv4 和 IPv6 地址資源進(jìn)行線上系統(tǒng)化管理，摒棄長(zhǎng)期以來(lái)使用傳統(tǒng) excel 手工管理的模式，解決了河南聯(lián)通IP 地址管理工作中存在人工參與度過(guò)高、手工臺(tái)賬、信息錯(cuò)漏、無(wú)法自動(dòng)稽核、缺乏全流程管控等問(wèn)題，實(shí)現(xiàn)了 IP 資源維護(hù)管理工作的全面數(shù)字化轉(zhuǎn)型。項(xiàng)目提高了河南聯(lián)通維護(hù)人員的工作效率和企業(yè)效益，提升了對(duì) IP 地址的安全監(jiān)管能力，系統(tǒng)可復(fù)制性、可推廣性良好。

參考文獻(xiàn)：

[1] 宋建.基于網(wǎng)絡(luò)拓?fù)錅y(cè)量的IP地址定位系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京:北京郵電大學(xué),2015.

[2] 楊尉,冷小潔,欒衛(wèi)平,等.IP地址管理模式[J].電子技術(shù)與軟件工程,2017(8):42-46.

[3] 王陽(yáng).從“精細(xì)化管理”到“精準(zhǔn)化治理”—以上海市社會(huì)治理改革方案為例[J].新視野,2016(1):29-32.

[4] 匡珍春.Oracle數(shù)據(jù)庫(kù)優(yōu)化設(shè)計(jì)探討[J].信息安全與技術(shù),2016(02):69-71.

[5] 耿雪瑩.基于SNMP IP地址管理系統(tǒng)開(kāi)發(fā)與應(yīng)用[J].黑龍江電力,2017,39(01):92-94.

[6] 楊尉,冷小潔,欒衛(wèi)平,等.IP地址管理模式[J].電子技術(shù)與軟件工程,2017(15):30-31.

（本文轉(zhuǎn)自《電子產(chǎn)品世界》雜志2022年第6期）