美譽度品牌管理
作者 | ZeR0
編輯 | jonyle

進(jìn)入生成式人工智能（或稱AIGC）狂飆的時代，造假變得更加輕而易舉。

近年來，PS公章、信函、保單、證件照的違法行為已經(jīng)層出不窮，還有些人唯恐天下不亂地借用P圖造謠生事，或者進(jìn)行敲詐勒索。據(jù)江西公安近日披露的案件，一個四人犯罪團(tuán)伙用“PS”合成不雅照進(jìn)行敲詐勒索，至被抓時已跨三省共計投遞900余封敲詐信，敲詐勒索金額總計1.6億余元（未遂）。

快速進(jìn)化的AI生成技術(shù)，更是讓生成假照片、圖像/視頻換臉更加真假難辨。今年3月，Reddit網(wǎng)友上傳了一組記錄2001年北美西海岸發(fā)生的9.1級地震和海嘯事件的新聞事件，但事實上整組照片都是用AI文生圖工具M(jìn)idjourney生成的。

▲Reddit網(wǎng)友上傳的虛假地震新聞?wù)掌▓D源：Reddit）

AI換臉冒充熟人新騙局亦高頻出現(xiàn)。今年4月，福州市某科技公司法人代表郭先生10分鐘內(nèi)被人用佯裝成好友的AI換臉視頻詐騙430萬元。無獨有偶，5月，安慶市何先生因一段佯裝成熟人的9秒AI換臉視頻被詐騙245萬元。

“有圖有真相”已經(jīng)成為歷史，隨著AI圖像內(nèi)容安全的警報頻繁拉響、圖像偽造門檻越來越低，加強AI反制技術(shù)研究愈發(fā)迫在眉睫。

近日，中國信通院、人工智能及大數(shù)據(jù)科技企業(yè)合合信息等機構(gòu)聯(lián)手啟動了《文檔圖像篡改檢測標(biāo)準(zhǔn)》編制工作。在上周舉行的世界人工智能大會期間，合合信息分享了針對典型圖像安全問題的三項重點技術(shù)：AI圖像篡改檢測、生成式圖像鑒別、OCR對抗攻擊技術(shù)。

圖像領(lǐng)域的可信AI才剛剛起步。由AI篡改、生成的圖像與真實圖像有哪些細(xì)微差別？如何通過先進(jìn)AI技術(shù)手段進(jìn)行分辨？可信AI產(chǎn)業(yè)化需闖過哪些難關(guān)？我們與合合信息智能創(chuàng)新事業(yè)部總經(jīng)理唐琪進(jìn)行了深入交流。

一、AI圖像篡改檢測：火眼金睛無懼截圖，甄別四類截圖篡改

P圖是常見的圖像篡改手段之一。在學(xué)術(shù)界，用PS改圖學(xué)術(shù)造假會擾亂評價機制；在產(chǎn)業(yè)界及日常生活，PS篡改證件、票據(jù)、合同、銀行保單、資質(zhì)證書、交易記錄等重要材料的截圖若被利用，可能會造成財產(chǎn)損失。

▲合合信息AI圖像篡改檢測技術(shù)應(yīng)用效果展示（圖源：合合信息）

合合信息智能創(chuàng)新事業(yè)部總經(jīng)理唐琪告訴美譽度，基于多年行業(yè)積累，合合信息發(fā)現(xiàn)各種形式的截圖篡改方式，基本可以歸納為四種類型：復(fù)制移動、拼接、擦除、重打印。

復(fù)制移動即在原圖中“摳”出關(guān)鍵要素再粘貼到另一處；拼接是將不同圖像拼接成一張新圖像；擦除能夠不留痕跡地擦掉一些關(guān)鍵信息，如去除大面積復(fù)雜水?。恢卮蛴t是在擦除的基礎(chǔ)上重新編輯新文檔。

截圖因為沒有圖層，背景沒有紋路和底色，沒有拍照時產(chǎn)生的成像差異、光照差異等信息，檢測難度更高。這需要先進(jìn)的檢測技術(shù)來大批量發(fā)現(xiàn)被篡改/偽造的信息，保障信息真實性，防止欺詐行為的發(fā)生。

然而，現(xiàn)有的視覺模型通常難以充分發(fā)掘原始圖像和篡改圖像的細(xì)粒度差異特征，因此難以實現(xiàn)令人滿意的準(zhǔn)確率。

為此，合合信息提出了一種基于HRNet的編碼器－解碼器結(jié)構(gòu)的圖像真實性鑒別模型，使用分割模型，Backbone使用ConvNeXt作為編碼器，用LightHam和EANet兩個網(wǎng)絡(luò)并行作為解碼器，結(jié)合圖像本身的信息包括但不限于噪聲、頻譜等，從而捕捉到細(xì)粒度的視覺差異，達(dá)到高精度鑒別目的。

▲篡改檢測技術(shù)模型結(jié)構(gòu)（圖源：合合信息）

給定一張圖片，輸入到合合信息的AI圖像篡改檢測模型中，該模型就能迅速判別這張圖像是否被篡改，并且精確定位到圖像的篡改區(qū)域。篡改處會以熱力圖的形式呈現(xiàn)。

▲“重打印”篡改圖片檢測示例（圖源：合合信息）

隨著圖片造假技術(shù)的提升和修圖軟件使用門檻的降低，很多時候，人眼必須進(jìn)行非常細(xì)致地觀察，才能發(fā)現(xiàn)這些篡改圖像的端倪。例如銀行等場景每天要審核大量的截圖、照片，僅靠人工方式不僅效率低下，因疲憊而出錯的概率也更高。相比人類，AI算法能夠更高效穩(wěn)定地檢測到一些微小的、像素級的破綻，大幅提升核查效率。

唐琪認(rèn)為，生成技術(shù)與檢測技術(shù)好比“矛”與“盾”，會不斷出現(xiàn)更頂級的生成技術(shù)，而科技發(fā)展永遠(yuǎn)是技術(shù)和經(jīng)濟(jì)性的雙重問題，AI圖像安全檢測技術(shù)的行業(yè)價值在于能攻破常見的、產(chǎn)業(yè)級規(guī)模的造假，維護(hù)大多數(shù)人的權(quán)益。

二、AIGC判別：AI視頻換臉騙過身份驗證？ 多維度特征分辨“虛擬人”

輸入一段文字就能生成以假亂真的圖像，傳幾張照片就能進(jìn)行視頻換臉……爆火的AIGC（AI內(nèi)容生成）技術(shù)，在為創(chuàng)作者提供了高效生產(chǎn)力工具的同時，也打開了潘多拉魔盒——一些不法分子用于造假新聞、規(guī)避版權(quán)、繞過活體身份驗證、造謠誹謗、敲詐勒索，非法牟利。

▲AIGC生成圖片引發(fā)社會問題（圖源：合合信息）

比如在金融行業(yè)，有人用AI合成技術(shù)對線上資金進(jìn)行盜刷；在傳媒行業(yè)，某些圖片供給方使用軟件自動生成海報等圖片，故意隱瞞其來源并售賣給第三方，導(dǎo)致后續(xù)出現(xiàn)侵權(quán)糾紛。AI生成式圖像檢測技術(shù)則有助于解決這些問題。

這類項目主要有兩個難點，一是生成出來的圖像場景繁多，不能窮舉；二是有些生成圖和真實圖片的相似度過高，信息真?zhèn)闻卸y度大。

以AI換臉視頻為例，過去“AI假臉”的紋理特征破綻較為明顯，比如眼睛、牙齒輪廓細(xì)節(jié)不一致，連續(xù)動作實時渲染存在丟幀、不流暢等情況，這些“穿幫”畫面僅憑肉眼就能察覺。但隨著技術(shù)快速演進(jìn)，生成式AI很快就能優(yōu)化這些細(xì)節(jié)問題，生成更加以假亂真的畫面。

合合信息研發(fā)的AI生成式圖像鑒別技術(shù)，基于空域與頻域關(guān)系建模，能在不用窮舉圖片的情況下，利用多維度特征來分辨真實圖片和生成式圖片的細(xì)微差異。

▲AI生成式圖像鑒別技術(shù)模型結(jié)構(gòu)（圖源：合合信息）

唐琪告訴美譽度，該模型的設(shè)計融入了合合信息在真實場景中積累的大量行業(yè)經(jīng)驗。輸入圖片后，模型通過多個空間注意力頭來關(guān)注空間特征，并使用紋理增強模塊放大淺層特征中因為視頻連續(xù)性特征而形成的一些細(xì)微偽影，增強模型對真實人臉和偽造人臉的感知與判斷準(zhǔn)確度。目前，相關(guān)技術(shù)也在不斷迭代中。

三、OCR對抗攻擊：給文本數(shù)據(jù)“加密”，嚴(yán)防隱私信息泄露

OCR對抗攻擊技術(shù)被用于防止不法分子利用技術(shù)手段非法爬取圖片上的信息。

在日常生活和工作中，人們經(jīng)常在網(wǎng)上發(fā)送自己相關(guān)證件、文件的圖片，這些圖片包含的個人信息（比如地址、銀行卡號）可能會被第三方平臺用OCR技術(shù)批量截獲并泄露。

對此，合合信息研發(fā)了OCR對抗攻擊技術(shù)來進(jìn)行文檔圖片“加密”，對關(guān)鍵信息進(jìn)行遮蓋，在不影響肉眼觀看的情況下，阻止圖片中指定的目標(biāo)文本被機器自動爬取。

▲合合信息OCR對抗攻擊技術(shù)應(yīng)用效果展示（圖源：合合信息）

輸入圖片后，首先通過已知的默認(rèn)OCR系統(tǒng)檢測圖片中的文本位置和內(nèi)容信息，指定目標(biāo)文本后系統(tǒng)在目標(biāo)文本的周圍區(qū)域迭代地添加特定的高斯噪聲、亮度變換等攻擊手段，然后通過默認(rèn)OCR系統(tǒng)的識別結(jié)果作為反饋調(diào)整迭代輪數(shù)，將對默認(rèn)OCR系統(tǒng)攻擊成功時的圖片的最終結(jié)果送入目標(biāo)OCR系統(tǒng)中進(jìn)行驗證。

▲OCR對抗攻擊網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)（圖源：合合信息）

該技術(shù)可在不影響肉眼觀看與判斷的情況下，對場景文本或者文檔內(nèi)文本進(jìn)行擾動，對包含中文、英文、數(shù)字等關(guān)鍵信息的內(nèi)容進(jìn)行“攻擊”，防止第三方通過OCR系統(tǒng)讀取并保存圖像中所有的文字內(nèi)容，有效降低數(shù)據(jù)泄露風(fēng)險，以此達(dá)到保護(hù)信息的目的。

四、17年深耕AI研發(fā)，與AI造假斗智的底氣何來？

深耕人工智能17年的合合信息，是國內(nèi)圖像內(nèi)容安全保護(hù)的技術(shù)及行業(yè)專家。

在智能文字識別及商業(yè)大數(shù)據(jù)領(lǐng)域，合合信息行業(yè)根基深厚，為全球超過200個國家和地區(qū)的上億用戶提供智能文字識別產(chǎn)品及AI服務(wù)，坐擁名片全能王、掃描全能王、啟信寶等明星C端產(chǎn)品，并向超過30個行業(yè)提供B端服務(wù)。

從技術(shù)積累來看，合合信息長期聚焦于文檔智能領(lǐng)域中的前沿技術(shù)探索，已獲得超百項自主知識產(chǎn)權(quán)發(fā)明專利。唐琪說，合合信息的護(hù)城河包括多年累積的人才、算法、算力以及行業(yè)洞見。

其智能文字識別、智能文檔處理相關(guān)技術(shù)已發(fā)表于CVPR、AAAI、ACL、ACM MM等國際頂會，已經(jīng)拿下15項頂級國際AI競賽的冠軍，并接連獲得中國信通院的多項高分評級。

例如，在智能文檔處理系統(tǒng)評估中，合合信息產(chǎn)品智能文檔處理產(chǎn)品在通用能力及AI核心能力方面均表現(xiàn)優(yōu)異，多項測試結(jié)果獲得最高評定等級5分評分。在OCR能力評估中，其智能文字識別產(chǎn)品通過全部7項基礎(chǔ)類功能指標(biāo)測試及9項增強類功能指標(biāo)測試，獲得最高評定等級“增強級”評級。

▲智能文檔處理系統(tǒng)評估測試（圖源：中國信通院）

評估報告顯示，合合信息的智能文字識別產(chǎn)品展現(xiàn)出良好的性能和服務(wù)成熟度。以具有較大難度的證件類和票據(jù)類性能測試為例，面對旋轉(zhuǎn)、陰影、反光、褶皺、形變等復(fù)雜場景，合合信息智能文字識別產(chǎn)品均有較高的識別準(zhǔn)確率，字符準(zhǔn)確率分別為99.21%和99.59%，字段準(zhǔn)確率分別為97.87%和98.42%。

生成式AI的發(fā)展面臨多重挑戰(zhàn)，對可信AIGC提出迫切需求。

在世界人工智能大會多模態(tài)基礎(chǔ)大模型的可信AI專場論壇上，中國科學(xué)院院士、上海華科智谷人工智能研究院院長何積豐談道，AI系統(tǒng)的“可信性”應(yīng)反映6種品質(zhì)：正確性、倫理性、安全性、可釋性、公平性、魯棒性。

▲何積豐院士在世界人工智能大會上演講的PPT截圖

中國信通院等4家機構(gòu)聯(lián)合發(fā)起《AIGC可信倡議》，聯(lián)合政產(chǎn)學(xué)研用，表達(dá)了對AIGC和可信AI在科學(xué)研究、技術(shù)攻關(guān)、工程應(yīng)用、標(biāo)準(zhǔn)測試、倫理安全、國際合作、人才培育等方面的創(chuàng)新探索的決心。中國信通院副院長王志勤也提出倡議：“要加強可信賴的AIGC技術(shù)框架、標(biāo)準(zhǔn)體系、評測機制等技術(shù)的研究和推廣。”

此前，為了推動AI技術(shù)在圖像領(lǐng)域的可信化落地，在中國信通院牽頭下，合合信息、中國圖象圖形學(xué)學(xué)會、中國科學(xué)技術(shù)大學(xué)等機構(gòu)正聯(lián)合推進(jìn)《文檔圖像篡改檢測標(biāo)準(zhǔn)》的編制工作，以系統(tǒng)性建立圖像內(nèi)容安全行業(yè)發(fā)展秩序，為文檔圖像內(nèi)容安全提供可靠保障。

▲《文檔圖像篡改檢測標(biāo)準(zhǔn)》目的和內(nèi)容概覽（圖源：合合信息）

該標(biāo)準(zhǔn)將基于產(chǎn)業(yè)現(xiàn)狀，圍繞“細(xì)粒度”視覺差異偽造圖像鑒別、生成式圖像判別、文檔圖像完整性保護(hù)等焦點議題，凝聚行業(yè)共識，以期為行業(yè)提供有效指引。

結(jié)語：用魔法打敗魔法，用AI技術(shù)讓圖像造假無處遁形

生成式AI的爆發(fā)，讓“眼見為實”成為過去時。

此前全局性裁剪、調(diào)色處理、組合式造假等圖像篡改手法已經(jīng)花樣百出，攻防博弈持續(xù)焦灼。如今AI制作照“騙”的功力越發(fā)爐火純青，生成虛假圖像信息變得更廉價、更快速、更易得，僅靠專業(yè)人員來辨別既低效又不可控。

生成式AI正展現(xiàn)出顛覆世界的強大能力，讓高效圖文創(chuàng)作、視頻編輯能力變得觸手可及，但這些AI能力必須可控可信，才能更多地為人類帶來福祉，發(fā)揮科技向善的價值。

從惡意P圖敲詐勒索，到換臉視頻冒充熟人詐騙，乃至繞過身份驗證盜取財產(chǎn)，AI篡改或生成的圖像的負(fù)面應(yīng)用可能會破壞互聯(lián)網(wǎng)秩序，危及個人財產(chǎn)及生命安全，令企業(yè)蒙受重大經(jīng)濟(jì)損失，并極易引發(fā)社會信任危機。

多國政府及企業(yè)已經(jīng)積極行動，以防范潛在的安全風(fēng)險。不少政府都在加速推進(jìn)AI監(jiān)管的相關(guān)立法，但考慮到AI尚處于新興發(fā)展階段，過度“踩剎車”會在一定程度上遏制創(chuàng)新，因此不僅要從政策層面加以約束，還需充分借助先進(jìn)技術(shù)的力量，來給生成式AI構(gòu)筑安全圍欄。

隨著AI圖像篡改檢測、生成式圖像鑒別、OCR對抗攻擊等技術(shù)日臻成熟并深入產(chǎn)業(yè)，這些技術(shù)將提高批量甄別圖像內(nèi)容風(fēng)險的效率，保護(hù)更多個人及企業(yè)免受經(jīng)濟(jì)損失，為AI圖像應(yīng)用安全保駕護(hù)航。