雷鋒網(wǎng) AI 科技評(píng)論按：今年 7 月，2019 騰訊廣告算法大賽「終極之戰(zhàn)」在深圳騰訊濱海大廈順利舉行。本次總決賽現(xiàn)場(chǎng)，騰訊廣告高級(jí)應(yīng)用研究員石瑞超為大家?guī)砹祟}為《廣告場(chǎng)景下的 AI 視覺算法應(yīng)用》的演講。視覺算法應(yīng)用于廣告創(chuàng)意的三個(gè)階段包括廣告創(chuàng)建、廣告審核及廣告播放。研究員石瑞超為我們展示了 AI 視覺算法在解決廣告落地中痛難點(diǎn)的優(yōu)勢(shì)與應(yīng)用方法。以下是他的分享內(nèi)容，雷鋒網(wǎng) AI 科技評(píng)論做了不改變?cè)獾恼砼c編輯。

騰訊廣告高級(jí)應(yīng)用研究員石瑞超

廣告創(chuàng)建，輔助創(chuàng)意輸出

廣告創(chuàng)建分為圖片創(chuàng)建和視頻廣告創(chuàng)建。石瑞超提到圖片創(chuàng)意生成過程面臨的兩個(gè)效果問題：商品摳圖的邊緣化處理和模板的更新擴(kuò)充；此外他還介紹了視覺算法的解決方案。

廣告創(chuàng)意視覺算法應(yīng)用

針對(duì)商品摳圖，這里選擇了邊緣處理效果較好的GCN算法進(jìn)行優(yōu)化，并對(duì)邊緣做加權(quán)l(xiāng)oss，提升邊緣平滑性，修改產(chǎn)品圖，進(jìn)而提升視覺體驗(yàn)。

然后在獲得良好摳圖效果的基礎(chǔ)上，再運(yùn)用AI生成豐富的模板素材。而這一過程以產(chǎn)品主色調(diào)的提取為核心，基礎(chǔ)思路為：檢索并修改背景，做深度美感過濾模型提升產(chǎn)品視覺效果，繼而通過修改配色獲得多重類型模板，達(dá)到拓寬模板素材庫(kù)的效果。

其中，配色修改通過預(yù)估每個(gè)像素的主色調(diào)獲得配色后的最終效果，是模板生成的關(guān)鍵。在這一實(shí)踐中，算法首先采用了業(yè)界常用的 Conv-Deconv+L2 Loss，并根據(jù)實(shí)際情況改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)；在經(jīng)過重渲染控制像素值顏色的一致性，最終實(shí)際可用率可達(dá)到91%，獲得良好效果。

之后，石瑞超以電商廣告為切入點(diǎn)，向大家介紹視覺算法全自動(dòng)智能生成視頻創(chuàng)意的過程。

隨著近年來各平臺(tái)視頻量快速增長(zhǎng)，視頻創(chuàng)意生成面臨視頻廣告庫(kù)存不足的現(xiàn)狀。如何快速生成視頻廣告成為視頻創(chuàng)意的主要命題。要解決這一問題，首先我們需要抓取商品基礎(chǔ)信息，并基于行業(yè)模板庫(kù)生成對(duì)應(yīng)故事板（囊括圖片、文案、配樂等要素），故事板經(jīng)過渲染生成視頻，同時(shí)應(yīng)用算法獲得封面圖，最終上線一條完整的視頻廣告。

廣告審核，質(zhì)量把控

廣告創(chuàng)意生成后，便進(jìn)入廣告審核階段。隨著廣告體量的不斷增長(zhǎng)、審核規(guī)則越發(fā)繁多和復(fù)雜，依靠傳統(tǒng)的人工審核已經(jīng)無法滿足當(dāng)前需求。

首先，審核人員需要快速且準(zhǔn)確地對(duì)所有違規(guī)點(diǎn)進(jìn)行識(shí)別；其次，針對(duì)同樣的違規(guī)問題，審核人員需要給予廣告主一致的反饋意見。為解決這一問題，這里引入了智能審核項(xiàng)目，通過算法能力，在人工審核環(huán)節(jié)之前對(duì)廣告創(chuàng)意進(jìn)行各種檢測(cè)，從而輔助人工高質(zhì)量地完成審核。

演講中，石瑞超以明星人臉抄襲和游戲抄襲為例介紹了他們?cè)谥悄軐徍松厦娴囊恍?shí)踐?；邶嫶髷?shù)據(jù)庫(kù)，他們采用 Asoftmax Loss 算法抓取特征，進(jìn)行明星人臉抄襲的識(shí)別工作。運(yùn)用識(shí)別圖像關(guān)鍵區(qū)域的算法，通過關(guān)鍵區(qū)域與待識(shí)別素材的匹配程度判斷抄襲審核結(jié)果。

明星人臉抄襲識(shí)別方法

然而，智能審核項(xiàng)目的能力提升也面臨著成本高昂和效率提升瓶頸的難題。因此，這里引用 AutoML 引擎為研究方向，借助 AutoML 引擎的調(diào)優(yōu)規(guī)則和搜索策略，提升智能審核效率。

AutoML 引擎

廣告播放，體驗(yàn)優(yōu)化

廣告播放的關(guān)鍵問題主要聚焦于兩個(gè)方面，一個(gè)是如何提升點(diǎn)擊率和轉(zhuǎn)化率；另一個(gè)是如何提升視覺體驗(yàn)。石瑞超主要介紹了雙塔模型：抓取人群歷史的素材點(diǎn)擊特征向量，以廣告的基礎(chǔ)特征和用戶群體特征為維度搭建雙塔模型，高效預(yù)估點(diǎn)擊率，提升廣告投放的預(yù)估效果?！拔覀冏隽诉@種嘗試，會(huì)發(fā)現(xiàn)AUC有比較明顯的提升，大概是2%，線上效果的消耗能達(dá)到3%—4%左右?！?/p>

在向目標(biāo)人群推薦廣告的過程中，如果僅以點(diǎn)擊率和轉(zhuǎn)化率為推薦邏輯，用戶很容易看到相似素材。針對(duì)這一問題，這里使用預(yù)訓(xùn)練好的 CNN 模型，提取卷積層特征，進(jìn)行降維，得到無監(jiān)督的 152 位向量。同時(shí)加入相似廣告素材的訓(xùn)練數(shù)據(jù)進(jìn)行 finetune，提升廣告數(shù)據(jù)的擬合度，使召回率獲得明顯提升，從而一定程度避免重復(fù)廣告素材的出現(xiàn)，優(yōu)化用戶的視覺體驗(yàn)。

相似素材過濾步驟

雷鋒網(wǎng) AI 科技評(píng)論

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。