導(dǎo)語：當前，愛普新媒廣告數(shù)據(jù)規(guī)模太過龐大、賽過大象，如何把這頭大象“瘦身“裝進“冰箱真正使用起來?UCloud數(shù)據(jù)湖分析方案幫助愛普新媒解決了眼下的難題。

　　“平均業(yè)務(wù)數(shù)據(jù)需求完成周期提升21倍， 從43.2小時縮短到2小時。”

　　“大數(shù)據(jù)工程師每月減少20個人日的?作量。”

　　“大數(shù)據(jù)基礎(chǔ)設(shè)施投入減少92.85%。”

　　張先生是一位大數(shù)據(jù)負責人，供職于北京愛普新媒體公司。這是一家專業(yè)從事廣告DSP(Demand-Side Platform，需求方平臺)業(yè)務(wù)的公司，成立于2010年。隨著DSP廣告模式傳入中國成為熱潮，公司發(fā)展不錯。

　　但張先生很快發(fā)現(xiàn)，廣告數(shù)據(jù)增長的速度遠遠超乎預(yù)期，公司內(nèi)大數(shù)據(jù)工程師招聘目標才完成一半，但數(shù)據(jù)量一下沖到數(shù)百T。手下幾個數(shù)據(jù)工程師不得不疲于奔命，幫助業(yè)務(wù)分析師運行SQL任務(wù)，排除故障，但仍然收效甚微。隨著廣告項目的增長，業(yè)務(wù)部門的數(shù)據(jù)分析師對大數(shù)據(jù)部門的抱怨也在不斷積累。

　　作為廣告服務(wù)商，數(shù)據(jù)統(tǒng)計就是公司的命脈，如果因廣告主自身數(shù)據(jù)管理而造成的廣告投放數(shù)據(jù)統(tǒng)計不準，和第三方檢測機構(gòu)的數(shù)據(jù)對不上，后果不堪設(shè)想，廣告主甚至?xí)�拒絕結(jié)款。

　　正當張先生焦頭爛額之際，UCloud向他推薦了數(shù)據(jù)湖分析方案。經(jīng)過初步的試用和數(shù)據(jù)驗證之后，張先生決定把一小部分業(yè)務(wù)放在數(shù)據(jù)湖分析方案上處理，這才有了本文開頭的一幕。

　　廣告一半是科學(xué)，一半是藝術(shù)。這其中，以效果為主的DSP要看性價比和投資回報率，得算經(jīng)濟賬，可以說是相當科學(xué)了。在張先生的心中就有這么一筆賬：

　　張先生的工作場景也是目前數(shù)量眾多的中小企業(yè)在面對大數(shù)據(jù)時遇到的困難。中小企業(yè)數(shù)據(jù)形成規(guī)模后，由于收入尚未跟上，所以面對動輒每年數(shù)百萬的大數(shù)據(jù)投入，往往只能望而卻步。

　　愛普新媒面臨的數(shù)據(jù)挑戰(zhàn)：

　　業(yè)務(wù)分析師說：

　　1. 數(shù)據(jù)規(guī)模太大， 自己不能獨立完成分析

　　2. 數(shù)據(jù)任務(wù)完成周期長

　　3. 數(shù)據(jù)結(jié)果感覺不準， 但又不能查看原始明細數(shù)據(jù)

　　數(shù)據(jù)部門說：

　　1. 業(yè)務(wù)臨時性數(shù)據(jù)需求多，占用部門有限的技術(shù)人力資源

　　2. 數(shù)據(jù)需求經(jīng)常需要返工

　　3. 數(shù)據(jù)規(guī)模增長太快，數(shù)據(jù)倉庫成本不斷增長

　　愛普新媒擁有“云魔方”互聯(lián)網(wǎng)精準營銷平臺、“云速”企業(yè)移動信息服務(wù)平臺和“云匯”互動廣告平臺，廣告數(shù)據(jù)規(guī)模太過龐大、賽過大象，如何把這頭大象“瘦身“裝進“冰箱真正使用起來這是愛普新媒迫切需要解決的問題。

　　Step1

　　打開冰箱門(傳輸數(shù)據(jù))

　　Ukafka(Kafka消息隊列)是一款專門用于處理流式數(shù)據(jù)的分布式消息產(chǎn)品。通過以創(chuàng)建集群的方式創(chuàng)建UKafka，能夠快速實現(xiàn)Kafka以及所依賴的服務(wù)的部署，為用戶提供快速部署、易于管理、彈性伸縮的流式數(shù)據(jù)處理系統(tǒng)，實現(xiàn)對大象的瘦身。

　　Step2

　　把大象裝進冰箱(存儲數(shù)據(jù))

　　對象存儲(UFile)是為互聯(lián)網(wǎng)應(yīng)用提供非結(jié)構(gòu)化文件云存儲的服務(wù)，將瘦身后的大象(Ukafka)導(dǎo)入到對象存儲(UFile)。相對于傳統(tǒng)硬盤存儲，UFile云存儲具有存儲無上限、支持高并發(fā)訪問、成本更低等優(yōu)勢;解決業(yè)務(wù)架構(gòu)的文件存儲問題，有效降低海量文件的存儲成本，支持熱點數(shù)據(jù)的高并發(fā)訪問，提升終端用戶訪問體驗。

　　Step3

　　關(guān)上冰箱門(數(shù)據(jù)可視化)

　　數(shù)據(jù)湖分析(USQL)是一種可擴展性強、成本低廉的無服務(wù)器SQL分析計算引擎，可輕松完成面向海量數(shù)據(jù)的數(shù)據(jù)建模工作，SQL即可完成數(shù)據(jù)查詢和分析，極大降低使用大數(shù)據(jù)的門檻，且無需數(shù)據(jù)庫管理員和運維人員，大幅度減少對大數(shù)據(jù)工程師的依賴。對大象溯本求源，讓數(shù)據(jù)真正使用起來。

　　完整的數(shù)據(jù)湖分析方案遠不止能將大象裝進冰箱，還能讓大象跳起舞來。