嘉賓：王鵬飛，焱融云 CTO

引言：

近年來(lái)，容器技術(shù)和云原生應(yīng)用越來(lái)越多地占據(jù)企業(yè)級(jí)市場(chǎng)，有狀態(tài)容器業(yè)務(wù)也開始得到廣泛使用，包括結(jié)構(gòu)化數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化數(shù)據(jù)庫(kù)、數(shù)據(jù)分析、內(nèi)容管理、CI/CD、海量數(shù)據(jù)共享等業(yè)務(wù)場(chǎng)景需要對(duì)容器的數(shù)據(jù)進(jìn)行持久化，容器持久化存儲(chǔ)成為企業(yè) IT 系統(tǒng)的剛需。近日，CNCF 發(fā)布了最新版本的 Cloud Native Landscape，焱融云 YRCloudFile 被列入云原生全景圖譜，位于云原生存儲(chǔ)象限中，這是國(guó)內(nèi)首個(gè)被收錄的容器持久化存儲(chǔ)產(chǎn)品。InfoQ 記者專訪到了焱融云 CTO 王鵬飛，揭秘這家成立3年多的創(chuàng)業(yè)公司是如何憑借技術(shù)實(shí)力在競(jìng)爭(zhēng)激烈的分布式存儲(chǔ)市場(chǎng)取得一席之地的。

正文：

“經(jīng)歷了華為、中興事件后，更加深了我們對(duì)自研的重視”

互聯(lián)網(wǎng)的規(guī)模越來(lái)越大，并發(fā)請(qǐng)求也越來(lái)越高，傳統(tǒng)的集中式存儲(chǔ)并不能很好地滿足各種場(chǎng)景的需求，于是分布式儲(chǔ)存系統(tǒng)得以廣泛應(yīng)用。王鵬飛提到，“2011年我在IBM工作的時(shí)候就開始接觸到分布式存儲(chǔ)，一直到現(xiàn)在，其實(shí)我經(jīng)歷了分布式存儲(chǔ)整個(gè)蓬勃發(fā)展的過(guò)程”。隨著互聯(lián)網(wǎng)經(jīng)濟(jì)的迅速發(fā)展，帶動(dòng)各行各業(yè)的應(yīng)用呈爆發(fā)式增長(zhǎng)，對(duì)存儲(chǔ)的需求也越來(lái)越高，場(chǎng)景劃分越來(lái)越細(xì)。這是焱融云創(chuàng)立的一個(gè)出發(fā)點(diǎn)，就是要做一款好的分布式存儲(chǔ)。

據(jù)王鵬飛介紹，目前市場(chǎng)上做分布式存儲(chǔ)的公司主要集中在大廠，比如浪潮、NetApp、華為等。其他一些相對(duì)而言較小的公司，主要利用 GlusterFS、CephFS 甚至 Lustre 等一些開源的分布式文件系統(tǒng)。焱融云從2017年開始推出基于高性能分布式文件的容器存儲(chǔ)。YRCloudFile 的定位是統(tǒng)一管理所有服務(wù)器磁盤并提供統(tǒng)一命名空間的文件系統(tǒng)，采用分布式架構(gòu)，單集群最多可以支撐上萬(wàn)個(gè) client 同時(shí)訪問(wèn)。YRCloudFile 可以幫助企業(yè)達(dá)到對(duì)數(shù)據(jù)的自主可控，其統(tǒng)一命名空間的特點(diǎn)在于，用戶無(wú)需感知下層存儲(chǔ)的物理結(jié)構(gòu)以及部署架構(gòu);對(duì)上層應(yīng)用而言，它是一個(gè)統(tǒng)一的海量文件系統(tǒng)存儲(chǔ)空間。

YRCloudFile 是國(guó)內(nèi)首家進(jìn)入CNCF Landscape Cloud-Native Storage 的容器存儲(chǔ)產(chǎn)品，無(wú)論在接口適配、生態(tài)合作，還是容器存儲(chǔ)特殊場(chǎng)景的支持上，焱融云在國(guó)內(nèi)都處于領(lǐng)先地位。在性能上，YRCloudFile 在最新發(fā)布的 IO500 存儲(chǔ)系統(tǒng)性能測(cè)試榜單中，也進(jìn)入了全球 Storage Vendor的前十。無(wú)論對(duì)大文件順序讀寫，還是對(duì)小文件的操作性能上，YRCloudFile 都通過(guò) IO500 的測(cè)試得到了驗(yàn)證。

談及如何在大廠夾擊、競(jìng)爭(zhēng)激烈的存儲(chǔ)市場(chǎng)保持競(jìng)爭(zhēng)優(yōu)勢(shì)，王鵬飛提到了三點(diǎn)：

首先是自研。經(jīng)歷過(guò)中興、華為等事件后，科技公司對(duì)自研的感受變得更加深刻，只有自己的，才是長(zhǎng)久的。焱融云的存儲(chǔ)團(tuán)隊(duì)有豐富的存儲(chǔ)系統(tǒng)開發(fā)、維護(hù)等經(jīng)驗(yàn)，核心團(tuán)隊(duì)成員在金山云、百度等做過(guò)多年的存儲(chǔ)開發(fā)，可以說(shuō)在人員配置上，焱融云具備了自研的底氣。

其次是性能。YRCloudFile 存儲(chǔ)層軟件對(duì) IO 路徑進(jìn)行了深度優(yōu)化，可以充分發(fā)揮出底層硬件的特性，配合整個(gè)系統(tǒng)的緩存技術(shù)，提供更高的性能。同時(shí)針對(duì)新的網(wǎng)絡(luò)、硬盤技術(shù)，比如 RDMA、NVMe 都進(jìn)行了完美的適配。王鵬飛提到，“前段時(shí)間與 Mellanox 以及 E8Storage 分別發(fā)布了聯(lián)合測(cè)試報(bào)告，同等硬件條件下，性能比某大廠同類產(chǎn)品要高出50%”。

還有一點(diǎn)是對(duì)容器場(chǎng)景的支持。YRCloudFile 可以適配 Kubernetes 的各種版本，無(wú)論創(chuàng)建方式是動(dòng)態(tài)創(chuàng)建還是靜態(tài)創(chuàng)建，都可與容器平臺(tái)緊密結(jié)合。

容器持久化存儲(chǔ)逐現(xiàn)崢嶸

近幾年容器的熱度持續(xù)上升。在2018年11月，OpenStack Summit 更名為 Open Infrastructure Summit，對(duì)此官方給出的解釋是擁抱開源、擁抱K8S、擁抱容器化。這也從另一個(gè)角度證明，容器化已經(jīng)成為 IaaS 平臺(tái)的事實(shí)標(biāo)準(zhǔn)。

從2018年Gartner技術(shù)趨勢(shì)圖中也可以發(fā)現(xiàn)，專門針對(duì)容器應(yīng)用場(chǎng)景的持久化存儲(chǔ) Container-Native Storage 正處于明顯上升趨勢(shì)，其特點(diǎn)是：首先它專門為支持容器而設(shè)計(jì);其次它能夠滿足容器應(yīng)用的擴(kuò)展以及性能需求;第三它與容器管理系統(tǒng)深度整合;最后它支持大量系統(tǒng)的并行訪問(wèn)。

　　2018年Gartner技術(shù)趨勢(shì)圖

伴隨著 K8S 和容器化的發(fā)展，越來(lái)越多的用戶有了靈活的業(yè)務(wù)選擇能力。與此同時(shí)，對(duì)于業(yè)務(wù)數(shù)據(jù)的困擾也隨之而生。存儲(chǔ)在容器內(nèi)部的任何數(shù)據(jù)，在容器被銷毀以后，這些數(shù)據(jù)將自動(dòng)消失，例如網(wǎng)站頁(yè)面、配置文件、數(shù)據(jù)庫(kù)和大數(shù)據(jù)應(yīng)用等。因此，在企業(yè)真正運(yùn)行環(huán)境中，如何實(shí)現(xiàn)容器持久化存儲(chǔ)一直是業(yè)界的熱點(diǎn)問(wèn)題。

容器持久化存儲(chǔ)面臨的挑戰(zhàn)

從Kubernetes官方社區(qū)支持的存儲(chǔ)列表中可以看到，目前容器持久化存儲(chǔ)分為兩類，一種是塊存儲(chǔ)，例如 Ceph、OpenEBS 等;另一種是文件類存儲(chǔ)，如 GlusterFS、CephFS 等。當(dāng)然還有很多傳統(tǒng)的存儲(chǔ)設(shè)備等。但絕大部分的存儲(chǔ)是早在容器普及之前就已經(jīng)出現(xiàn)了，換句話說(shuō)，大部分存儲(chǔ)不是為容器持久化而設(shè)計(jì)和開發(fā)的。

目前容器持久化存儲(chǔ)主要面臨的挑戰(zhàn)有四點(diǎn)：

缺乏存儲(chǔ)軟件和工具

擔(dān)心數(shù)據(jù)丟失

現(xiàn)有存儲(chǔ)擴(kuò)展性差

傳統(tǒng) SAN/NAS 陣列靈活性和容器場(chǎng)景針對(duì)性差

具體來(lái)看，如果是塊存儲(chǔ)類型，如CephRBD，首先會(huì)面臨一個(gè)多掛載的問(wèn)題，使其無(wú)法提供ReadWriteMany(RWX)這一非常重要的訪問(wèn)方式，這對(duì)一些應(yīng)用的部署方式會(huì)產(chǎn)生影響;其次，在 Kubernetes 工作節(jié)點(diǎn)(Worker Node)發(fā)生故障，需要對(duì)有狀態(tài) Pod 進(jìn)行跨節(jié)點(diǎn)遷移時(shí)，Kubernetes 需要對(duì)塊設(shè)備進(jìn)行 umount/deattach/reattach /remount 操作，這是一個(gè)耗時(shí)并且易錯(cuò)的過(guò)程，這就阻礙了容器的快速恢復(fù)。以上兩點(diǎn)是 CephRBD 這種塊存儲(chǔ)用作容器存儲(chǔ)時(shí)面臨的問(wèn)題。而對(duì)于文件類存儲(chǔ)，如GlusterFS，在大量的小文件以及目錄層次復(fù)雜時(shí)將面臨著較大的性能壓力。

容器持久化存儲(chǔ)是 YRCloudFile 的“殺手锏”

容器平臺(tái)天生適合無(wú)狀態(tài)應(yīng)用，如Web前端、Nginx 代理等，這1是從2017年 Kubernetes 蓬勃發(fā)展以來(lái)，用戶利用容器平臺(tái)的典型場(chǎng)景。但隨著平臺(tái)的成熟、使用的深入，越來(lái)越多的用戶期望將其他的應(yīng)用遷移到容器平臺(tái)內(nèi)，如典型的數(shù)據(jù)庫(kù)、數(shù)據(jù)共享等。

這就面臨一個(gè)難題，如何為這類有狀態(tài)的應(yīng)用提供存儲(chǔ)?很明顯本地存儲(chǔ)是不合適的，因?yàn)殡S著容器的遷移，這些數(shù)據(jù)將無(wú)法做到應(yīng)用的跟隨，客戶需要一個(gè)能夠適配容器場(chǎng)景的存儲(chǔ)。王鵬飛提到，“我們?cè)诿鎸?duì)一些客戶時(shí)，他們當(dāng)前往往考慮的是如何把應(yīng)用放到容器上去，而對(duì)于底層存儲(chǔ)的選擇只限于能夠工作即可。但很快他們就會(huì)發(fā)現(xiàn)，只滿足于能夠工作是遠(yuǎn)遠(yuǎn)不夠的，一個(gè)好的存儲(chǔ)非常重要”。

YRCloudFile 架構(gòu)設(shè)計(jì)

YRCloudFile 是一款有元數(shù)據(jù)服務(wù)的分布式文件存儲(chǔ)產(chǎn)品，支持元數(shù)據(jù)服務(wù)和數(shù)據(jù)服務(wù)的線性水平擴(kuò)展。元數(shù)據(jù)服務(wù)節(jié)點(diǎn)數(shù)可以支持多達(dá)256個(gè)，數(shù)據(jù)服務(wù)節(jié)點(diǎn)可以支持多達(dá)1024個(gè)，客戶端節(jié)點(diǎn)可以支持上萬(wàn)個(gè)。能夠支持海量文件存儲(chǔ)，文件數(shù)據(jù)可以支持千億級(jí)別，容量可擴(kuò)展到EB級(jí)別。支持RDMA協(xié)議，能夠提供亞毫秒級(jí)別的延遲。支持文件切片和數(shù)據(jù)冗余，能夠提供良好的帶寬。支持冷熱數(shù)據(jù)分層，在保證高性能的同時(shí)，能夠節(jié)約成本。支持容器存儲(chǔ)，能夠完美兼容CSI/FlexVolume接口。YRCloudFile 對(duì)接容器編排平臺(tái)如下圖所示。

　　YRCloudFile 對(duì)接容器編排平臺(tái)

YRCloudFile 的容器化支持

可以說(shuō)，YRCloudFile 對(duì)容器具有天然的支持優(yōu)勢(shì)。主要體現(xiàn)4在訪問(wèn)模式上，YRCloudFile 支持三種訪問(wèn)模式：RWO、ROX、RWX，滿足各種應(yīng)用對(duì)存儲(chǔ)的使用要求，并且針對(duì)不同的訪問(wèn)方式做了深度優(yōu)化。

YRCloudFile 是最早支持CSI容器存儲(chǔ)接口的存儲(chǔ)產(chǎn)品之一，而 CSI 是整個(gè)容器生態(tài)的標(biāo)準(zhǔn)存儲(chǔ)接口，可以平滑支持 Kubernetes V1.13及以后的版本。針對(duì)CSI接口出現(xiàn)故障，比如存儲(chǔ)鏈路中斷、網(wǎng)絡(luò)故障等時(shí)，YRCloudFile 創(chuàng)造性地開發(fā)了對(duì)故障的動(dòng)態(tài)感知功能，即當(dāng)CSI狀態(tài)出現(xiàn)問(wèn)題時(shí)，K8S 會(huì)標(biāo)記該Node，從而避免 Master 節(jié)點(diǎn)把新建有狀態(tài) Pod 分發(fā)到該 CSI 故障 Node，而不影響整個(gè)集群效率。

雙活數(shù)據(jù)中心，是YRCloudFile容器存儲(chǔ)的又一亮點(diǎn)，該功能使得跨數(shù)據(jù)中心部署業(yè)務(wù)的復(fù)雜度大大降低，其容器存儲(chǔ)雙活如下圖所示。

　　容器存儲(chǔ)雙活部署設(shè)計(jì)

其設(shè)計(jì)思路是：管理員在YRCloudFile上創(chuàng)建一個(gè)跨數(shù)據(jù)中心的存儲(chǔ)池pool1，當(dāng)依賴持久化數(shù)據(jù)的業(yè)務(wù)需要跨數(shù)據(jù)中心部署，且希望獲得雙活特性時(shí)，可以將PV通過(guò)storageclass配置在pool1中。這樣，寫入該P(yáng)V的數(shù)據(jù)會(huì)同時(shí)分布到兩個(gè)數(shù)據(jù)中心，任何一個(gè)數(shù)據(jù)中心發(fā)生火災(zāi)或電力中斷等災(zāi)難故障時(shí)，pool1在另一個(gè)數(shù)據(jù)中心的數(shù)據(jù)副本都可以繼續(xù)提供讀寫服務(wù)。同時(shí)，借助YRCloudFile支持有狀態(tài)容器快速恢復(fù)和遷移的特性，可以幫助管理員快速地將故障數(shù)據(jù)中心上運(yùn)行的業(yè)務(wù)遷移至安全的數(shù)據(jù)中心。

客戶除了需要依賴雙活容器存儲(chǔ)池進(jìn)行跨數(shù)據(jù)中心部署的應(yīng)用，也有只需要部署在某一數(shù)據(jù)中心內(nèi)的應(yīng)用，這種應(yīng)用只要把數(shù)據(jù)存放在應(yīng)用所在的數(shù)據(jù)中心即。這時(shí)，管理員可以在同一個(gè)YRCloudFile集群的統(tǒng)一命名空間內(nèi)，創(chuàng)建另外一個(gè)新的存儲(chǔ)池pool2，pool2的數(shù)據(jù)副本策略設(shè)置為同一個(gè)數(shù)據(jù)中心。管理員通過(guò)YRCloudFile提供的另一個(gè)storageclass，即可將PV創(chuàng)建在pool2。這樣，有狀態(tài)應(yīng)用容器所生成的數(shù)據(jù)副本，就都管理在pool2內(nèi)，數(shù)據(jù)的讀和寫都發(fā)生在本數(shù)據(jù)中心了。YRCloudFile 的雙活容器存儲(chǔ)、本地優(yōu)先讀、雙活存儲(chǔ)池加本地存儲(chǔ)池統(tǒng)一管理的功能，大大增強(qiáng)了 IT架構(gòu)的靈活性。

除了以上之外，YRCloudFile 還做了很多其他的工作。首先，把K8S的存儲(chǔ)(PV/PVC/Pod)呈現(xiàn)在了YRCloudFile管理界面，提供可視化功能，用戶可以在管理界面清楚了解Pod、PV 使用量、PVC 關(guān)聯(lián)關(guān)系。并且能通過(guò)名稱、大小、Label 等對(duì) PV/PVC/Pod 進(jìn)行搜索和篩選，方便用戶管理。

其次，可針對(duì)實(shí)際應(yīng)用中大量PV場(chǎng)景下，提供PV Hot Spot 功能，對(duì)熱點(diǎn)PV進(jìn)行跟蹤和定位，保障系統(tǒng)的穩(wěn)定運(yùn)行。 并且能針對(duì)每一個(gè) PV 設(shè)置性能告警功能，對(duì)重點(diǎn)需要監(jiān)控的PV，設(shè)置PV性能告警閾值，實(shí)現(xiàn)細(xì)粒度的管理和監(jiān)控。

第三，YRCloudFile 還提供了QoS功能。用戶可以通過(guò)參數(shù)設(shè)置限制 PV 的 IOPS 及 BandWidth;從而達(dá)到有效利用存儲(chǔ)資源的效果，保障關(guān)鍵應(yīng)用的性能。

　　YRCloudFile 的QoS功能示意

第四，YRCloudFile 還提供 PV Insight 功能，以圖形化的方式，從三個(gè)維度(數(shù)據(jù)層次、文件大小、數(shù)據(jù)溫度)幫助用戶對(duì)業(yè)務(wù)進(jìn)行分析和調(diào)整。

第五，YRCloudFile 提供了 PV Resize 功能，當(dāng)企業(yè)需要調(diào)整 PV 配置額外存儲(chǔ)但又無(wú)法忍受服務(wù)中斷時(shí)間時(shí)，通過(guò) PV Resize 功能，不需要將應(yīng)用程序或服務(wù)脫機(jī)，只需一個(gè)簡(jiǎn)單的操作，即可以調(diào)整PV的大小。

最后，YRCloudFile 還提供自定義的Prometheus exporter，向 Prometheus server 提供集群監(jiān)控?cái)?shù)據(jù)，并且提供基于 Grafana 的集群監(jiān)控 Web 展現(xiàn)模板。用戶可以統(tǒng)一觀察到所有集群的狀態(tài)，從而提高運(yùn)維的效率。

YRCloudFile的其他創(chuàng)新優(yōu)勢(shì)

YRCloudFIle 的高性能

CephFS 是構(gòu)建在 RADOS 基礎(chǔ)上的，而Ceph的OSD性能損耗比較大，越是性能好的硬件，體現(xiàn)出來(lái)的性能損耗則越大。同時(shí) CephFS 的多 MDS 架構(gòu)實(shí)現(xiàn)非常復(fù)雜，尤其是當(dāng)文件數(shù)量大了之后，其體現(xiàn)出來(lái)的性能跟理論值差距非常大。NAS的性能主要受限于NAS網(wǎng)關(guān)的數(shù)量和NFS協(xié)議，通常情況下，NAS網(wǎng)關(guān)只有2～4個(gè)，因此帶寬受到很大限制，同時(shí)NFS的協(xié)議消耗也比較大。

根據(jù)大量的實(shí)踐和測(cè)試，最終 YRCloudFIle 采用輕量級(jí)的數(shù)據(jù)模型和動(dòng)態(tài)子樹的多MDS方案，與Ceph不同的是，YRCloudFIle不會(huì)在內(nèi)存中維護(hù) B+ tree，而是將其持久化到磁盤中，結(jié)果就是相對(duì)簡(jiǎn)潔穩(wěn)定。即使在百億級(jí)的文件數(shù)量場(chǎng)景，性能衰減也很小。同時(shí) YRCloudFile 采用專有客戶端進(jìn)行數(shù)據(jù)訪問(wèn)，避免了 NFS 協(xié)議的消耗，性能有保障。

YRCloudFIle 有效應(yīng)對(duì)海量小文件場(chǎng)景

隨著移動(dòng)終端使用頻繁，文件碎片化越來(lái)越嚴(yán)重，以前一些傳統(tǒng)的存儲(chǔ)并不能很好地支撐小文件的場(chǎng)景。比如一個(gè)傳統(tǒng)存儲(chǔ)，在運(yùn)行大文件讀寫的時(shí)候性能非常好，但隨著場(chǎng)景的復(fù)雜化，導(dǎo)致各種各樣應(yīng)用都需要把數(shù)據(jù)放到存儲(chǔ)里，從而產(chǎn)生了大量的小文件，不管是查詢還是訪問(wèn)，性能降低得很明顯。這是傳統(tǒng)存儲(chǔ)技術(shù)面臨的問(wèn)題，即如何存儲(chǔ)小文件。以GlusterFS舉例，在典型的用戶場(chǎng)景，即存儲(chǔ)的都是大文件(例如日志)時(shí)，工作良好;但是當(dāng)容器內(nèi)需要產(chǎn)生海量小文件時(shí)，性能上就無(wú)法滿足需求了。

YRCloudFile可以同時(shí)支持海量小文件存儲(chǔ)和大文件存儲(chǔ)，這在業(yè)界還是比較少見(jiàn)的。其具體實(shí)現(xiàn)思路是：

首先，基于元數(shù)據(jù)服務(wù)可以隨時(shí)擴(kuò)展的特性。由于元數(shù)據(jù)信息存在磁盤里面，所以可以通過(guò)元數(shù)據(jù)集群規(guī)模的擴(kuò)大來(lái)支撐海量小文件，比如現(xiàn)在有幾千萬(wàn)個(gè)小文件，2個(gè)元數(shù)據(jù)節(jié)點(diǎn)就夠了;如果有幾億個(gè)元數(shù)據(jù)，可以將元數(shù)據(jù)擴(kuò)展成4個(gè)甚至更多。

其次，通過(guò)動(dòng)態(tài)算法實(shí)現(xiàn)負(fù)載均衡。YRCloudFile 會(huì)根據(jù)整個(gè)集群元數(shù)據(jù)的分布的情況，包括流量信息等，通過(guò)把這些信息分散在不同的元數(shù)據(jù)節(jié)點(diǎn)里，使得一個(gè)目錄里即使有非常海量的小文件也不會(huì)影響訪問(wèn)效率，這樣相當(dāng)于消除了某一個(gè)元數(shù)據(jù)節(jié)點(diǎn)的熱點(diǎn)問(wèn)題，實(shí)現(xiàn)負(fù)載均衡，充分利用底層多個(gè)元數(shù)據(jù)節(jié)點(diǎn)的服務(wù)能力。

第三點(diǎn)就是使用自定義協(xié)議。為了充分利用 YRCloudFile 本身提供的一些性能，焱融云開發(fā)了客戶端，通過(guò)自己開發(fā)的協(xié)議，提高通信效率，也提高了對(duì)小文件讀寫的性能。

加入CNCF云原生全景圖譜后，YRCloudFile 的未來(lái)?

YRCloudFile 在近期發(fā)布的幾個(gè)版本中，逐漸豐富了對(duì)容器的整合能力;并推出了支持?jǐn)?shù)據(jù)的冷熱分層的智能分層功能，在提供同樣性能的基礎(chǔ)上為用戶節(jié)省更多的成本;同時(shí)也支持了Harbor HA，從生態(tài)的角度讓拼圖更加完整。

對(duì)于YRCloudFile 的未來(lái)規(guī)劃，王鵬飛提到兩點(diǎn)：首先，焱融云會(huì)保持高性能的分布式文件系統(tǒng)以及容器存儲(chǔ)的方向，無(wú)論是對(duì)新技術(shù)的支持，還是本身軟件的優(yōu)化，會(huì)一直持續(xù)進(jìn)步。

再者，焱融云會(huì)全面擁抱Cloud Native這個(gè)大家庭，包括自身產(chǎn)品的容器化方案的能力，到與 Harbor、Etcd以及Promethues 等軟件的整合，將專注于容器存儲(chǔ)本身，加強(qiáng)與容器平臺(tái)的廠商合作?！?關(guān)賀宇)

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。