服務器

波尔多液最佳配置法:寫速度提升20%,Elasticsearch?創始人給騰訊云發感謝信

廣告
廣告

微信掃一掃,分享到朋友圈

寫速度提升20%,Elasticsearch?創始人給騰訊云發感謝信
0 0

近日,Elasticsearch 的創始人兼首席執行官Shay Banon 向騰訊云發出了一封感謝信,專程對騰訊團隊為Elasticsearch開源社區做出的貢獻表示了感謝。

據了解,騰訊工程師通過提交代碼,成功優化了Elasticsearch高并發寫入性能,實現將1000萬數據量的寫入時長從原來的18分鐘縮減至15分鐘,速率提升20%,并在Elasticsearch開源社區分享了項目方案。

Shay Banon 在發給騰訊副總裁、騰訊云總裁邱躍鵬的感謝信中表示:

“我們最近對Elasticsearch進行了重大而巧妙的改進,這是由騰訊的一位開發者提出的。這種改進使Elasticsearch的某些類型的寫速度提高了約20%,我們非常期待后續與騰訊云繼續保持這種良好的合作關系?!?/p>

事實上,在今年5月的騰訊全球數字生態大會上,騰訊云與Elastic簽署了戰略合作協議。雙方同意在產品、技術、生態三個維度展開合作,依托Elastic在搜索軟件領域的產品和技術優勢,以及騰訊云在云計算大數據領域的技術能力和市場資源,雙方聯合推出具備高級商業特性的騰訊云Elasticsearch Service ,該版本上線了集群權限管理、SQL、機器學習、圖查詢等高級功能。并結合騰訊云全球領先的公有云架構,實現Elasticsearch集群應用的低成本、易開發、易管理、高可用、高安全性。

據了解,此次源碼優化的契機,源自騰訊內部一站式智能化的大數據服務平臺全民BI的真實業務場景,其中,全民BI的統計功能,在底層使用了Elasticsearch的開源代碼。在實際使用中,因為存在歷史數據比對的需求,需要每天全量導入新的數據。數十億級的數據量,超過500個標簽,需要盡可能的快速的導入到ES系統中,但這一塊經過多次的參數優化,依然需要幾個小時才能完成導入,是整個系統的一大瓶頸。

在此背景下,騰訊全民BI團隊開始著手優化Elasticsearch高并發場景下的寫入性能。項目團隊通過分析ES的寫入機制,在多次堆棧分析取樣中,發現較多線程因writeLock被rollGeneration占用,在獲取鎖的等待上耗時偏長。因而將優化的著力點,從參數的調優轉移至線程的優化。項目團隊最終在實驗理論值的基礎上,通過優化rollGeneration,實現將1000萬數據量的寫入時長從原來的18分鐘縮減至15分鐘,速率提升20%。

“非常感謝Elastic公司創始人之一和技術負責人Simon Willnauer的支持和建議,本次優化大幅度提升全民BI系統的數據分析效率,接下來,這些領先的特性都能夠在騰訊云Elasticsearch Service上獲取?!?主要負責人表示。

值得注意的是,這次社區代碼貢獻并不是騰訊的個別案例。從2010年開始,騰訊就開始通過“三步走”的開源計劃,積極推動代碼開放和社區參與,從封閉孤立向協同開放和社區開放治理的縱深方向發展。

老魚,企業級老編一枚,你若有故事,歡迎聯系!

Java字節碼增強探秘

上一篇

開源社區的技術債:寫代碼的“碼農”VS 刪代碼的“清道夫”,誰更該被嘉獎?

下一篇

你也可能喜歡

寫速度提升20%,Elasticsearch?創始人給騰訊云發感謝信

長按儲存圖像,分享給朋友

ITPUB 每周精要將以郵件的形式發放至您的郵箱


微信掃一掃

微信掃一掃