loadData批量匯入以及壓縮協議使用指南

2022-11-29 06:36:02 字數 478 閱讀 1183

mycat從1.4開始支援mysql的壓縮協議,在查詢返回大的結果集和load data大量資料的效能提公升比較明顯。可以大大節省網路流量,但會消耗少量cpu資源。

如果要啟用壓縮協議,則客戶端、mycat、mysql三者都啟用才行。

mycat可以在中配置1啟用。

客戶端如果是mysql命令列,則加引數-c啟用壓縮協議,如果是jdbc則在jdbc的url上加上引數usecompression=true,例如:jdbc:mysql:

//127.0.0.

1:8066/base?usecompression=true

mysql服務一般預設開啟壓縮協議支援,具體參考對應版本的官方文件。

一般網路條件越差,效能提公升越明顯。

測試環境客戶端在電信網路,通過vpn連線到教育網內mycat伺服器。

測試load data local一百萬資料到5個分片,未開啟壓縮耗時179秒,開啟壓縮後耗時70秒,效能提公升2倍多。

批量座標轉換

關於 投影點,以 點位圖製做為例 用途 把大批量的座標 方裡網或者經緯度 轉製為點位圖,並自動標註 步驟 一,準備資料,如以下格式,注意就是a列為y座標,b列為x座標,c列為標,如點號 二,另存為 csv格式 在儲存的過程中,如有提示,按 確定 三,把儲存檔案的字尾改為 det 用記事本開啟 四,資...

excel批量匯入

最近的乙個專案又用到了excel匯入這麼個功能,雖然以前做過,但是事隔一年多,已經一年多,早忘了,看了網上的一些資料,講得不是很到位,花了點時間整理了一下,今天有一點空,就把它記錄下來 2010 03 08 主要用到的技術有 只這一包就可以,很簡單 spring jdbctemplate 由於是批量...

批量裝修的優點

批量裝修分為簡裝修與精裝修兩種,針對 良運小鎮 所處的地理環境及職工的現狀,我們認為批量裝修為宜。其優越性在於 1 省心 業主在購得毛坯房後,往往不知道從何處下手,設計 購買材料 施工,東看西找,是一件繁瑣 費心 勞神的事情,而由專業裝修公司進行統一設計 組織施工對投資人都是非常方便省心的事。2 省...