建站
咨詢
售后
建站咨詢
新聞中心
Linux是一種廣泛使用的操作系統(tǒng)，尤其在企業(yè)級服務(wù)器領(lǐng)域中有著廣泛應(yīng)用。然而，在Linux上遇到存儲大量數(shù)據(jù)的問題時，不同于使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)，需要采用特殊的解決方案來應(yīng)對。本文將介紹一些解決方案，幫助您在Linux上應(yīng)對數(shù)據(jù)量大的存儲需求。
創(chuàng)新互聯(lián)建站長期為上1000+客戶提供的網(wǎng)站建設(shè)服務(wù)，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為云和企業(yè)提供專業(yè)的成都做網(wǎng)站、成都網(wǎng)站制作，云和網(wǎng)站改版等技術(shù)服務(wù)。擁有十多年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。
1.使用分布式文件系統(tǒng)
對于需要在Linux服務(wù)器上存儲大量數(shù)據(jù)的情況，使用分布式文件系統(tǒng)是一種非常有效的解決方案。分布式文件系統(tǒng)主要由多個節(jié)點組成，這些節(jié)點可以是獨立的硬件設(shè)備，也可以是虛擬機。每個節(jié)點通過網(wǎng)絡(luò)互相通信，將文件分布式存儲在多個節(jié)點上，形成一個統(tǒng)一的文件系統(tǒng)。
例如，Hadoop分布式文件系統(tǒng)是一個開源的、高性能的分布式文件系統(tǒng)，廣泛應(yīng)用于大規(guī)模數(shù)據(jù)處理、分析和存儲的場景。它提供了高度可靠、可擴展、高性能和高可用性的數(shù)據(jù)存儲和處理服務(wù)，并支持PB級別的數(shù)據(jù)存儲和管理。
2.使用對象存儲
與傳統(tǒng)的文件存儲方式不同，對象存儲是一種新型的存儲方式，它基于云計算技術(shù)，將數(shù)據(jù)儲存在分布式系統(tǒng)中。對象存儲不以文件為基礎(chǔ)，而是將文件分割為數(shù)據(jù)塊，并以對象的形式進行存儲。對象存儲系統(tǒng)可以通過API進行訪問，無需直接訪問物理存儲設(shè)備。對象存儲主要具有高可靠性、高可用性、可擴展性等特點，容量可擴展到數(shù)百PB以上。
例如，AWS的Simple Storage Service（S3）是一種高度可擴展、可靠和低成本的對象存儲服務(wù)，專為大規(guī)模數(shù)據(jù)處理和存儲而設(shè)計。它提供了開發(fā)人員可以使用的簡單API，以無縫方式集成到許多不同的應(yīng)用程序中。
3.使用云存儲
如果您需要存儲大量數(shù)據(jù)，但您的硬件資源受限，或者您需要更多的靈活性和可擴展性，那么云存儲可能是一種更好的選擇。云存儲與傳統(tǒng)的本地存儲方式不同，它是將數(shù)據(jù)存儲在遠程的服務(wù)器上，通過互聯(lián)網(wǎng)進行訪問和管理。
例如，Amazon S3和Google云存儲是兩種常用的云存儲服務(wù)，它們提供靈活的存儲和訪問選項，并具有高可靠性和可用性。使用云存儲可以避免一些由于服務(wù)器故障、硬件損壞等原因帶來的風險，同時還能提供更高的性能和可伸縮性。
4.使用文件分區(qū)
如果您經(jīng)常需要處理大文件，并且擁有足夠的硬件資源，那么可使用文件分區(qū)的方式來提高讀寫性能。文件分區(qū)是將磁盤分割為多個文件系統(tǒng)區(qū)域，每個文件系統(tǒng)區(qū)域都可以單獨進行管理和訪問。可以將不同類型的數(shù)據(jù)存儲在單獨的文件系統(tǒng)區(qū)域中，以提高效率。
例如，將操作系統(tǒng)放在一個文件系統(tǒng)區(qū)域中，將應(yīng)用程序和數(shù)據(jù)放在另一個文件系統(tǒng)區(qū)域中。這樣可以避免應(yīng)用程序和數(shù)據(jù)占用操作系統(tǒng)資源，從而提高整個系統(tǒng)的性能和穩(wěn)定性。
對于需要解決在Linux上存儲大量數(shù)據(jù)的問題，可以采用分布式文件系統(tǒng)、對象存儲、云存儲和文件分區(qū)等多種方式進行解決。每種方式都有其自身的優(yōu)點和局限性，需要根據(jù)實際需求選擇合適的方案。選定一個適合自己的、高性能、可擴展的存儲方案，可以更好地滿足不斷增長的數(shù)據(jù)存儲需求，提高數(shù)據(jù)管理和處理的效率。
相關(guān)問題拓展閱讀：
- linux高負載下徹底優(yōu)化mysql數(shù)據(jù)庫
- linuxdirty_ratio臟數(shù)據(jù)大小怎么查看
- Linux性能度量標準
linux高負載下徹底優(yōu)化mysql數(shù)據(jù)庫
友情提示：同時在線訪問量繼續(xù)增大 對于1G內(nèi)存的服務(wù)器明顯感覺到吃力嚴重時甚至每天都會死機 或灶困者時不時的服務(wù)器卡一下 這個問題曾經(jīng)困擾了我半個多月MySQL使用是很具伸縮性的算法，因此你通常能用很少的內(nèi)存運行或給MySQL更多的被存以得到更好的性能。
同時在線訪問量繼續(xù)增大 對于1G內(nèi)存的服務(wù)器明顯感覺到吃力嚴重時甚至每天都會死機 或者時不時的服務(wù)器卡一下 這個問題曾經(jīng)困擾了我半個多月MySQL使用是很具伸縮性的算法，因此你通常能用很少的內(nèi)存運行或給MySQL更多的被存以得到更好的性能。
安裝好mysql后，配制文件應(yīng)該在/usr/local/mysql/share/mysql目錄中，配制文件有幾個，有my-huge.cnf my-medium.cnf my-large.cnf my-all.cnf,不同的流量的網(wǎng)站和不同配制的服務(wù)器環(huán)境，當然需要有不同的配制文件了。
一般的情況下，my-medium.cnf這個配制文件就能滿足我們的大多需要；一般我們會把配置文件拷貝到/etc/my.cnf 只需要修改這個配置文件就可以了，使用mysqladmin variables extended-status _u root _p 可以看到目前的參數(shù)，有3個配置參數(shù)是最重要的，即key_buffer_size,query_cache_size,table_cache。
key_buffer_size只對MyISAM表起作用，key_buffer_size指定索引緩沖區(qū)的大小，它決定索引處理的速度，尤其是索引讀的速度。一般我們設(shè)為16M,實際上稍微大一點的站點 這個數(shù)字是遠遠不夠的，通過檢查狀態(tài)值Key_read_requests和Key_reads,可以知道key_buffer_size設(shè)置是否合理。比例key_reads / key_read_requests應(yīng)該盡可能的低，至少是1:100，1:1000更好（上述狀態(tài)值可以使用SHOW STATUS LIKE ‘key_read%’獲得）。 或者如果你裝了phpmyadmin 可以通過服務(wù)器運行狀態(tài)看陸鉛到,筆者推薦用phpmyadmin管理mysql，以下的狀態(tài)值都是本人通過phpmyadmin獲得的實例分析:
這個服務(wù)器已經(jīng)運行了20天
key_buffer_size _ 128M
key_read_requests _
key_reads
比例接近1:8000 健康狀況非常好
另外一個估計key_buffer_size的辦法 把你網(wǎng)站數(shù)據(jù)庫的每個表的索引所占空間大小加起來看看以此服務(wù)器為例:比較大的幾個表索引加起來大概125M 這個數(shù)字會隨著表變大而變大。
從4.0.1開始，MySQL提供了查詢緩沖機制。使用查詢緩沖，MySQL將SELECT語句和查詢結(jié)果存放在緩沖區(qū)中，今后對于同樣的SELECT語句（區(qū)分大小寫）隱悉念，將直接從緩沖區(qū)中讀取結(jié)果。根據(jù)MySQL用戶手冊，使用查詢緩沖最多可以達到238%的效率。
通過調(diào)節(jié)以下幾個參數(shù)可以知道query_cache_size設(shè)置得是否合理
Qcache inserts
Qcache hits
Qcache lowmem prunes
Qcache free blocks
Qcache total blocks
Qcache_lowmem_prunes的值非常大，則表明經(jīng)常出現(xiàn)緩沖不夠的情況,同時Qcache_hits的值非常大，則表明查詢緩沖使用非常頻繁，此時需要增加緩沖大小Qcache_hits的值不大，則表明你的查詢重復(fù)率很低，這種情況下使用查詢緩沖反而會影響效率，那么可以考慮不用查詢緩沖。此外，在SELECT語句中加入SQL_NO_CACHE可以明確表示不使用查詢緩沖。
Qcache_free_blocks，如果該值非常大，則表明緩沖區(qū)中碎片很多query_cache_type指定是否使用查詢緩沖
我設(shè)置:
query_cache_size = 32M
query_cache_type= 1
得到如下狀態(tài)值:
Qcache queries in cache表明目前緩存的條數(shù)
Qcache inserts
Qcache hits
看來重復(fù)查詢率還挺高的
Qcache lowmem prunes有這么多次出現(xiàn)緩存過低的情況
Qcache not cached
Qcache free memory
目前剩余緩存空間
Qcache free blocks 5328 這個數(shù)字似乎有點大 碎片不少
Qcache total blocks 30953
如果內(nèi)存允許32M應(yīng)該要往上加點
table_cache指定表高速緩存的大小。每當MySQL訪問一個表時，如果在表緩沖區(qū)中還有空間，該表就被打開并放入其中，這樣可以更快地訪問表內(nèi)容。通過檢查峰值時間的狀態(tài)值Open_tables和Opened_tables，可以決定是否需要增加table_cache的值。如果你發(fā)現(xiàn)open_tables等于table_cache，并且opened_tables在不斷增長，那么你就需要增加table_cache的值了（上述狀態(tài)值可以使用SHOW STATUS LIKE ‘Open%tables’獲得）。注意，不能盲目地把table_cache設(shè)置成很大的值。如果設(shè)置得太高，可能會造成文件描述符不足，從而造成性能不穩(wěn)定或者連接失敗。
對于有1G內(nèi)存的機器，推薦值是128－256。
筆者設(shè)置
table_cache = 256
得到以下狀態(tài):
Open tables 256
Opened tables 9046
雖然open_tables已經(jīng)等于table_cache，但是相對于服務(wù)器運行時間來說,已經(jīng)運行了20天，opened_tables的值也非常低。因此，增加table_cache的值應(yīng)該用處不大。如果運行了6個小時就出現(xiàn)上述值 那就要考慮增大table_cache。
如果你不需要記錄2進制log 就把這個功能關(guān)掉，注意關(guān)掉以后就不能恢復(fù)出問題前的數(shù)據(jù)了，需要您手動備份，二進制日志包含所有更新數(shù)據(jù)的語句，其目的是在恢復(fù)數(shù)據(jù)庫時用它來把數(shù)據(jù)盡可能恢復(fù)到最后的狀態(tài)。另外，如果做同步復(fù)制( Replication )的話，也需要使用二進制日志傳送修改情況。
log_bin指定日志文件，如果不提供文件名，MySQL將自己產(chǎn)生缺省文件名。MySQL會在文件名后面自動添加數(shù)字引，每次啟動服務(wù)時，都會重新生成一個新的二進制文件。此外，使用log-bin-index可以指定索引文件；使用binlog-do-db可以指定記錄的數(shù)據(jù)庫；使用binlog-ignore-db可以指定不記錄的數(shù)據(jù)庫。注意的是：binlog-do-db和binlog-ignore-db一次只指定一個數(shù)據(jù)庫，指定多個數(shù)據(jù)庫需要多個語句。而且，MySQL會將所有的數(shù)據(jù)庫名稱改成小寫，在指定數(shù)據(jù)庫時必須全部使用小寫名字，否則不會起作用。
關(guān)掉這個功能只需要在他前面加上#號
#log-bin
開啟慢查詢?nèi)罩? slow query log )
慢查詢?nèi)罩緦τ诟櫽袉栴}的查詢非常有用。它記錄所有查過long_query_time的查詢，如果需要，還可以記錄不使用索引的記錄。下面是一個慢查詢?nèi)罩镜睦樱?/p>
開啟慢查詢?nèi)罩?，需要設(shè)置參數(shù)log_slow_queries、long_query_times、log-queries-not-using-indexes。
log_slow_queries指定日志文件，如果不提供文件名，MySQL將自己產(chǎn)生缺省文件名。long_query_times指定慢查詢的閾值，缺省是10秒。log-queries-not-using-indexes是4.1.0以后引入的參數(shù)，它指示記錄不使用索引的查詢。筆者設(shè)置long_query_time=10
筆者設(shè)置:
sort_buffer_size = 1M
max_connections=120
wait_timeout =120
back_log=100
read_buffer_size = 1M
thread_cache=32
interactive_timeout=120
thread_concurrency = 4
參數(shù)說明:
back_log
要求MySQL能有的連接數(shù)量。當主要MySQL線程在一個很短時間內(nèi)得到非常多的連接請求，這就起作用，然后主線程花些時間(盡管很短)檢查連接并且啟動一個新線程。back_log值指出在MySQL暫時停止回答新請求之前的短時間內(nèi)多少個請求可以被存在堆棧中。只有如果期望在一個短時間內(nèi)有很多連接，你需要增加它，換句話說，這值對到來的TCP/IP連接的偵聽隊列的大小。你的操作系統(tǒng)在這個隊列大小上有它自己的限制。 Unix listen(2)系統(tǒng)調(diào)用的手冊頁應(yīng)該有更多的細節(jié)。檢查你的OS文檔找出這個變量的更大值。試圖設(shè)定back_log高于你的操作系統(tǒng)的限制將是無效的。
max_connections
并發(fā)連接數(shù)目更大，120 超過這個值就會自動恢復(fù)，出了問題能自動解決
thread_cache
沒找到具體說明，不過設(shè)置為32后 20天才創(chuàng)建了400多個線程 而以前一天就創(chuàng)建了上千個線程 所以還是有用的
thread_concurrency
#設(shè)置為你的cpu數(shù)目x2,例如，只有一個cpu,那么thread_concurrency=2
#有2個cpu,那么thread_concurrency=4
skip-innodb
#去掉innodb支持
linuxdirty_ratio臟數(shù)據(jù)大小怎么查看
vm.dirty_ratio:臟數(shù)據(jù)量達到此門限后,系統(tǒng)會阻塞式地將臟數(shù)據(jù)寫入外存耐旁,新昌隱橡的數(shù)據(jù)將被阻塞,無攜手法寫入cache。 vm.dirty_background_bytes與vm….
Linux性能度量標準
1) CPU使用率 ：每個處理器的整體使用率。 如果在一段持續(xù)時間內(nèi)CPU的使用率超過80%，則處理器可能有瓶頸 。
2) 用戶進程消耗CPU的時間 ：CPU花費在用戶進程的百分比，包括nice time。較高值的user time通常是有利的，因為系統(tǒng)在執(zhí)行實際的工作。
3) 內(nèi)核操作消耗CPU的時間 ：CPU花費在內(nèi)核操作的百分比，包括IRQ和softirq時間。 較高和持續(xù)的system time值指出在網(wǎng)絡(luò)和驅(qū)動程序堆棧中的瓶頸 。一個系統(tǒng)通常應(yīng)保持花在內(nèi)核操作上的時間盡可能的少。
4) 等待： CPU花費在等待(由于一個I/O操作發(fā)生等待)上的時間總量，像是阻塞值。一個系統(tǒng)不應(yīng)該花費太多時間等待(因為I/O操作)否則應(yīng)該檢查各自的I/O子系統(tǒng)性能。
5) CPU空閑時間： 系統(tǒng)空閑等待任務(wù)的CPU百分比。
6) Nice消耗CPU時間 ：CPU花費在re-nicing進程(更改進程的執(zhí)行順序和優(yōu)先級)上的時間百分比。
7) 平均負載 ：load average不是一個百分比，而是以下總和的滾動平均值：
? 隊列中等待處理的進程數(shù)。
? 等待不可中斷任務(wù)被完成的進程數(shù)。
也就是說，TASK_RUNNING和TASK_UNINTERRUPTIBLE進程數(shù)的總和的平均值。如果進程請求CPU時間而被阻塞，load average會增加。另一方面，如果每個進程得到直接訪問CPU的時間，它們沒有在CPU周期丟失，則負載將減小。
8) 可運行的進程 ：已經(jīng)準備好執(zhí)行的進程數(shù)。 在一段持續(xù)的時間內(nèi)，這個值不應(yīng)該超過物理處理器數(shù)量的10倍。否則處理器可能是瓶頸。
9) 阻塞的進程 ：不被執(zhí)行的進程數(shù)，因為要等待I/O操作結(jié)束。 阻塞的進程數(shù)能反映出是否有I/O瓶頸。
10) 上下文切換 ：在系統(tǒng)上發(fā)生線程之間切換的數(shù)量。 大量上下文切換如果與大量中斷相關(guān)，則可能是驅(qū)動程序或應(yīng)用程序出現(xiàn)問題 。上下文切換通常是不利的，因為每一次上下文切換都會導致CPU緩存被刷新，但是有些上下文切換是必要的。
11) 中斷 ：中斷包含硬中斷與軟中斷。硬中斷對系統(tǒng)性能有更加不利的影響。較高的中斷值表明可能有軟件瓶頸，可能前悶是在內(nèi)核中，也可能是一個驅(qū)動程序出現(xiàn)瓶頸。記住，中斷還包括CPU時鐘引起的中斷。
1) 空閑內(nèi)存 ：對比大多數(shù)其他操作搏悔中系統(tǒng)，在Linux中不應(yīng)該只關(guān)注空閑（free）內(nèi)存的值。 Linux內(nèi)核分配大部分未使用的內(nèi)存作為文件系統(tǒng)緩存， 所以從已使用的(used)內(nèi)存中減去緩沖(buffer)和緩存(cache)的內(nèi)存數(shù)量，來確定(有效的)空閑(free)內(nèi)存。
2) 使用的swap ：已使用的swap空間的數(shù)量。swap空間的使用只能告訴你Linux管理內(nèi)存真的有效。Swap In/Out 是一個識別內(nèi)存瓶頸的可靠手段。 在一段持續(xù)的時間內(nèi)每秒200到300以上的分頁值，表明可能有內(nèi)存瓶頸 。
3) 緩沖與緩存 ：緩沖被分配作為文件系統(tǒng)和塊設(shè)備緩存。
4) SIab ：內(nèi)核使用的內(nèi)存數(shù)。注意內(nèi)核的分頁不能移出到磁盤。
5) 活躍與非活躍內(nèi)存 ：關(guān)于活躍使用的系統(tǒng)內(nèi)存信息。非活躍內(nèi)存可能是kswapd守護進程swap out 到磁盤的候選者。
1) I/O等待 ：CPU等待一個I/O操作的發(fā)生所花費時間。較高和持續(xù)的值很多時候可能表明存在一個I/O瓶頸。
2) 平均隊列長度 ：未完成的I/O請求數(shù)量。一般情況下， 一個磁盤有2到3個隊列是更佳的，較高的值可能表明有一個磁盤I/O瓶頸 。
3) 平均等待時間： 服務(wù)一個I/O請求所測量的平均時間，以毫秒為單位。等待時間是由實際的I/O操作和它在I/O隊列中等待的時間組成的。
4) 每秒傳輸 ：每秒鐘多少個I/O操作被執(zhí)行(讀和寫)。該指標要結(jié)合每秒kB值，以幫助確定系統(tǒng)的平均傳輸大基山小。 平均傳輸大小一般應(yīng)該與你的磁盤子系統(tǒng)使用的條帶大小相匹配。
5) 每秒讀取/寫入塊的數(shù)量 ：每秒讀和寫的塊數(shù)，在2.6內(nèi)核中塊為1024B。早期的內(nèi)核可能會報告不同的塊大小，從512B到4KB。
6) 每秒讀取/寫入的字節(jié) ：從塊設(shè)備讀取和寫入(讀和寫到塊設(shè)備)的字節(jié)數(shù)，表示從塊設(shè)備(到塊設(shè)備)傳輸?shù)膶嶋H數(shù)據(jù)量。
1) 接收和發(fā)送的數(shù)據(jù)包 ：網(wǎng)絡(luò)接口接收和發(fā)送數(shù)據(jù)包的數(shù)量。
2) 接收和發(fā)送的字節(jié) ：網(wǎng)絡(luò)接口接收和發(fā)送的字節(jié)數(shù)。
3) 每秒鐘的沖突數(shù)量 。
關(guān)于linux數(shù)據(jù)量大問題的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。
成都服務(wù)器托管選創(chuàng)新互聯(lián)，先上架開通再付費。
創(chuàng)新互聯(lián)（www.cdcxhl.com）專業(yè)-網(wǎng)站建設(shè),軟件開發(fā)老牌服務(wù)商！微信小程序開發(fā),APP開發(fā),網(wǎng)站制作，網(wǎng)站營銷推廣服務(wù)眾多企業(yè)。電話：028-86922220
本文名稱：解決Linux上數(shù)據(jù)量大存儲問題 (linux數(shù)據(jù)量大問題)
標題來源：http://www.fisionsoft.com.cn/article/djiijed.html
