建站
咨詢
售后
建站咨詢
新聞中心
Guide | 如何高效地在 Linux 上鏡像一個網(wǎng)站？
宜良網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)公司！從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)公司等網(wǎng)站項目制作，到程序開發(fā)，運營維護(hù)。創(chuàng)新互聯(lián)公司于2013年成立到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)公司。
在這個信息化時代，我們經(jīng)常訪問各種網(wǎng)站獲取所需信息，但是有時候我們需要在沒有網(wǎng)絡(luò)的情況下訪問某個網(wǎng)站，或者是對某個網(wǎng)站進(jìn)行離線閱讀和分析，這個時候我們就需要用到網(wǎng)站鏡像的功能。網(wǎng)站鏡像可以將一個網(wǎng)站的內(nèi)容保存到本地磁盤中，方便我們離線訪問和分析。本文將介紹在 Linux 環(huán)境中如何高效地鏡像一個網(wǎng)站。
一、使用wget下載整站
wget是一個著名的linux命令行工具，被廣泛地用于從網(wǎng)絡(luò)下載文件和網(wǎng)頁。wget可以遞歸地下載一個網(wǎng)站上的全部頁面，并保持本地和遠(yuǎn)程服務(wù)器同步更新。使用wget鏡像一個網(wǎng)站步驟如下：
“`bash
$ wget –recursive –no-clobber –page-requisites –html-extension –convert-links –restrict-file-names=windows –domns website.org –no-parent http://website.org
“`
1. `–recursive`: 遞歸遞歸下載整個網(wǎng)站。
2. `–no-clobber`: 不覆蓋現(xiàn)有文件。
3. `–page-requisites`: 下載為頁面必需的元素，如圖像和樣式表。
4. `–html-extension`: 將所有文件下載為html文件。
5. `–convert-links`: 重寫類似 /online/ 為本地相對路徑 /online/。
6. `–restrict-file-names=windows`: 適用于Windows的文件名約束字符。
7. `–domns website.org`: 不要下載任何其他域名。
8. `–no-parent`: 不要跟進(jìn)上一級鏈接。
這個命令可以讓我們在只使用wget一個工具的情況下，完成網(wǎng)站全部內(nèi)容的下載工作，非常方便。
二、使用HTTrack鏡像整站
HTTrack是一個免費的，開源的，跨平臺的網(wǎng)站鏡像工具，支持Windows，Linux，macOS等多個操作系統(tǒng)。使用HTTrack鏡像一個網(wǎng)站步驟如下：
“`bash
$ sudo apt-get install httrack
$ httrack http://www.example.com/ -O /home/user/output_folder/
“`
1. `sudo apt-get install httrack`: 在Debian或者Ubuntu下安裝HTTrack。
2. `httrack http://www.example.com/ -O /home/user/output_folder/`: 開始鏡像網(wǎng)站。此命令將網(wǎng)站下載到指定的 `output_folder` 文件夾中。
HTTrack可以遞歸地下載整個網(wǎng)站，支持用戶自定義排除某些文件的類型、網(wǎng)頁鏈接的深度等參數(shù)，更加靈活。另外，HTTrack還支持Web服務(wù)器緩存和HTTP認(rèn)證，適用于一些受保護(hù)的網(wǎng)站。
三、使用網(wǎng)站鏡像工具
除了上述兩種方法，還有一些專門用于網(wǎng)站鏡像的工具，如網(wǎng)站鏡像工具，Teleport Pro，Getleft等工具，這些工具都有可視化的界面，非常方便。這里就不一一介紹了。
通過上述三個方法，我們可以高效地在Linux上進(jìn)行網(wǎng)站鏡像，方便我們離線閱讀和分析網(wǎng)站內(nèi)容。在進(jìn)行網(wǎng)站鏡像時，需要注意以下幾點：
1. 尊重原網(wǎng)站作者的版權(quán)。在對網(wǎng)站進(jìn)行任何形式的轉(zhuǎn)載和傳播時，要注意遵守版權(quán)法規(guī)。
2. 鏡像的網(wǎng)站內(nèi)容會占用一定的磁盤空間。在進(jìn)行大規(guī)模網(wǎng)站鏡像時，需要考慮磁盤空間的限制。
3. 鏡像的內(nèi)容可能存在過期和不完整的情況，需要進(jìn)行定期更新和檢查。
在合規(guī)的前提下，網(wǎng)站鏡像是一個非常有用的工具，可以方便我們在沒有網(wǎng)絡(luò)的情況下瀏覽網(wǎng)站內(nèi)容，同時也有助于我們對網(wǎng)站的分析和研究。
相關(guān)問題拓展閱讀：
- linux系統(tǒng)下怎么搭建網(wǎng)站服務(wù)器？
- linux系統(tǒng)安裝程序無法連接鏡像網(wǎng)站，電腦可以直接上網(wǎng)
- 求linux一個centos 完整版的鏡像下載地址,謝謝了,本人新手,看不懂那些鏡像網(wǎng)站的一大堆文件夾內(nèi)容呀…
linux系統(tǒng)下怎么搭建網(wǎng)站服務(wù)器？
1、下載源碼 通過搜索引擎找到CVS的源代碼包，也可以從CVS的官方網(wǎng)站cvshome.org上尋找，由于CVS歷史上也出現(xiàn)過一些安全漏洞，所以建議要定期去其官方網(wǎng)站上看看有沒有最新版本推出。 2、編譯安裝 # tar -vf cvs-1.12.5.tar.bz2 # cd cvs-1.12.5 # ./configure –prefix=/usr/local/terry_yu/cvs –disable-server-flow-control # make # make install 以上指令將CVS安裝到/usr/local/terry_yu/cvs這個目錄上。 注：除了使用源碼包進(jìn)行安裝之外，還可以使用RPM包來安裝。 3、設(shè)置啟動CVS服務(wù) 在Linux上CVS服務(wù)可以通過inetd、xinetd或tcpwrapper等來啟動，其中inetd由于安全理由在許多場合已經(jīng)被xinetd所取代了，這里我們使用xinetd來啟動CVS服務(wù)。 在/etc/xinetd.d目錄下為CVS服務(wù)創(chuàng)建一個配置文件，比如：/etc/xinetd.d/cvspserver，編輯/etc/xinetd.d/cvspserver，輸殲困入以下內(nèi)容： service cvspserver { disable = no socket_type = stream wait = no user = root env = HOME= server = /usr/正神bin/cvs server_args = -f –allow-root=/home/cvsroot pserver } 注： 1)pserver表示是口令認(rèn)證的訪問方式，這是最常用的方式，其他還有g(shù)server,kserver,ext，如果想要更高的安全性可以使用ssh來加密口令和數(shù)據(jù)流，不過這里為了用戶使用的方便，仍然選的是pserver。 2)–allow-root是指定Repository的目錄，可以建立多個Repository 然后重新啟動xinetd: # /etc/rc.d/init.d/xinetd restart Stopping xinetd: Starting xinetd: 重新啟動xinetd服務(wù)后，CVS服務(wù)也開始工作了。 4、在CVS服務(wù)器端建立Repository 首先要創(chuàng)建一個名為cvs的組和一個名為cvsroot的用戶，以后要訪問CVS服務(wù)的用戶加入cvs這個組： # groupadd cvs # useradd -g cvs -s /in/nologin cvsroot # chown -R cvsroot /home/cvsroot 接下來進(jìn)行初始化： # cvs -d /home/cvsroot init 這樣在/home/cvsroot目錄中就產(chǎn)生了CVSROOT目錄，其中存放了一些配置文件，如config等，然后設(shè)置權(quán)限： # chown -R cvsroot.cvs /home/cvsroot # chmod -R ug+rwx /home/cvsroot # chmod 644 /home/cvsroot/CVSROOT/config 為了CVS系統(tǒng)的安全，我們要修改/home/cvsroot/CVSROOT/config文件，將“#SystemAuth =no”前面的注釋號#去掉，即改為“SystemAuth =no”，然后給開發(fā)者們逐一建立賬號，新建的不要分配用戶目錄，因為它將作為一個虛擬用戶氏清念帳號來使用，具體命令如： # useradd -g cvs -M bogus # passwd bogus 上面的命令就創(chuàng)建了一個并沒有Home目錄的用戶bogus，接著將系統(tǒng)的shadow文件復(fù)制到CVSROOT, 并重命名為passwd: # cp /etc/shadow /home/cvsroot/CVSROOT/passwd # chmod 0644 /home/cvsroot/CVSROOT/passwd 然后修改passwd文件，將除bogus之外的所有行刪除，然后去掉每行第二個冒號以后的所有內(nèi)容，并添上字符串cvsroot, 改為如下格式： bogus:ND5$J8N9BW5DKV.nPdxfdsh:cvsroot 然后，刪除掉剛剛在系統(tǒng)中添加的那個用戶bogus: # userdel -f bogus 好了，到這里，CVS服務(wù)器端就已經(jīng)安裝設(shè)置好了，這樣你的CVS用戶就只能用passwd中規(guī)定的用戶來登陸你的CVS服務(wù)器了，要注意的是：本文介紹的添加用戶的方法適用于小數(shù)量的用戶，如果是有大規(guī)模的開發(fā)人員，推薦采用連接LDAP或者數(shù)據(jù)庫來進(jìn)行用戶的認(rèn)證服務(wù)。
具體方法如下：
1、使用putty或類似的SSH工具登錄服務(wù)器（本地安裝跳過）；
2、安裝Apacheyum install httpd修改防火墻配置，打開80端口vi /etc/sysconfig/iptables添加記錄-A INPUT -m state –state NEW -m tcp -p tcp –dport 80 -j ACCEPT
配置Apache
vi /etc/httpd/conf/httpd.conf
找到ServerName，設(shè)置為自己的域名，如果沒有域名，可以設(shè)置為localhost:80
3、重純族啟并測試Apache
service httpd restart
打開瀏覽器，輸入http：//ip，可以看到Apache的測試頁
4、安裝MySQLyum install mysql mysql-server修改防火墻配置，打開3306端口vi /etc/sysconfig/iptables添加記錄-A INPUT -m state –state NEW -m tcp -p tcp 亮猜–dportj ACCEPT 設(shè)置MySQL開機(jī)自動啟動chkconfig mysqld on
設(shè)置root密碼mysql_secure_installation回車后，輸入y進(jìn)行密碼設(shè)置，設(shè)置完密碼之后，一路回車，直到出現(xiàn)：Thanks for using MySQL! 重啟MySQLservice mysqld restart
安裝PHPyum install php 安裝PHP組件yum install php-mysql php-gd libjpeg* php-imap php-ldap php-odbc php-pear php-xml php-xmlrpc php-mbstring php-mcrypt php-bcmath php-mhash libmcrypt
重啟Apache和MySQL
創(chuàng)建info.php
vi /var/www/html/info.php
內(nèi)容：
瀏覽器打敬褲型開http：//ip/info.php進(jìn)行測試。
有本叫做linux高級編程的書輪姿襲，教的很詳細(xì)……答服務(wù)器，說起來其實臘兄就是創(chuàng)冊蔽建一個bin文件的server讓他不停的接受客戶端的請求和連接 ，就是一個socket函數(shù)，當(dāng)然這是從C語言的角度去考慮的
Redhat下搭建LAMP環(huán)境，即可實現(xiàn)網(wǎng)站服務(wù)器（web）的功能，方法如下：
一、安裝mysql
#1.首先查看系統(tǒng)是否已經(jīng)安裝過了mysql.
rpm -qa | grep mysql
#2.采用cmake方式安裝（mysql-5.0.21.tar.gz）
configure & make & make install
#3.mysql 的安裝方法：
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DSYSCONFDIR=/data/mysql/etc -DMYSQL_DATADIR=/data/mysql –
DMYSQL_TCP_PORT=3306 -DMYSQL_UNIX_ADDR=/tmp/mysqld.sock -DMYSQL_USER=mysql -DEXTRA_CHARSETS=all -DWITH_READLINE=1 –
DWITH_SSL=system -DWITH_EMBEDDED_SERVER=1 -DENABLED_LOCAL_INFILE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1
make
make install
#在make與make install的時候可以看到進(jìn)度百分比，敗弊感覺這一點要比configure方式要好。
#配置并初始化數(shù)據(jù)庫
#1.創(chuàng)建用戶和用戶組
groupadd mysql
useradd mysql -g mysql
#2.賦予數(shù)據(jù)存放目錄權(quán)限
chown mysql:mysql -R /usr/local/mysql/data
#3.創(chuàng)建my.cnf配置文件
mkdir /usr/local/mysql/log
mkdir /usr/local/mysql/etc
cp support-files/my-medium.cnf /usr/local/mysql/etc/my.cnf
#4.初始化數(shù)據(jù)庫
#執(zhí)行前需賦給scripts/mysql_install_db文件執(zhí)行權(quán)限
chmod 755 scripts/mysql_install_db
scripts/mysql_install_db –user=mysql –basedir=/usr/local/mysql/ –datadir=/usr/local/mysql/data/
#5.創(chuàng)建管察臘族理MySQL數(shù)據(jù)庫的shell腳本
mkdir /usr/local/mysql/init.d
cp support-files/mysql.server /usr/local/mysql/init.d/mysql
#6.賦予shell腳本可執(zhí)行權(quán)限：
chmod +x /usr/local/mysql/init.d/mysql
#7.啟動MySQL：
/usr/local/mysql/bin/mysqld_safe &
/usr/local/mysql/init.d/mysql start
#8.通局棚過命令行登錄管理MySQL服務(wù)器（提示輸入密碼時直接回車）：
/usr/local/mysql/bin/mysql -u root -p -S /tmp/mysql.sock
二、安裝apache （httpd-2.0.59.tar.gz）
#1.解壓
tar zxf httpd-2.0.59.tar.gz
cd httpd-2.0.59
#2.解決Apache的關(guān)聯(lián)軟件安裝過程中的報錯問題:
./configure –prefix=/usr/local/apr
make && make install
#提示configure: error: APR-util not found. Please read the documentation
#下載apr-util-0.9.19.tar.bz2進(jìn)行編譯安裝
./configure –prefix=/usr/local/apr-util -with-apr=/usr/local/apr
make && make install
#提示pcre錯誤
#下載安裝pcre
./configure –prefix=/usr/local/pcre
make && make install
#3.安裝APACHE
./configure –prefix=/usr/local/apache
-with-apr=/usr/local/apr
-with-apr-util=/usr/local/apr-util
-with-pcre=/usr/local/pcre
make
make install
#4.配置啟動APACHE
#啟動Apache中的php選項,找到下面兩行
vi /usr/local/apache/conf/httpd.conf
#修改默認(rèn)啟動頁
DirectoryIndex index.html index.php
#指定主目錄(/usr/local/apache2/htdocs)
DocumentRoot
ServerName 127.0.0.1:80
#啟動
/usr/local/apache/bin/apachectl start
三、安裝php （php-5.1.6.tar.bz2）
#1.使用命令檢查并配置安裝需要的系統(tǒng)環(huán)境，并生成安裝配置文件。命令行如下:
./configure –prefix=/usr/local/freetype
make
make install
#2.安裝PHP
tar jxf php-5.1.6.tar.bz2
cd php-5.1.6
./configure –prefix=/usr/local/php –with-mysql=/usr/local/mysql
–with-apxs2=/usr/local/apache/bin/apxs –with-freetype-dir=/usr/local/freetype –with-mysqli
–with-curl –with-gettext –with-bz2 -enable-shmop –enable-calendar –with-openssl
–with-pspell –enable-ftp –with-openssl –with-zlib –enable-exif –with-gmp
–enable-sysvmsg –enable-sockets –enable-wddx –with-xsl –with-mcrypt
–with-pdo-mysql –with-gd
make & make install
#3.配置php.ini文件
cp php.ini-dist /usr/local/lib/php.ini //復(fù)制php的配置文件
cd /usr/local/lib/
vi php.ini //修改配置文件
register_globals = On //一般在414行
max_execution_time = 30 ; // 改為600 (增加處理腳本的時間限制)
max_input_time = 600 ; //更大輸出時間600秒
memory_limit = 8M ; //改為40M (這樣才能發(fā)10M的附件)
register_global =On
post_max_size = 2M ; //php可接受的 post 方法大小 2M
file_uploads = On ; //允許上載文件
upload_max_filesize = 2M ; //更大上載文件2M
session.auto_start = 1 ; //session自動啟動
四、安裝phpMyAdmin
tar zxf phpMyAdmin-2.6.0.tar.gz
mv phpMyAdmin-2.6.0 /usr/local/apache/htdocs/
vi config.inc.php #修改這個文件
$cfg = ‘localhost’; //改成你數(shù)據(jù)庫服務(wù)器的主機(jī)名或IP地址；
$cfg = ‘root’; // MySQL 數(shù)據(jù)庫的用戶名；
$cfg = ”; // MySQL 數(shù)據(jù)庫的密碼；
#主要修改這幾項，保存退出
#測試：
linux系統(tǒng)安裝程序無法連接鏡像網(wǎng)站，電腦可以直接上網(wǎng)
忽略唄！這個不要弄的！因為linux要配置網(wǎng)絡(luò)后才能正常上網(wǎng)！
求linux一個centos 完整版的鏡像下載地址,謝謝了,本人新手,看不懂那些鏡像網(wǎng)站的一大堆文件夾內(nèi)容呀…
Everything這個是最橘握全歷斗的，你那個也圓爛慶可以
關(guān)于linux 鏡像一個網(wǎng)站的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。
成都服務(wù)器托管選創(chuàng)新互聯(lián)，先上架開通再付費。
創(chuàng)新互聯(lián)（www.cdcxhl.com）專業(yè)-網(wǎng)站建設(shè),軟件開發(fā)老牌服務(wù)商！微信小程序開發(fā),APP開發(fā),網(wǎng)站制作，網(wǎng)站營銷推廣服務(wù)眾多企業(yè)。電話：028-86922220
網(wǎng)站標(biāo)題：「Guide | Linux 如何高效地鏡像一個網(wǎng)站？」 (linux 鏡像一個網(wǎng)站)
網(wǎng)頁URL：http://www.fisionsoft.com.cn/article/dhodhss.html
