火車采集器

火車頭采集器是一個供各大主流文章系統(tǒng)，使用火車頭采集器你可以瞬間建立一個擁有龐大內(nèi)容的網(wǎng)站。完美下載提供火車頭采集器官方版下載。

火車采集器(LocoySpider)軟件特性

火車頭采集器是一個供各大主流文章系統(tǒng)，論壇系統(tǒng)等使用的多線程內(nèi)容采集發(fā)布程序。使用火車頭采集器你可以瞬間建立一個擁有龐大內(nèi)容的網(wǎng)站。完美下載提供火車頭采集器官方版下載。

火車采集器系統(tǒng)支持遠(yuǎn)程圖片下載，圖片批量水印，F(xiàn)lash下載，下載文件地址探測，自制作發(fā)表的cms模塊參數(shù)，自定義發(fā)表的內(nèi)容等有關(guān)采集器。火車采集器對于數(shù)據(jù)的采集其可以分為兩部分，一是采集數(shù)據(jù)，二是發(fā)布數(shù)據(jù)。

火車采集器功能：
火車采集器(LocoySpider)是一款功能強(qiáng)大且易于上手的專業(yè)采集軟件，強(qiáng)大的內(nèi)容采集和數(shù)據(jù)導(dǎo)入功能能將您采集的任何網(wǎng)頁數(shù)據(jù)發(fā)布到遠(yuǎn)程服務(wù)器，自定
火車頭采集器標(biāo)志
火車頭采集器標(biāo)志
義用戶cms系統(tǒng)模塊，不管你的網(wǎng)站是什么系統(tǒng)，都有可能使用上火車采集器，系統(tǒng)自帶的模塊文件支持:風(fēng)訊文章，動易文章，動網(wǎng)論壇，PHPWIND論壇,Discuz論壇,phpcms文章,phparticle文章,LeadBBS論壇,魔力論壇,Dedecms文章,Xydw文章,驚云文章等的模塊文件。更多cms模塊請自己參照制作修改，也可到官方網(wǎng)站與大家交流制作。 同時您也可以使用系統(tǒng)的數(shù)據(jù)導(dǎo)出功能,利用系統(tǒng)內(nèi)置標(biāo)簽,將采集到的數(shù)據(jù)對應(yīng)表的字段導(dǎo)出到本地任何一款A(yù)ccess,MySql,MS SqlServer內(nèi)。
LocoySpider采用Visual C編寫，可獨(dú)立在Windows2008下運(yùn)行（windows2003 自帶.net1.1框架。最新版的火車采集器是2008版，需要升級到.net2.0框架才能使用），如您在Windows2000、Xp等環(huán)境下使用，請先到微軟官方下載一個.net framework2.0或更高環(huán)境組件?；疖嚥杉鱒2009 SP2 04月29日
數(shù)據(jù)抓取原理
火車采集器如何去抓取數(shù)據(jù)，取決于您的規(guī)則。您要獲取一個欄目的網(wǎng)頁里的所有內(nèi)容，需要先將這個網(wǎng)頁的網(wǎng)址采下來，這就是采網(wǎng)址。程序按您的規(guī)則抓取列表頁面，從中分析出網(wǎng)址，然后再去抓取獲得網(wǎng)址的網(wǎng)頁里的內(nèi)容。再根據(jù)您的采集規(guī)則，對下載到的網(wǎng)頁分析，將標(biāo)題內(nèi)容等信息分離開來并保存下來。如果您選擇了下載圖片等網(wǎng)絡(luò)資源，程序會對采集到的數(shù)據(jù)進(jìn)行分析，找出圖片，資源等的下載地址并下載到本地。
數(shù)據(jù)發(fā)布原理
在我們將數(shù)據(jù)采集下來后數(shù)據(jù)默認(rèn)是保存在本地的，我們可以使用以下幾種方式對數(shù)據(jù)進(jìn)行處理。
1、不做任何處理。因?yàn)閿?shù)據(jù)本身是保存在數(shù)據(jù)庫的（access、db3、mysql、sqlserver），您如果只是查看數(shù)據(jù)，直接用相關(guān)軟件打開查看即可。
2、Web發(fā)布到網(wǎng)站。程序會模仿瀏覽器向您的網(wǎng)站發(fā)送數(shù)據(jù)，可以實(shí)現(xiàn)您手工發(fā)布的效果。
3、直接入數(shù)據(jù)庫。您只需寫幾個SQL語句，程序會將數(shù)據(jù)按您的SQL語句導(dǎo)入到數(shù)據(jù)庫中。
4、保存為本地文件。程序會讀取數(shù)據(jù)庫里的數(shù)據(jù)，按一定格式保存為本地sql或是文本文件。
工作流程
火車采集器采集數(shù)據(jù)是分成兩個步驟的，一是采集數(shù)據(jù)，二是發(fā)布數(shù)據(jù)。這兩個過程是可以分開的。
1、采集數(shù)據(jù)，這個包括采集網(wǎng)址，采集內(nèi)容。這個過程是獲得數(shù)據(jù)的過程。我們做規(guī)則，在采的過程中也算是對內(nèi)容做了處理。
2、發(fā)布內(nèi)容就是將數(shù)據(jù)發(fā)布到自己的論壇，CMS的過程，也是實(shí)現(xiàn)數(shù)據(jù)為已有的過程?？梢杂肳EB在線發(fā)布，數(shù)據(jù)庫入庫或存為本地文件。
具體的使用其實(shí)是很靈活的，可以根據(jù)實(shí)際來決定。比如我可以采集時先采集不發(fā)布，有時間了再發(fā)布，或是同時采集發(fā)布，或是先做發(fā)布配置，也可以在采集完了再添加發(fā)布配置?？傊?，具體過程由您而定，火車采集器的強(qiáng)大功能之一也就是體現(xiàn)在靈活中。

    

火車采集器(LocoySpider)更新日志

火車采集器V9.21版
1: 自動獲取cookie功能優(yōu)化
2: 數(shù)據(jù)庫發(fā)布增加事務(wù)，優(yōu)化數(shù)據(jù)庫發(fā)布速度
3: 數(shù)據(jù)轉(zhuǎn)換速度優(yōu)化（針對Mysql和SqlServer數(shù)據(jù)庫的導(dǎo)入）， 同時去除網(wǎng)址庫的清空邏輯
4: html標(biāo)簽處理錯誤問題處理
5: json提取關(guān)于數(shù)字轉(zhuǎn)換為科學(xué)計(jì)數(shù)法問題處理
6: 發(fā)布測試時，圖片上傳無效的問題處理
7: 采集內(nèi)容頁處理錯誤時，增加對于當(dāng)前出錯標(biāo)簽的提示，以便快速定位出錯標(biāo)簽
8: 任務(wù)批量編輯，增加可操作范圍
9: 循環(huán)匹配匹配空格問題處理
10: 刷新分組中增加統(tǒng)計(jì)數(shù)據(jù)的刷新
11: post分頁處理
12: 部分功能邏輯優(yōu)化

火車采集器V9.9版
1.優(yōu)化效率修復(fù)運(yùn)行大量任務(wù)時運(yùn)行卡頓問題
2.修復(fù)大量代理時配置文件鎖死程序退出問題
3.修復(fù)部分情況下mysql鏈接不上問題
4.其它界面和功能優(yōu)化

火車采集器V9.8版

1: “遠(yuǎn)程管理” 正式升級為 “私有云”，全面優(yōu)化調(diào)整。
2： 發(fā)布模塊增加自定義頭信息的增加。
3: 采集線程間隔調(diào)整，增加自定義區(qū)間設(shè)置。
4：長時間使用后的運(yùn)行卡頓問題修復(fù)。
5： 二級代理，IP輸入框修改為普通TextBox。增加代理免驗(yàn)證的功能。
6: 分組丟失、死循環(huán)問題修復(fù)。
7： ftp上傳，增加超時處理。

火車采集器火車采集器V9.6版
1： 多級網(wǎng)址列表，對于列表名增加重命名功能以及上下調(diào)整的功能。
2： 修復(fù)SqlServer數(shù)據(jù)庫格式下，未能正確顯示采集數(shù)量的問題。
3： 修復(fù)在新增標(biāo)簽時，若上一個編輯為固定格式數(shù)據(jù)，則新增的標(biāo)簽顯示內(nèi)容錯誤的問題。
4： 修復(fù)數(shù)據(jù)包登錄中，若登錄失效，未能自動重新登錄的問題。
5： 修復(fù)FTP上傳失敗后，本地?cái)?shù)據(jù)也被刪除的問題。
6： 修復(fù)邊采集邊發(fā)時，文件上傳FTP失敗的問題。
7： 優(yōu)化Excel保存時，對于ID，PageUrl顯示列的位置。
8： 修復(fù)任務(wù)不能多選操作的問題。
9： 邊采集邊發(fā)布時，最大發(fā)布數(shù)的功能調(diào)整（原：最大發(fā)布數(shù)無效。 現(xiàn)：最大發(fā)布數(shù)生效，且在任務(wù)完成后，不會將以前的未發(fā)布數(shù)據(jù)再次發(fā)布）
10：修復(fù)對于存儲過程語句，當(dāng)數(shù)據(jù)為空值時，意外判斷為“語句錯誤”的問題。
11：二級代理功能，修復(fù)定時撥號失效的問題。
12：二級代理功能，定時獲取API功能優(yōu)化，重新獲取時，會自動刪除上一批數(shù)據(jù)。
13：批量網(wǎng)址增加數(shù)據(jù)庫導(dǎo)入的模式
14：導(dǎo)出到文件時，對于不合理的錯誤命名增加提示。
15：導(dǎo)出規(guī)則時，對于規(guī)則名稱過長的規(guī)則，增加提示的功能。
16：規(guī)則編輯時，對于“包含”、“不包含”數(shù)據(jù)，復(fù)制粘貼多行時，會自動區(qū)分為多個數(shù)據(jù)。
17：添加對于芝麻代理的合作支持。

火車采集器V9.4版
1，批量網(wǎng)址更新，日期可以支持大于今天的數(shù)據(jù)。標(biāo)簽可以采用多參數(shù)同步變化
2，標(biāo)簽組合，增加對于循環(huán)組合的支持。
3，優(yōu)化網(wǎng)址庫排重邏輯，大大加快大網(wǎng)址庫下的任務(wù)加載速度，優(yōu)化網(wǎng)址庫排重內(nèi)存占用。
4，數(shù)據(jù)庫發(fā)布模塊，增加“insert ignore”模式的支持
5, 新增任務(wù)的云端備份、同步功能
6，http遠(yuǎn)程服務(wù)器，增加對于單條數(shù)據(jù)修改的API支持。
7，水印增加指定大小的壓縮功能
8，修復(fù)FTP，SFTP鏈接未能正確斷開的問題
9，修復(fù)Word2007無法保存圖片的問題
10，修復(fù)標(biāo)簽超長時候的顯示錯誤問題。
11，修復(fù)標(biāo)簽數(shù)據(jù)替換中的替換錯誤問題。
12，修復(fù)了數(shù)據(jù)倒序發(fā)布的問題。
13，優(yōu)化了幾個會導(dǎo)致采集器長時間運(yùn)行后內(nèi)存無法釋放的問題。
   &nbsp