|
火車采集器(LocoySpider)是一款專業(yè)的功能強大的網(wǎng)絡數(shù)據(jù)/信息挖掘軟件,通過靈活的配置,您可以很輕松的從網(wǎng)頁上抓取文字、圖片、文件等任何資源。 程序支持遠程下載圖片文件,支持網(wǎng)站登陸后的信息采集,支持探測文件真實地址,支持代理,支持防盜鏈的采集,支持采集數(shù)據(jù)直接入庫和模仿人手工發(fā)布等許多功能特點。 火車采集器支持從任何類型的網(wǎng)站采集獲取您所需要的信息,如各種新聞類網(wǎng)站、論壇、電子商務網(wǎng)站、求職招聘網(wǎng)站等。 同時具有強大的網(wǎng)站登錄采集、多頁和分頁的采集、網(wǎng)站跨層采集、POST采集、腳本頁面采集、動態(tài)頁面采集等高級采集功能。 強大的php和c#插件支持,讓您可以通過二次開發(fā)實現(xiàn)您所想要的任何更強大的功能。 軟件特色 1、通用性強 無論新聞、論壇、視頻、黃頁、圖片、下載類網(wǎng)站,只要通過瀏覽器能看到的結構化的內(nèi)容,通過指定匹配規(guī)則,都能采集到您所需要的內(nèi)容。 2、穩(wěn)定、高效 五年磨一劍,軟件不斷更新進步,采集速度快,性能穩(wěn)定,占用資源少。 3、擴展性強、適用范圍廣 自定義web發(fā)布,自定義主流的數(shù)據(jù)庫的保存和發(fā)布,自定義本地php及.net外部編程接口處理數(shù)據(jù),讓數(shù)據(jù)都能為你所用。 基本功能 1、規(guī)則自定義-通過采集規(guī)則的定義,可以搜索所有網(wǎng)站采集幾乎任何類型的信息。 2、多任務,多線程-可以同時進行多個信息采集任務,每個任務可以使用多個線程。 3、所見即所得-任務采集過程所見即所得,過程中遍歷的鏈接信息、采集信息、錯誤信息等都會及時的反映在軟件界面中。 4、數(shù)據(jù)保存-數(shù)據(jù)邊采集邊自動保存到關系數(shù)據(jù)庫中,并且數(shù)據(jù)結構能夠自動適應,軟件可以根據(jù)采集規(guī)則自動創(chuàng)建數(shù)據(jù)庫,以及其中的表和字段,也可以通過導庫方式靈活的將數(shù)據(jù)保存到客戶已有的數(shù)據(jù)庫結構中。 5、斷點續(xù)采-信息采集任務可以在停止后從斷點開始繼續(xù)采集,從此你用不再擔心你的采集任務意外中斷了。 6、網(wǎng)站登錄-支持網(wǎng)站Cookie,支持網(wǎng)站可視化登錄,即使登錄時需要驗證碼的網(wǎng)站也能采集。 7、計劃任務-通過這個功能可以讓你的采集任務定時、定量或者一直循環(huán)執(zhí)行。 8、采集范圍限制-可以根據(jù)采集的深度和網(wǎng)址的標識來限制采集的范圍。 9、文件下載-可以將采集到的二進制文件(諸如:圖片、音樂、軟件、文檔等等)下載到本地磁盤或者采集結果數(shù)據(jù)庫中。 10、結果替換-可以將采集的結果根據(jù)規(guī)則替換成你定義的內(nèi)容。 11、條件保存-可以根據(jù)某個條件來決定那些信息保存,那些信息過濾。 12、過濾重復內(nèi)容-軟件可根據(jù)用戶設置和實際情況對重復內(nèi)容和重復網(wǎng)址自動刪除重復內(nèi)容。 13、特殊鏈接識別-運用此功能可以將用JavaScript動態(tài)生成的鏈接或其他更古怪的連接識別出來。 14、數(shù)據(jù)發(fā)布-可以通過自定義接口,將已采集的結果數(shù)據(jù)發(fā)布到任意的內(nèi)容管理系統(tǒng)和指定數(shù)據(jù)庫中。現(xiàn)在已支持的目標發(fā)布媒體包括:數(shù)據(jù)庫(access,sqlserver,mysql,oracle),靜態(tài)htm文件。 15、預留編程接口-定義多個編程接口,用戶可以在事件中利用PHP,C#語言進行編程,擴充采集功能。 特色功能 1、支持所有網(wǎng)站編碼:完美支持采集所有編碼格式的網(wǎng)頁,程序還可以自動識別網(wǎng)頁編碼。 2、多種發(fā)布方式:支持目前所有主流和非主流的CMS,BBS等網(wǎng)站程序,通過系統(tǒng)的發(fā)布模塊能實現(xiàn)采集器和網(wǎng)站程序間的完美結合。 3、全自動:無人值守工作,配置好程序后,程序?qū)⒁罁?jù)您的設置自動運行,完全無需人工干預。 4、本地編輯:本地可視化編輯已采集的數(shù)據(jù)。 5、采集測試:這是其它任何同類采集軟件所不能比的,程序支持直接查看采集結果并測試發(fā)布。 6、管理方便:使用站點+任務方式管理采集節(jié)點,任務支持批量操作,再多的數(shù)據(jù)管理也很輕松。 更新日志 1:添加“重新采集上次請求失敗的列表頁”功能。 2:優(yōu)化任務發(fā)布方式,站群式發(fā)布添加支持順序、倒序發(fā)布。 3:列表頁獨立標簽,增加“從網(wǎng)址中獲取”的選型。 4:優(yōu)化圖片地址匹配方式,一些原來無法匹配的圖片可以正確匹配了。 5:同義詞替換,增加對于html標簽替換的支持。 6:循環(huán)采集模式,增加循環(huán)次數(shù)限制。 7:數(shù)據(jù)發(fā)布,增加自定義數(shù)據(jù)發(fā)布模式。 8:修復刪除列表頁時,未能刪除對應列表頁標簽的問題。 9:修復使用圖片水印時,未選擇保存格式導致的水印錯誤的bug。 10:Json工具,修復長Json處理時的卡頓問題。 11:修復采集標簽過多導致的任務無法運行的錯誤。 12:修復自定義插件編譯錯誤的問題。 13:修復PHP插件對于循環(huán)采集標簽處理時的錯誤問題。 常見的網(wǎng)絡操作系統(tǒng)有UNIX、Netware、Windows NT、Linux等,網(wǎng)絡軟件的漏洞及缺陷被利用,使網(wǎng)絡遭到入侵和破壞。 |
1深度技術win10正式版ghost(32位)旗艦......
2番茄花園win10 X86 ghost 標準通......
3番茄花園Win10_Ghost Win10 64......
4雨林木風 GHOST WIN10 X64 快速裝......
5深度技術GHOST WIN10 X64 尊貴專業(yè)......
6筆記本W(wǎng)in10系統(tǒng) 64位官方正式版2023年......
7筆記本win10正式版ghost(32位)旗艦免......
8雨林木風win10(32位)ghost 修正專業(yè)......