互聯網上存在很多開源情報(Open-Source Intelligence,OSINT)信息,其中開源是指公眾容易獲取和分發的信息或程序;情報是獲取和應用知識的能力。總的來說,開源情報就是從公開來源獲取、收集和分析信息以產生有價值情報的過程,其來源包括互聯網、社交媒體、學術和專業期刊、報紙、電視甚至某些被違規泄露的數據。
在這個信息大爆炸的時代,OSINT對于深度依賴有效信息獲取的安全防護工作顯得尤為重要。如果被合理利用,這些數據將能幫助分析師更準確了解事件的真相。然而,手動檢索開源情報是一項艱巨的任務,有太多的記錄和數據需要處理。值得慶幸的是,市場上存在許多工具可以自動化完成開源情報信息的搜集。以下整理了目前業界常用的12種功能強大的OSINT工具,即便是非專業安全人員,也能夠輕松使用。
1. OSINT Framework
OSINT Framework是一個包含不同工具的網站,用戶可以使用這些工具在不同的系統和知識庫中查詢開源情報信息,包括電子郵件地址、社交媒體、域名、搜索引擎、公共記錄、文檔甚至電話號碼等。
比如用戶想了解“社交媒體”相關信息,OSINT Framework就會將其細分出子部分列表,如Facebook、Twitter、Instagram、Reddit、LinkedIn等,用戶可以進一步選擇子分類,其中就會包含搜索、分析、圖片、位置和存儲/刪除的推文等。當選擇“分析”后,它還會呈現推文元數據、Birdwatcher、Tinfoleak等細分部分。
應用鏈接:https://osintframework.com/
2. Wayback Machine
Wayback Machine被稱為互聯網的數字檔案館。它用于管理、捕獲和歸檔網站在一段時間內的快照,即使原始網頁被刪除或改動,用戶仍然可以查閱曾經的網頁快照。目前,Wayback Machine每天收到的請求數(包括查閱和存檔請求)超過10億次,累計已經緩存了近7000億個不同時刻下的各種網頁頁面。
用戶可以通過Wayback Machin的“保存頁面”服務存檔上億個網站,如果注冊了免費賬戶,還可以要求抓取相關頁面的“外部鏈接”(outlink),并通過電子郵件接收抓取情況的報告。
當需要回溯歷史信息時,Wayback Machin會以 “年份選擇器”和“日期選擇器”的形式向用戶呈現該網站的所有保存記錄。如果想比較兩個不同網頁存檔之間的差異,可以使用Wayback Machin的“查閱改動”(Changes)功能來實現這一點。
應用鏈接:http://www.wayback.com
3. Maltego
Maltego主要通過使用開源情報技術查詢諸如DNS記錄、whois記錄、搜索引擎、社交網絡、各種在線API和元數據提取之類的源頭,從而發現這些信息之間的鏈接。Maltego程序通過自動搜索不同的公共數據源來工作,因此用戶可以單擊一個按鈕并執行多個查詢,每次執行的查詢可以返回多達12個實體。由于該程序使用公共接口來執行搜索,因此它幾乎可以與任何具有公共接口的信息源兼容。
一旦收集到信息,Maltego就會建立鏈接,以展現姓名、電子郵件地址、別名、公司、網站、文檔所有者、附屬機構和其他可能對調查有用的信息之間的隱藏關系,或尋找潛在的未來問題。它可以在Windows、Linux 和 Mac上下載,并且預裝在Kali Linux中。
該程序有一個免費版本,功能有限,稱為Maltego CE。Maltego PRO版本主要針對專業調查人員和小型團隊的計劃,包括Maltego One桌面、所有Maltego標準轉換,以及訪問商業轉換中心(查看所有功能的完整列表)。
應用鏈接:https://www.maltego.com/
4. Have I Been Pwned
Have I Been Pwned是Troy Hunt創建的免費網站資源,該網站收集了大量被拖庫的數據庫,可供用戶查詢自己的個人信息是否因數據泄露受到損害。用戶只需在搜索框中輸入要查詢的姓名或電話號碼,它就會搜索泄露數據庫以查看對應的憑據是否已遭泄露。如果發現相關泄露事件,下滑頁面就可以看到泄漏的信息。
應用鏈接:https://haveibeenpwned.com/
5. Shodan
Shodan是一個專用搜索引擎,用于搜索互聯網和連接到它的不同網絡服務器。這意味著使用Shodan,用戶就可以瀏覽其數據庫以查找連接到互聯網的設備,例如路由器、物聯網(IoT)設備、監視器、安全攝像頭、交通信號燈等。
作為一款功能強大的OSINT工具,Shodan可以監控和搜索的范圍體量令人震驚。它是少數能夠檢查操作技術(OT)的引擎之一。如果沒有像Shodan這樣的工具,想要在部署IT和OT的行業中收集開源情報會存在很大的缺失。
Shodan創建賬號是免費的,但是可以免費查詢到的信息少得可憐。如果要進一步查詢更多的信息,用戶需要購買Shodan的會員服務。除了個人版本,Shodan還推出了小型企業版和企業高級版的收費版本,其中小型企業可掃描多達65,536個IP地址,并返回多達兩千萬個結果;企業高級版提供無限的返回結果以及每月最多327,680個IP掃描,還包括漏洞搜索過濾器和高級支持等服務。
應用鏈接:https://account.shodan.io/
6. ZoomEye
ZoomEye是由我國安全公司知道創宇(Knownsec Inc.)創建的搜索引擎。最初上線時,很多人將ZoomEye視為國內版本的Shodan,但實際上ZoomEye和Shodan還是有差別的,因為ZoomEye除了設備指紋的掃描以外,還增加了對域名和Web服務器的指紋掃描,包括前端框架、后端框架、服務端語言、服務器操作系統、網站容器、內容管理系統和數據庫等。
ZoomEye 擁有兩大探測引擎:Xmap 和 Wmap,通過持續性的探測、識別,可有效標識出互聯網設備及網站所使用的服務及組件。研究人員可以通過ZoomEye方便地了解網絡資產分布情況及漏洞的危害范圍等信息。
應用鏈接:https://www.zoomeye.org/
7. TinEye
TinEye是Idée公司所開發的一個反向圖像搜索和圖像識別網站,2008年就已經正式上線應用。它使用計算機視覺、模式識別、神經網絡和機器學習來提供快速準確的搜索解決方案。要使用TinEye,只需將用戶想要獲取信息的圖像上傳到網站即可。該站點將獲取有關圖片位置、來源、使用甚至更高分辨率的信息。
應用鏈接:www.TinEye.com
8. Censys Search
Censys Search是一個基于網絡的搜索引擎,其創建之初的目的主要是用作學術研究,自身定位也是一個公益項目,由密歇根大學和Rapid7公司合作完成。Censys官網上這樣定義該搜索引擎:“Censys Search是一款搜索引擎,它允許計算機科學家了解組成互聯網的設備和網絡。Censys由互聯網范圍的掃描驅動,使得研究人員能夠找到特定的主機,并能夠將設備、網站和證書的配置和部署信息創建到一個總體報告中?!毕馭hodan一樣,它會在互聯網上搜索服務器以及聯網設備。此外,它還能夠識別聯網的工業控制系統和平臺。
應用鏈接:https://censys.io
9. BuiltWith
BuiltWith是一款用于發現流行網站構建技術和編程語言的工具。它是一個網站分析器、商業智能(BI)、潛在客戶生成和競爭分析工具。BuiltWith還會生成一個網站使用的已知JavaScript/CSS庫(例如jQuery或Bootstrap)的完整列表。此外,該服務還提供安裝在網站上的插件列表、框架、服務器信息、分析和跟蹤信息等。在實際應用中,如果將BuiltWith與WPScan等網站安全掃描程序結合使用,可以讓安全人員更容易發現影響網站安全的常見漏洞。
應用鏈接:https://builtwith.com/
10. Nmap
Nmap是一款免費的網絡和端口掃描器,用于發現在網絡或網站上運行的服務操作系統、主機和開放端口。它在Web上可用,并且在大多數常見操作系統上都能被支持。
Nmap的功能包括:
主機發現:識別網絡上的主機;
端口掃描:枚舉目標主機上的開放端口;
版本檢測:詢問遠程設備上的網絡服務以確定應用程序名稱和版本號;
OS檢測:確定網絡設備的操作系統和硬件特性;
腳本交互:使用Nmap腳本引擎(NSE)和Lua編程語言。
應用鏈接:https://nmap.org/
11. Recon-ng
Recon-ng是一款基于python開發,通過命令行來操作的信息收集工具。Recon-ng可以進行DNS信息收集、域名信息收集、郵件信息收集、結合搜索引擎進行信息收集,是一個功能強大的Web偵察框架。
Recon-ng采用模塊化設計框架,具有許多內置功能,使得即便是最初級Python開發人員也可以創建公開可用數據搜索并返回良好的結果。開發人員無需編寫Recon-ng腳本來執行搜索,只需選擇他們希望其執行的功能,就可以在幾分鐘內構建一個自動化模塊。
應用鏈接:https://bitbucket.org/LaNMaSteR53/recon-ng
12. The Harvester
The Harvester是一款開源情報工具,用于收集有關電子郵件、網站、子域、開放端口、虛擬主機等信息。The Harvester使用的來源包括流行的搜索引擎,如Bing和Google,以及較少見的搜索引擎,如dogpile、DNSdumpster和Exalead元數據引擎。它甚至可以利用Shodan搜索引擎來尋找已發現主機上的開放端口。
The Harvester無需任何特殊準備即可訪問大多數公共資源。但是,其使用的部分功能需要API密鑰。此外,用戶的使用環境中還必須有Python 3.6或更高版本。
更多信息可以來這里獲取==>>電子技術應用-AET<<