如何使用Xurlfind3r查找目标域名的已知URL地址
作者:物联网 来源:系统运维 浏览: 【大中小】 发布时间:2025-11-27 00:19:05 评论数:
关于xurlfind3r
xurlfind3r是何使一款功能强大的URL地址查询工具 ,该工具本质上是用X域名一个CLI命令行工具 ,可以帮助广大研究人员从多种在线源来查询目标域名的查找已知URL地址。源码下载
功能介绍
1 、目标从被动在线源获取URL地址以实现最大数量结果获取;
2 、已地址支持从Wayback网页和robots.txt快照解析URL地址;
3、何使支持URL匹配和过滤;
4、用X域名支持stdin和stdout已实现轻松跟工作流整合;
5、查找跨平台支持,模板下载目标支持Windows、已地址Linux和macOS;
支持的何使在线源
AlienVaults OTX
BeVigil
Common Crawl
Github
Intelligence X
URLScan
Wayback Machine
工具安装
安装发布版本代码(不需要安装Go环境)
广大研究人员可以直接访问该项目的【Releases页面】下载和安装对应操作系统和架构的发布版本代码。
或者也可以使用wget或curl命令行工具来下载和安装xurlfind3r:
复制wget https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz1.或
复制curl -OL https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz1.然后提取代码即可:
复制tar xf xurlfind3r-<version>-linux-amd64.tar.gz1.别忘了将xurlfind3r代码拷贝到PATH路径下,亿华云用X域名比如说 :
复制sudo mv xurlfind3r /usr/local/bin/1.源码安装(需要安装Go环境)
首先,查找我们需要在本地设备上安装并配置好最新版本的目标Go语言环境 。接下来,已地址使用go install命令下载该工具即可:
复制go install -v github.com/hueristiq/xurlfind3r/cmd/xurlfind3r@latest1.除此之外 ,我们也可以先将项目源码克隆至本地:
复制git clone https://github.com/hueristiq/xurlfind3r.git1.然后构建工具:
复制cd xurlfind3r/cmd/xurlfind3r && \ go build .1.2.3.工具配置
在使用该工具之前,高防服务器我们还需要配置相应的API密钥 ,配置文件为config.yaml:
复制version: 0.3.0 sources: - bevigil - commoncrawl - github - intelx - otx - urlscan - wayback keys: bevigil: - awA5nvpKU3N8ygkZ github: - d23a554bbc1aabb208c9acfbd2dd41ce7fc9db39 - asdsd54bbc1aabb208c9acfbd2dd41ce7fc9db39 intelx: - 2.intelx.io:00000000-0000-0000-0000-000000000000 urlscan: - d4c85d34-e425-446e-d4ab-f5a3412acbe81.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.工具使用
-h参数可以直接查看工具的帮助选项:
复制xurlfind3r -h1.帮助信息如下:
复制_ __ _ _ _____ __ ___ _ _ __| |/ _(_)_ __ __| |___ / _ __ \ \/ / | | | __| | |_| | _ \ / _` | |_ \| __| > <| |_| | | | | _| | | | | (_| |___) | | /_/\_\\__,_|_| |_|_| |_|_| |_|\__,_|____/|_| v0.3.0 USAGE: xurlfind3r [OPTIONS] INPUT: -d, --domain string[] 设置目标域名 -l, --list string 目标域名的列表文件路径 SCOPE: --include-subdomains bool 匹配子域名URL SOURCES: --sources bool 列举支持的源 -u, --use-sources string[] 要使用的源码库源,用逗号分隔 -e, --exclude-sources string[] 要排除的源 ,用逗号分隔 --parse-wayback-robots bool 使用wayback,解析robots.txt快照 --parse-wayback-source bool 使用wayback ,解析源代码快照 FILTER & MATCH: -f, --filter string 正则式过滤URL -m, --match string 正则式匹配URL OUTPUT: --no-color bool 禁用颜色高亮输出 -o, --output string 输出URL文件路径 -O, --output-directory string 输出URL目录路径 -v, --verbosity string Verbose模式,免费模板默认为info CONFIGURATION: -c, --configuration string 配置文件路径(默认为~/.hueristiq/xurlfind3r/config.yaml)1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.44.45.46.47.48.49.50.51.52.53.54.55.56.57.58.59.60.61.62.63.64.65.66.67.68.69.工具使用样例
基础使用 :
复制xurlfind3r -d hackerone.com --include-subdomains1.过滤器正则表达式:
复制# filter images xurlfind3r -d hackerone.com --include-subdomains -f `^https?://[^/]*?/.*\.(jpg|jpeg|png|gif|bmp)(\?[^\s]*)?$`1.2.3.匹配正则表达式 :
复制# match js URLs xurlfind3r -d hackerone.com --include-subdomains -m ^https?://[^/]*?/.*\.js(\?[^\s]*)?$1.2.3.许可证协议
本项目的开发与发布遵循MIT开源许可证协议。
项目地址
xurlfind3r:【GitHub传送门】
参考资料
https://msdn.microsoft.com/en-us/library/office/ee537574(v=office.14).aspx
https://bevigil.com/
https://github.com/
https://intelx.io/
https://urlscan.io/
https://otx.alienvault.com/
https://archive.org/web/
https://commoncrawl.org/
本文作者:Alpha_h4ck , 转载请注明来自FreeBuf.COM
