间谍机构使用的开源情报监视方法：指南 - iYouPort

2020-10-19 原文 #iYouPort 的其它文章

间谍机构使用的开源情报监视方法：指南

Book & Documentary , Knowledge Node , Opinion , OSINT , 给行动者的护身符和武器 1 Minute
  • 用一篇文章从专业级别讲清开源情报的基本操作。其中关联的所有文章都很重要；穿插的所有书籍均免费下载

以下段落摘自 CIA官方网站 。

总统和政策制定者依靠中央情报局的见识来为自己的外交政策决策提供依据。中央情报局官员在制定评估时使用了多种渠道 ……本文将重点考虑开源情报。

信息不一定必须是秘密的才能有价值。

无论是在浏览的博客中、在观看的广播中、还是在阅读的专业期刊中，都有无穷无尽的信息来帮助我们了解世界。

情报社区通常将此信息称为开源情报（OSINT）。

开源情报在以其相对较低的成本为情报界提供整体见解和背景方面发挥着至关重要的作用。

上图中这本书在这里下载 ： https://www.patreon.com/posts/kai-yuan-qing-de-38190146

开源情报的来源可以包括 ：

  • 互联网
  • 传统大众媒体（例如电视、广播、报纸、杂志）
  • 专业期刊、会议记录和智囊团研究
  • 各种照片
  • 地理空间信息（例如 地图和商业图像产品）
  • 等等……

上图中这本书在这里下载 ： https://www.patreon.com/posts/tu-xiang-qing-38190530

CIA 通过其对DNI开源中心（OSC）的管理，负责收集、生产和推广开源情报。OSC 成立于 2005年 11月1日，是根据大规杀伤性武器（ Robb-Silberman ）委员会的建议而成立的，其职责是承担整个情报社区的独特责任。

民间社会组织及其全球合作伙伴网络拥有制作高质量开源情报所需的技能、工具和渠道。 这些能力包括80多种语言的翻译；来源、趋势和媒体分析；专门的视频和地理空间情报分析；以及罕见的文化和特定主题的专门知识等 。

对于OSC主管 Douglas Naquin 来说，牢固的合作关系至关重要。

“鉴于我们可以通过公开信息解决的问题种类繁多，范围广泛，我认为我们 有责任在政府内外各组织之间进行合作 ，最有效地利用现有的专门知识和能力。我们 OSC 的工作重点是比较优势： 如果我们发现一个组织或公司能把某件事做得特别好 — — 例如翻译 — — 我们将尽可能地利用这一优势，使我们能够把资源集中在我们最擅长的方面 。”

【注】上面这段话用一个词概括就是： 收编 。准确说是 “公私情报伙伴关系”。

开源情报 一直是 “全源” 情报分析的重要组成部分，尤其是，信息技术的不断发展使更多的人发出了声音，从而更有可能解决新的情报问题。（【注】“更多人发出声音” 指的是人们在社交媒体上说的太多了）

上图中的内容在这里看到 ： https://www.patreon.com/posts/dui-kang-xing-si-38187798

“例如，公开的消息来源可以告诉我们海外各种团体对总统演讲的反应”，Naquin 说。“我们不必满足于 ‘官方’ 的观点，而是可以评估各种群体的看法，以及 跟踪一段时间内的趋势 。”

“开源是指 ‘免费’ 或公开的情报来源，但并不意味着它很容易得到”，Naquin 补充道。为了过滤、理解和分析24/7进入OSC的大量材料，开源情报官员必须精通外语，对文化的细微差别很敏感，是各自领域的专家，无论是视频、地理空间工具、媒体分析还是图书馆学方面。

“如果一个政府改变了对美国的立场，一个对语言理解透彻、对文化熟悉的分析人员可能不仅能够预测这种变化，而且能告诉我们原因。” Naquin 说。“能够将外语技能、文化知识和先进的搜索技术结合起来的人并不多见。”

【注】对这段话的 具体解释 ，推荐这份报告《 所有信息都是战略性的：信息地缘政治 》。简单说， 全世界所有人的一切信息都在被这样收集和分析，大多数国家都在做这样的事，而不仅仅是美国和中国 （虽然中美在这方面有最 显著的优势 。因为绝大多数互联网服务不是中国的就是美国的）

政策制定者和其他政府官员也依靠这些专业知识来了解他们计划访问的国家的概况。

“不仅仅是指南信息，而是有助于让他们的访问富有成效的细节。 如果知道去哪里找的话，在开源情报中能找到的东西是令人惊讶的 。”

OSC 将其收集和处理的大部分信息提供给情报界和整个美国政府。除了向所有来源的对应方提供这种 “原始” 数据外，OSC的分析人员还从公开来源中发现并为他人标明新的见解或趋势。

一个有经验的情报分析师会注意到外国政府和组织官方信息中的 语气、选词和语法的变化 。与过去的声明进行比较，可以深入了解外国行为者如何看待一个事件或问题。 这种分析还可以帮助确定他们的 “热点 “或 “红线” 。

【注】这就是为什么我们强调： 政治评论应该以情报分析的思考方式而不仅仅是观点来呈现。

上图中这本书在这里下载 ： https://www.patreon.com/posts/cong-jian-die-de-38188158

上图中这本书在这里下载 ： https://www.patreon.com/posts/38138056

上图中这本书在这里下载 ： https://www.patreon.com/posts/mei-guo-lu-jun-38188830

与所有情报学科一样，开源情报也有其挑战。庞大的数量量令人望而生畏，要想把麦子从谷子中分离出来， 需要技巧、知识和对尖端信息技术的娴熟 。

它还需要协同努力，与合作伙伴进行协调，以避免重复、并最佳利用资源 ，但开源情报在效力和效率方面的回报是很高的。

Naquin说。“我们工作在 两个最具活力的行业的交汇处：媒体和信息技术 。这就像坐着皮划艇在两条河流的分叉处顺流而下，这一路会很有挑战，但如果你有技术，它就会很精彩。”

互联网已经彻底改变了开源环境。 Naquin 预计这种趋势将持续下去。

他说，“今天投资于开源情报的组织，就好比一个人在谷歌成立的第一年投资于谷歌。开源情报一直是情报工作中不可或缺的组成部分，但我相信五年后，其价值只会增加。 一个对开源情报的价值和潜力有认识的组织在未来将是最有效的组织 ”。

为什么开源情报对于调查很有价值？

开源情报之所以有价值，是因为相比诸如 HUMINT、SIGINT、MASINT、GEOINT 等具有更多的技术需求的情报学科来说，开源情报具有更少的严格性和开发过程、以及时间表，此外，开源情报收集了各种各样的宝贵意见，因为它涵盖了各种各样的资料来源。

开源情报为理解机密材料提供了基础 。尽管情报社区产生了大量机密材料，但在任何一个主题上产生的机密信息数量都可能非常有限，如果仅从机密来源的角度来看，可能会脱离背景。

【注】 开源情报和透明度革命应该相辅相成、互相协助 ，而不是像今天这样互相排斥。并且已经有成功的融合案例，见《 用技术作为促进透明度革命的武器：一个成功的尝试 》，这篇文章中详细解释了这个问题。

开源信息可以填补空白并创建关系联系，使分析人员可以更好地理解零散的情报、可能的攻击手段以及潜在的目标。

开源材料可以保护资源和方法。有时， 可以在开源报告的基础上解释实际上被告知敏感的机密信息的情报判断 。当政策制定者需要解释政策决定或与外国官员沟通而又不至于损害机密消息来源时，这点就会很有用。

只有开源情报才能存储历史。 一个强大的开源情报调查实际上可以收集数据来监测全世界上的文化、以及它们是如何随着时间变化的 。使用闭源收集方法提供的快照要想做到这点，即使不是不可能，也是很困难的。

先进的数据分析改变了间谍机构利用数据的方式。另一方面，这些间谍机构正在被不断增长的数据洪峰所淹没。虽然数据驱动的警务正在兴起，但执法人员尚未意识到态势感知的全部好处 —— 如何帮助他们从噪音中区分信号。

上图中的3份资料在这里下载 ： https://www.patreon.com/posts/cong-gao-duan-ru-39443209

开源情报流程的各个阶段

开源情报通常在黑客入侵的侦察阶段进行 ，从这一阶段收集到的相关信息会被带到网络枚举阶段。

由于网络上有大量的信息可供筛选，攻击者必须有一个清晰明确的搜索框架，以及一系列开源情报收集工具来促进这项任务，并协助处理数据；否则就有可能迷失在互联网上铺天盖地的信息海洋中。

开源情报侦察可进一步细分为以下5个子阶段 ：

1、 源头识别 ：作为起点，在这一初始阶段，执行者需要识别可能收集到信息的潜在来源。在整个过程中，消息来源要以详细的笔记形式记录下来，以便以后在必要时再来查阅。

2、 数据采集 ：在这个阶段，执行者从选定的来源和整个阶段发现的所有其他来源收集和采集信息。

3、 数据处理和整合 ：在这个阶段，攻击者通过搜索可能有助于情报产品的信息，对收获的信息进行处理，以获得可操作的情报。

4、 数据分析 ：在这个阶段，执行者利用各种开源情报分析工具对处理后的信息进行具体分析。

5、 成果交付 ：在最后阶段，完成开源情报分析，并将分析结果提交/报告给红队或其他需求方。

上图中这本书在这里下载 ： https://www.patreon.com/posts/ai-zi-shi-zhi-de-38193081

下面将介绍在开源情报调查和分析中要使用的一些工具，以及如何有效地使用这些工具。

有大量的开源情报工具可供使用，其中一些是免费的，而另一些则可能要花不少钱。

您可以在我们的 “开源情报” 栏目 中看到这些工具的更具体介绍。本文不会一一列举。但将介绍一些比较流行的工具，您可能会发现这些工具对红队行动很有用。

执行开源情报就是把您能够推断出的关于某个人或实体的零星信息，通过情报分析工具执行它们，看看还能发现什么。

对开源情报工具的研究

这里是一套选定的工具，说明了开源情报工具之间的不同。

这些解决方案代表了不同类型的开源情报用例，为可用的开源情报解决方案的规模提供了更广阔的视野。

开源情报解决方案的范围通常非常广泛 —— 这些工具可能被设计成只关注单一的查询，而更强大的开源情报解决方案则有能力进行更大规模的查询。

许多规模较大的开源情报工具都是为政府和巨头公司定制和设计的 ，预算巨大，自然只有这些有钱有势的家伙才能使用。

这些工具具有强大的自动化流程、人工智能和先进的过滤技术。无疑，公民调查人员无法接触到这样的工具。然而，公众通常可以访问的工具和资源的数量也是尤其显著的，可以进行强大的搜索。

上图中这本书在这里下载 ： https://www.patreon.com/posts/cong-fang-yu-dao-38190201

1、搜索引擎

根据调查背景，您可能想在调查期间使用不同的搜索引擎。Google 和 Bing 用于欧洲或北美的相关调查主题，百度用于亚洲的相关调查主题，Yandex 用于俄罗斯和东欧的相关调查主题。

当然，第一个调查工具就是搜索运算符。您可以在下面找到谷歌的这些搜索运算符的 基本列表 。

其实您 记住一些基本常识就可以 ，比如，在搜索下面这些内容时，必需用引号将它们扩起来：

  • 电子邮件地址
  • 电话号码
  • 用户名
  • PIN码

【注】 具体的搜索常识详见这里 《 巧用互联网，以找到您最想要的信息：搜索思维作为基本功 》。

您还可以使用 布尔逻辑运算符进行组合查询 ：AND，OR，+和-。

  • filetype: 允许搜索特定的文件扩展名
  • site: 将在特定网站上过滤
  • intitle:和 inurl: 会过滤特定标题或 url
  • link:: 查找指向特定域名或URL 的网页（于2017年弃用，但仍然可以部分使用）

【注】 具体使用方法见这里 《 一个搜索统治一切：调查用心而非技术 》。

还有以下这些例子：

  • NAME + CV + filetype:pdf 找到目标人的简历
  • DOMAIN — site:DOMAIN 找到网站的子域
  • site:example.com/folder: 如果您知道某个站点的基本架构，则可以结合使用，例如：site：amazon.com/China
  • site:sub.example.com: 帮助深入研究特定的子域。例如 site:local.amazon.com
  • site:example.com inurl:abc: 找到子域。使用 “inurl:” 比直接将子域放入主查询要灵活得多。例如，site:amazon.com inur:local
  • site:example.com inurl:https: 这种组合有助于查找 Google 编入索引的所有安全页面。例如，site:amazon.com

【注】上面那本书很重要。

上图中的手册在这里下载 ： https://www.patreon.com/posts/zui-xin-de-lie-38192288

2、图像

对于图像，您需要了解两件事：如何查找图像上包含的任何其他信息、以及如何查找相似的图像。

首先就是 从元数据入手 。它通常包含创建日期、使用的相机、有时是GPS数据等丰富且危险的信息。

ExifTool 是很好的选择，但 Exif Viewer 扩展也非常方便（适用于 Chrome 和 Firefox ）。此外，您还可以使用 这个惊人的照片取证网站 ，有许多有趣的功能。其他的替代方案包括 exif.regex.info 和 Foto Forensics 。

【注】 更多元数据工具 详细介绍在这里《 从自我保护到有效利用 》

要 找到相似的图片 ，您可以使用 Google Images、Bing Images、Yandex Images 或 TinyEye。TinyEye 有一个有用的API，Bing 有一个非常有用的功能，可以让你搜索图像的特定部分。为了得到更好的结果，删除图片的背景可能会有帮助，于是 remove.bg 可以帮助您做到。

【注】 不同的图像工具有不同的特点，要根据您的具体调查需求来选择，于是您最好能熟知它们各自的特征 ，可以在这里看到对比《搜图功能哪家强？图像验证方法的能力对比》。

并没有简单的方法来分析图像的内容并找到它的拍摄位置。您必须在图像中寻找特定的线索，然后在网上进行研究，并与原始图像进行比较。您可以在 “侦探挑战” 系列 中看到非常多的演示和工具使用。

3、社交网络

社交媒体情报是开源情报的重头戏，于是从社交网络上挖掘情报的工具特别丰富。但是这些工具的效果在很大程度上取决于具体平台。

【注】您可以通过在网站上搜索 “社交媒体情报” 找到很多工具和详细解读。

上图中这本书在这里下载 ： https://www.patreon.com/posts/she-jiao-mei-ti-38144070

比如 Tinfoleak.com ，可以在其中获取有关任何 Twitter 用户的详细信息。它是完全基于Web的，不需要用户进行任何安装。

要想通过 Tinfoleak 从 Twitter 上获取用户相关数据，只需要提供目标用户的 Twitter 用户名，只能是公开用户。

作为查询的结果，Tinfoleak 会提供一份关于目标用户的详细报告。该报告提供了用户的基本信息（如姓名、照片、位置、关注者等），以及 Twitter 用户使用的设备、操作系统、应用程序和社交网络的信息，Twitter 用户访问过的地点和地理位置坐标，允许下载 Twitter 用户的所有图片，还显示了 目标 Twitter 用户使用的所有标签和话题（含日期和时间），以及目标 Twitter 用户在其推文中提到过谁。

Tinfoleak 还利用推文和图片中的地理信息定位用户发推的地方。

工具总是那么令人兴奋，但是，必须强调：工具并不重要， 重要的是您用工具做什么。如果您不知道自己在做什么，工具并不会帮助你，它们只会给你一长串你无法理解或评估的数据。

您需要的是，测试工具，阅读它们的代码，创建自己的工具等等，但要确保您了解它们的工作方式。 最好的工具箱是你足够了解、喜欢并能够熟练掌握的工具 。理论上这并没有普适的列表，对于政府间谍来说也一样。

案例管理和方法论

情报收集计划 ICP 是大多数现代武装部队和情报部门使用的系统过程，通过分配所有可用资源的任务来满足情报要求，以在规定的时限内收集和提供所有相关信息。制定收集计划是情报周期的一部分。

尽管 ICP 没有规定的格式，但它必须使用所有可用的收集功能来满足决策者的优先级要求。它必须精确而简明，但也要足够灵活，以应对变化的发生。

【注】 切勿因觉得自己国家的间谍机构无法获得哪里的信息，就认为此处 “安全”，因为没人能说清楚全世界究竟有多少情报共享 —— 直到它们被揭露 。比如这里《 没有美国的五眼联盟，被保密了近50年，今天依然活跃 》。

上图中这份报告在这里下载 ： https://www.patreon.com/posts/mi-mi-jian-shi-38193590

案例管理

组织是效率的关键，对于减少错误和混乱、节省时间和金钱、以及提高结果的整体质量至关重要。

如果您买不起花哨的案例管理软件，如 i-sight / Maltego …… 也不用担心， Zotero 已经基本覆盖了主要功能。

Zotero 可帮助您以任何方式组织您的研究资料。您可以将项目分类到集合中，并用关键字标记它们；或创建保存的搜索，这些搜索会在您调查工作中自动填充相关材料。

OSINT Browser 用于案例管理：

(1) Oryon (Free) Oryon C Portable是一种网络浏览器，旨在帮助研究人员进行开源情报调查。 Oryon 随附了数十种预装工具和按类别分类的一组精选链接 —— 包括那些可以在OI共享资源中找到的链接。

(2) OSIRT (Free) URL : http://www.osirtbrowser.com/ 请注意，此浏览器是专为警察定制的。

(3) EPIC (Free) Epic 通过阻止跟踪脚本来保护您，而浏览器扩展无法做到这一点。不幸的是，任何浏览器插件都可以访问您的整个浏览和搜索历史，尽管许多浏览器插件可以保护您免受某些跟踪器的侵害，但它们本身通常也会收集您的数据并有可能将其出售给其他人。请记住这点。

尽管有很多开源情报技术和机制，但并不是所有的技术和机制都能为您的调查目标服务。所以， 首先您将不得不问自己至少以下这些问题 ：

  • 我在找什么？
  • 我的主要研究目的是什么？
  • 我的追踪调查目标是谁或什么？
  • 我该如何进行研究？

请找到有关这些问题的尽可能准确的答案。这是进行任何开源情报调查的 前提 。你必须确定哪些来源是好的，哪些来源与你的研究无关。

下面是 最流行的基本开源情报技术流程 ：

上图中这本书在这里下载 ： https://www.patreon.com/posts/xiao-e-mo-wan-38190098

以及，《 如何窥探摄像头 》、和《 黑客网络情报 》。

上图中这本书在这里下载 ： https://www.patreon.com/posts/hei-ke-wang-luo-38140427

您会发现的一些最流行的技术。然而，在做完开源情报研究之后，您会有很多数据需要分析。这时，您就必须完善刚才的调查结果，并 详细搜索所需要的所有真正必要的东西，放弃其余的东西。

您到处都能找到的经典开源情报方法论是僵硬的：

  1. 定义要求：您在寻找什么？
  2. 检索数据
  3. 分析收集的信息
  4. 数据透视和报告：要么通过透视刚刚收集到的数据来定义新需求，要么结束调查并编写报告

这个方法论很直观，但可能帮不上什么忙，但您还是要照顾它，花时间做一个循环迭代。很多时候，在调查过程中，您会迷失在收集到的大量数据中，很难有一个对调查方向的看法。在这种情况下就休息一下，回到上述第三步和第四步是很有帮助的：分析和总结你所发现的所有东西，列出可以帮助你校准目标的东西，并定义新的（或更精确的）仍然需要回答的问题。

【注】 保留证据很重要 ：信息在网上消失的速度非常快。想象一下，您手滑在推特上点了一个赞，于是被调查对象开始怀疑了，突然间，您想要追踪的所有目标人的社交媒体账号和网站在一天之内全部消失 ……

所以要保留证据：截图、档案、网络档案、或者其他任何对你有用的东西。

具体方法见这里：《 手慢无：如何抢在信息被遮挡、污染或完全消失之前捕获它们？ 》； 如果真的手慢了怎么办？还可以从这里的方法补救 ，见《 巧用互联网，以找到您最想要的信息：搜索思维作为基本功 》。

在取证中，时间线和对同一时间内发生的事件进行定位是一个关键。它在开源情报中绝对没有那么重要，但仍然是一个非常有趣的工具可以帮助组织您收集到的数据。

比如，该网站是什么时候创建的？目标的 Facebook 账户是什么时候创建的？最后一篇博客文章是什么时候完成的？ …… 把这些都放在一个表格里，往往能让您很好地看到您要找的东西。

上图中这本书在这里下载 ： https://www.patreon.com/posts/kai-yuan-qing-fa-38139434

描述工作流程的 流程图 很重要，以根据数据类型（如电子邮件）搜索更多信息。具体方法见下面：

随时记得安全！ 是您在调查目标，而不能让目标意识到这点，反过来调查您。所以， 在隐身层面谁能做到更好，谁就能取得胜利。隐身技巧和工具详见 列表-1 “技术防身” 。

最后强调：

  1. 本文取自专业政府间谍对开源情报的使用 —— 包括监视社交媒体情报以扼杀所有反抗 ；
  2. 因此， 您完全可以用这套方法来调查您自己和您的组织，抢在坏人前面堵住您发现的任何泄漏 ；
  3. 本文中关联的所有书籍均免费下载，如果您希望深度研究该领域，这些书籍都很有用。请记得，下载后个人阅读没有任何问题，但您不能出售它们以盈利。

⚪️

Published
文章版权归原作者所有。
二维码分享本站