休谟（David Hume）在 1739 年出版的《人性论》（A Treatise of Human Nature）系统讨论了后来被称为归纳问题（the problem of induction）的著名难题。它后来成为认识论和科学哲学中最根本的问题之一，有时甚至被形象地称作 “一切问题之母” （the mother of all problems）。
广义地说，归纳推理可以理解为一种扩展性推理：它从已经观察、经验或给定的事实出发，推向尚未观察、尚未经验或尚未给定的事实、规律或理论。它并不只包括传统意义上的“从个别到一般”，还包括 “从过去推向未来”、“从局部推向整体”、“从样本推向总体”，以及某些 “从可观察现象推向不可观察机制或理论实体” 的推理。
这些推理有一个共同特点：结论的内容超出了前提在逻辑上严格蕴含的范围。 因而，即使前提都是真的，也不存在逻辑保证使结论必然为真，具有逻辑偶然性（logically contingent）。有人也形象地把这种处境比喻为：人类仿佛是在 “看着后视镜向前开车” —— 我们根据过去的经验来判断未来，却无法“仅凭逻辑”证明未来一定会继续像过去那样。
休谟认为，这类推理似乎预设了这样一个原则：未观察到的实例将在相关方面类似于已经观察到的实例，自然的进程将继续保持某种一致性。现代讨论通常把这一假定称为齐一原则（Uniformity Principle，简称 UP），也称自然齐一性原则（Principle of Uniformity of Nature）。休谟著名的两难困境（Hume’s Dilemma）大致可以表述为：归纳推理似乎需要预设 UP；但 UP 本身既不能通过演绎得到证明，也不能依靠归纳来证明，因为那样就必须预先假定过去的自然齐一性可以推广到未来，从而陷入循环。也即使说，我们无法通过一种非循环的推理为 UP 提供最终证明。
休谟的挑战非常深刻，因为这个挑战质疑了我们形成知识时一种最基本的推理方式。归纳不仅贯穿日常生活，也是科学推理的重要组成部分。后来许多哲学家提出过不同的回应，但很少有人认为休谟的问题能被一种毫无争议的方式而彻底解决。因此，至今仍存在各种形式的归纳怀疑论（inductive skepticism）。
不过，“无法给出演绎意义上的最终证明”并不意味着我们只能在完全相信与彻底怀疑之间二选一。认识论中经常使用 prima facie reason 这样的概念。Prima facie 并不是 possible（可能的）的同义词，也不是位于“可能”与“确定”之间的某种概率等级。它更准确地表示为：一种初步成立但可以被反驳或击败的理由。在没有相反证据或更强反对理由出现之前，它足以支持某种信念。一旦出现新的反证，这种支持又可能被削弱或取消。
这种 “当前可以接受、但始终保留被推翻可能” 的思想，与波普尔（Karl Popper）的证伪主义（falsificationism）有某种相通之处。在波普尔看来，经验科学理论无法通过归纳获得最终证明，也不能因大量支持性实例就被彻底确证。科学理论首先是大胆提出的猜想（conjectures），而科学活动的核心，不是搜集能够证明它正确的实例，而是寻找可能使它失败的严厉检验。一个理论如果暂时经受住了这些检验，并不意味着它已经被证明为真。它只是暂时没有被证伪，并且获得了较高程度的检验支持（corroboration）。但这种支持始终是可撤销的，新的观察、实验或更好的理论随时可能迫使我们放弃或修正它。
这里，波普尔并不是要把科学知识变成纯粹的相对主义或不可知论，而是试图把科学进步理解为一个持续的批判过程：
提出猜想 → 设计严厉检验 → 寻找潜在反例 → 淘汰、修正或暂时保留理论。
科学的伟大之处恰恰在于，它欢迎并主动寻找那些可能击败或推翻现有理论的反例。知识的进步并不依赖于最终证明某个理论为真，而是在不断寻找潜在反例、淘汰较差理论，并以更经得起批判的新理论取而代之的过程中实现的。
除了休谟两难困境这一经典难题之外，近现代科学哲学还经常讨论扩展性推理所带来的另一个重要问题——欠决定（underdetermination）：同一组经验性证据，可能同时与多个彼此不同、甚至彼此不相容的理论相容。
由于归纳性结论不能仅凭前提的逻辑蕴涵而得到保证，当证据不足以唯一决定理论时，人们还需要诉诸其他标准，为信念形成和理论选择提供进一步的理由。在科学哲学中，这些标准有时被概括为理论美德（theoretical virtues）。这里的“美德”并不是道德意义上的美德，而是指一个理论在评价和选择过程中所表现出的、被认为具有价值的某些性质。。
这些理论美德大致可以分为几类：
有些具有明显的实用美德（pragmatic virtues），例如一个理论能够帮助我们进行预测、控制现象、解决问题，或者提高研究效率。
有些具有一定的美学或形式美德（aesthetic or formal virtues），例如简洁性、对称性、优雅性以及数学表达上的经济性和协调性。在物理学中，人们尤其容易注意到理论数学形式的简洁与对称。
还有一些通常被认为具有较强的认识论美德（epistemic virtues），例如一致性、统一性、解释力、经验充分性、启发性，以及与既有知识体系的协调程度等。
某一种理论美德究竟属于哪一类，以及这些美德是否真的能够提高“理论为真”的可能性，本身就是科学哲学中的争议问题。理论选择是否能够完全由这些理性的、认识论上的标准决定，本身也仍然存在争议。
在一些更激进的科学哲学观点中，证据与逻辑留下的空缺，还可能由某些非逻辑的、非证据性的，甚至不完全属于理性评价范畴的因素参与填补。例如，拉卡托斯（Imre Lakatos）和费耶阿本德（Paul Feyerabend）都曾强调，在存在欠决定的情况下，一个理论或研究纲领最终能否取得经验上的成功，在相当程度上还可能取决于其拥护者的才干（talent）、创造力（creativity）、决心（resolve），以及他们能够获得的资源（resources）。而在库恩（Thomas Kuhn）之后的一些科学社会学和科学知识社会学传统中，人们又进一步认为：科学家的社会利益、政治利益、制度环境以及科学共同体的组织方式，也可能参与实际的理论选择过程。
这些理论美德究竟只是人类认知结构或心理倾向的反映，还是具有更深层的正当性，本身又是一个哲学争议。自然主义传统中的一些哲学家倾向于把科学推理原则与人的实际认知机制联系起来。奎因（W. V. Quine）在 1969 年的《认识论的自然化》（Epistemology Naturalized）中著名地提出：认识论应当 “自然地归入心理学的一章，并因此归入自然科学的一章” （Epistemology itself “falls into place as a chapter of psychology and hence of natural science”）。在这种思路下，人类如何从感觉刺激出发形成和调整自己的整体信念体系，也就成为一个可以由经验科学研究的问题。
奎因早在 1951 年的《经验主义的两个教条》（Two Dogmas of Empiricism）中就已经写道：
“每个人都继承了一份科学遗产，同时又持续不断地受到感觉刺激的冲击；他依据这些持续的感觉提示，对自己继承的科学遗产加以调整，使之与感觉经验相适应，而这些指导性考虑只要是理性的，在性质上就是实用性的。” （Each man is given a scientific heritage plus a continuing barrage of sensory stimulation; and the considerations which guide him in warping his scientific heritage to fit his continuing sensory promptings are, where rational, pragmatic. ——W. V. Quine）
这种观点体现了奎因式自然主义（Quinean naturalism）思想：我们未必需要先找到一个完全独立于人类认知结构、并能够站在科学之外证明科学方法与世界 “本质相符合” 的终极基础，然后才有资格进行科学推理。相反，我们可以从实际的人类认知、科学实践及其运行方式出发，研究人类事实上如何从有限证据形成关于世界的理论，并进一步讨论哪些推理方式和规范值得保留。
如果一定要把归纳问题继续追问到一种绝对的、不可怀疑的终极基础，那么最终确实很容易进入笛卡尔式激进怀疑主义（Cartesian radical skepticism）：我们凭什么确定自己的经验、认知结构乃至整个科学图景没有受到系统性的欺骗——也就是所谓的 “笛卡尔恶魔” 问题？
因此，许多现代哲学家倾向自然主义的观点，即使这类怀疑在逻辑上难以被完全消除，它也未必因此构成实际认识活动中必须首先解决的前提条件。至于一个人是否愿意把笛卡尔式的极端怀疑主义进一步当作一种人生哲学，那当然属于个人选择。对于持这种立场的人，我个人是抱着一种理解与同情的态度来看待。