休谟（David Hume）在 1739 年出版的《人性论》（A Treatise of Human Nature）中系统地提出了这个著名的归纳问题（the problem of induction）。它后来成为认识论和科学哲学中最根本的问题之一，有时甚至被形象地称作“一切问题之母”（the mother of all problems）。
广义地说，归纳推理可以理解为一种扩展性推理：它从已经观察、经验或给定的事实出发，推向尚未观察、尚未经验或尚未给定的事实、规律或理论。它并不只包括传统意义上的“从个别到一般”，还包括“从过去推向未来”、“从局部推向整体”、“从样本推向总体”，以及某些“从可观察现象推向不可观察机制或理论实体”的推理。
这些推理有一个共同特点：结论的内容超出了前提在逻辑上严格蕴含的范围。 因而，即使前提都是真的，结论在逻辑上仍然可能为假，具有逻辑偶然性（logically contingent）。有人也形象地把这种处境比喻为：人类是在“看着后视镜向前开车”——我们根据过去的经验来判断未来，却无法 “仅凭逻辑” 证明未来一定会继续像过去那样。
而 “未来一定会继续像过去那样” 这一原则被休谟称为 “自然齐一性假定（Presumption of the Uniformity of Nature）”，现代哲学简单称之为 “齐一原则” （Uniformity Principle， 简称UP）。它大致表达的是：未观察到的实例会在相关方面类似于已观察到的实例，未来会在相关方面类似于过去，自然进程会保持某种一致性。休谟的两难困境（Hume's Dilemma）就是：如果没有UP，归纳推理就没有根据；但UP本身又无法得到非循环的理性证明。
休谟的挑战非常深刻，因为这个挑战质疑了我们形成知识时一种最基本的推理方式。归纳不仅贯穿日常生活，也是科学推理的重要组成部分。后来许多哲学家提出过不同的回应，但很少有人认为休谟的问题能被一种毫无争议的方式而彻底解决。因此，至今仍存在各种形式的归纳怀疑论（inductive skepticism）。
不过，“无法给出演绎意义上的最终证明”并不意味着我们只能在完全相信与彻底怀疑之间二选一。认识论中经常使用 prima facie reason 这样的概念。Prima facie 并不是“possible”（可能的）的同义词，也不是位于“可能”与“确定”之间的某种概率等级。它更准确地表示为：一种初步成立但可以被反驳或击败的理由。在没有相反证据或更强反对理由出现之前，它足以支持某种信念。一旦出现新的反证，这种支持又可能被取消。
由于归纳结论不能仅靠前提的逻辑蕴涵得到保证，人们就需要寻找其他能够为信念或理论选择提供支持的理由。在科学哲学中，这些标准有时被称为理论美德（theoretical virtues）。这里的“美德”并不是道德意义上的美德，而是指一个理论在评价和选择过程中所表现出的某些值得重视的性质。
这些理论美德大致可以分为不同类型。
有些具有明显的实用美德（pragmatic virtues）：一个理论能够帮助我们预测、控制、解决问题，或者提高研究效率。
有些具有一定的美学或形式美德（aesthetic or formal virtues），例如简洁性、对称性和优雅性。例如物理问题的数学描述。
还有一些通常被认为具有较强的认识论美德（epistemic virtues），例如一致性、统一性、解释力、经验充分性、启发性以及与已有知识的协调程度等。
这些理论美德究竟只是人类的心理偏好，还是具有更深的认识论正当性，本身就是一个哲学争议。自然主义传统中的一些哲学家倾向于把科学推理原则与人的实际认知机制联系起来。奎因（W. V. Quine）在 1969 年著名地提出，认识论应当“自然地归入心理学的一章，并因此归入自然科学的一章”（Epistemology itself “falls into place as a chapter of psychology and hence of natural science”）。在这种思路下，人类如何从感觉刺激出发调整自己的整体信念体系，便成为一种可以由经验科学研究的问题。
奎因还写道：
“每个人都继承了一份科学遗产，同时又持续不断地受到感觉刺激的冲击；他依据这些持续的感觉提示，对自己继承的科学遗产加以调整，使之与感觉经验相适应，而这些指导性考虑只要是理性的，在性质上就是实用性的。”（Each man is given a scientific heritage plus a continuing barrage of sensory stimulation; and the considerations which guide him in warping his scientific heritage to fit his continuing sensory promptings are, where rational, pragmatic. ——Quine, W. V. (1951). Two dogmas of empiricism）
这种观点代表了一种明显的自然主义（Quinean naturalism）倾向：我们未必需要先找到一个完全独立于人类认知结构、并能够从外部证明科学方法与世界“本质相符合”的终极基础，然后才有资格进行科学推理。相反，我们可以研究实际的人类认知、科学实践及其成功方式，并在这一框架中理解什么样的推理规范值得保留。
如果一定要把休谟问题继续追问到一种绝对的、不可怀疑的终极基础，那么最终很容易重新回到笛卡尔式的怀疑主义问题：我们凭什么确定自己的经验、认知结构乃至整个科学图景没有受到系统性的欺骗——也就“笛卡尔恶魔”问题？
因此，许多现代哲学家采用接近自然主义的观点，即使这类怀疑在逻辑上难以被完全消除，它也未必因此构成实际认识活动中必须首先解决的前提条件。至于一个人是否愿意把笛卡尔式的极端怀疑主义进一步当作一种人生哲学，那当然属于个人选择。对于持这种立场的人，我个人是抱着一种理解与同情的态度来看待。