検察官は，公訴を提起するに足りる犯罪の嫌疑を認めた場合でも，犯人の性格，年齢及び境遇，犯罪の軽重及び情状並びに犯罪後の情況により訴追を必要としないときは，公訴を提起しないことができる。この起訴猶予制度は，治罪法の施行されていた明治18年に，在監者の増加に伴う監獄関係経費の増大を憂慮して発せられた当時の司法卿の微罪不検挙に関する訓令に由来するものである。当初は，微罪処分としての性格が強かったが，その後次第に適用範囲が拡大され，短期自由刑の弊害の回避，犯罪者の改善更生の促進などの刑事政策的配慮が加えられ，大正11年制定の旧刑事訴訟法で法的制度として確立され，現行刑事訴訟法に受け継がれている。この起訴猶予制度は，その沿革と発展において我が国独自のものと言える。
　一方，欧米諸国においても，法制上又は刑事訴追の実務上，起訴猶予を認めるものが少なくない。
　まず，アメリカ(アメリカ合衆国)では，検察官の訴追裁量の範囲が比較的広く，実務上，起訴猶予の処分が行われている。しかも，これを行うについては，基準となるべき法規も，我が国の検察審査会制度のような法的控制もなく，無制約であることがその特徴となっている。
　イギリス(イングランド及びウェールズ)では，検察官制度はなく，いわゆる私人訴追主義が採られているが，実際上，私人による訴追はまれで，大部分の訴追は捜査をした警察官によって行われている。判例は，警察官の訴追裁量を認めており，実務上は，警告(caution)という形で起訴猶予処分が行われている。イギリスの訴訟制度は極めて当事者主義的で，訴追側の警察官は，有罪判決を得るための一応の証拠で処分の決定を行えば足り，情状関係を含めた十分な捜査資料に基づく訴追裁量の行使を義務づけられていない。また，比較的軽微な犯罪を犯した者に対するプロベーション等の多様な非拘禁処遇制度が発達していることもあって，全体として，起訴される者が多く，起訴猶予率は低くなっている。
　西ドイツ(ドイツ連邦共和国)では，起訴法定主義を採用しているが，例外として，窃盗，横領，詐欺等の軽罪その他一部の罪については，犯罪者の責任の程度や公益との関連を考慮したうえ，その責任が軽微で公益上訴追の必要がないと認められるときは，裁判官の同意，被疑者の被害弁償その他一定の条件の下に，起訴猶予処分を行うことができることとされている。このように，西ドイツの起訴法定主義にも例外があるが，なお，その起訴猶予率は我が国のそれに比べて低いと言われている。
　このほか，フランス及びフランス法制を継受したオランダでは，起訴便宣主義が採られており，オランダでの起訴猶予の運用は活発であると言われている。また，スウェーデン，デンマークでは，例外としての起訴猶予を認めつつも，原則的には起訴法定主義を採用している。
　次に，刑の執行猶予制度について，その沿革を見ると，イギリスでは1840年代から慣行として宣告猶予が行われていたが，1879年の簡易裁判所法でこれが法制化されている。アメリカでは，このイギリスの慣行を導入し，保護観察制度と結びつけて発展させてきたが，現在では，州によって宣告猶予制度と執行猶予制度を併用するものも，原則的に執行猶予制度を採用するものも見られる。
　一方，ヨーロッパ大陸では，1888年にベルギーで「仮出獄及び条件付有罪判決に関する法律」が制定され，6月以下の自由刑について執行猶予が認められ，また，当時の国際監獄会議でも刑の執行猶予がしばしば問題として取り上げられている。1891年には，フランスで「刑の減軽及び加重に関する法律」が制定され，自由刑のほかに罰金刑にも執行猶予が認められるに至った。このフランス・ベルギーの制度は，執行猶予期間が経過した場合に自動的に刑の言渡しの効力を失わせるもので，いわゆる条件付有罪判決主義である。刑の執行猶予制度は，その後ヨーロッパ大陸諸国に広がり，1902年にはノルウェーで採用され，また，ドイツでも，幾度となく草案で取り上げられた後，戦後の西ドイツでついに1953年に保護観察付の刑の執行猶予が採用されるに至っている。このノルウェーの制度は，執行猶予期間経過後に裁判所が刑の免除の言渡しを行うもので，条件付赦免主義と呼ばれている。西ドイツの制度も，その性質上，これと同様のものと言ってよい。
　我が国では，明治38年(1905年)の「刑の執行猶予に関する法律」により，条件付赦免主義による執行猶予制度が初めて採り入れられ，1年以下の重・軽禁錮刑者についてその適用が認められた。次いで，明治40年(1907年)の現行刑法で，2年以下の懲役又は禁錮の言渡しを受けた者について，条件付有罪判決主義による刑の執行猶予制度を採用するに至った。戦後，昭和22年(1947年)の改正で，3年以下の懲役・禁錮，5,000円以下の罰金に適用範囲を拡大し，28年(1953年)の改正で，再度の執行猶予を1年以下の懲役・禁錮について認め，執行猶予の適用除外事由としての前科につき要件を緩和するとともに，再度の執行猶予者を必要的に保護観察に付することとし，29年(1954年)の改正で，初度目の執行猶予者にも裁量的に保護観察を付し得ることとし，現在に至っている。このように，我が国の執行猶予制度は，次第にその適用範囲を拡大しつつ，更にプロベーションとしての性格を強めてきたことを特徴としていると言えよう。