コングレスの起源は，弘化3年（1846年）に現在のドイツのフランクフルトで開催された刑事司法等に関する会議まで遡るとされている。そして，明治5年（1872年），英国のロンドンで開催された国際会議において，国際監獄委員会（IPC：International Prison Commission）が設立され，その後，同委員会の主催により継続的に国際会議が開催されるようになった。

国際監獄委員会は，第一次世界大戦後，国際連盟の関連機関となり，その後，大正14年（1925年）から昭和10年（1935年）までに3回の国際会議を開催したが，第二次世界大戦の勃発により，国際会議の開催は中断を余儀なくされた。なお，この間に，同委員会は，国際刑法監獄委員会（IPPC：International Penal and Penitentiary Commission）と名称を改めている。

第二次世界大戦の終結を経て，昭和25年（1950年），オランダのハーグで国際刑法監獄委員会によって国際会議が開催されたが，同年の国連総会において，同委員会の機能の大半を国連が引き継ぎ，国連の下に新たにコングレスを開催することが決議された。