[한국문화신문 = 이규봉 교수]  무한의 체계를 처음으로 다룬 사람은 19세기의 칸토어이다. 칸토어는 실제적 무한을 이미 완성된 수학적 대상으로 수용했고, 이전까지의 지배적인 생각과는 반대로 오직 하나의 무한 만이 있는 것이 아니라 여러 종류의 무한이 있음을 보였다. 

셀 수 있는 무한  

무한집합은 자신이 아닌 부분집합과 일대일 대응을 이룬다고 정의했다. 무한인 자연수와 일대일 대응을 맺을 수 있는 모든 집합을 셀 수 있는 집합이라 하고 그 수를 א0로 나타냈다. 자연수와 짝수의 개수는 같다고 했다. 그러면 정수와 자연수는 누가 더 많을까? 정수의 집합을 다음과 같이 나열하자. 

0, 1, -1, 2, -2, 3, -3, ... 

그렇다면 위의 수는 순서대로 1, 2, 3, 4, 5, 6, 7,...과 일대일 대응을 맺을 수 있다. 그러므로 정수의 개수와 자연수의 개수도 둘 다 무한으로서 서로 같다. 

유리수와 자연수는 누가 더 많을까? 유리수란 정수를 0이 아닌 정수로 나눈 수이다. 집합으로 표시하면 {q/p|p와 q는 정수, p는 0이 아닌 정수}와 같이 나타낼 수 있다. 1874년 칸토어는 유리수들이 매우 조밀함에도 불구하고 적당히 배열하면 수를 셀 수 있다는 사실을 발견하여 유리수의 개수도 자연수의 개수와 같음을 증명할 수 있다. 

무한한 수 א0에서는 유한한 수에서는 결코 성립할 수 없는 다음과 같은 등식이 성립한다. 

1+א0=א0, א0+א0=א0, א0xא0=א0

 이러한 사실을 처음으로 밝힌 칸토어도 믿을 수가 없어 1877년 데데킨트에게 보낸 편지에서 “나는 그것을 보고 있다. 하지만 도무지 믿을 수가 없다.”고 했다. 

셀 수 없는 무한  

모든 무한집합은 셀 수 있는 집합인가? 즉 자연수와 일대일 대응인가? 유리수는 조밀하게 매우 많지만 수직선 전체를 덮기에 충분히 많지는 않다. 즉 유리수를 수직선에 대응하면 모두 대응하고도 남는 구멍이 매우 많다. 이 무한히 많은 구멍을 무리수가 채워준다. 유리수와 무리수를 합하여 실수라고 한다. 실수는 소수로 표현이 가능한 모든 수를 모아 놓은 것으로 수직선과 일대일 대응을 이룬다. 그래서 직선 위의 점과 실수는 연속체를 이룬다고 한다. 이들은 셀 수 있는 집합보다 훨씬 많은 원소를 가진다. 칸토어는 이러한 셀 수 없는 집합의 무한을 C로 표시했다. 따라서 무한집합에는 셀 수 없는 집합도 있음을 알 수 있다. 

무한한 직선 위에 있는 점의 개수와 유한한 선분 위에 있는 점의 개수는 같은가? 같다는 것은 두 집합 사이에 일대일 대응이 있다는 것이다. 그림 1은 유한한 선분 위에 있는 점과 반원 위에 있는 점들이 일대일 대응이고, 그림 2는 반원 위에 있는 점들은 무한 직선 위에 있는 점과 일대일 대응이 됨을 보여준다. 그러므로 무한한 직선 위에 있는 점의 개수와 유한한 선분 위에 있는 점의 개수는 같다. 

▲ 선분과 반원 위의 점은 그 수가 같다.

▲ 직선과 반원 위의 점은 그 수가 같다.

선분 [0,1] 사이의 점의 수도 자연수처럼 셀 수 있다고 가정하면 모순을 끌어낼 수 있다.(자세한 것은「수학의 창을 통해 보다」참조) 따라서 0과 1 사이의 실수는 셀 수 없이 많음을 증명할 수 있다. 이처럼 선분 [0,1] 사이의 점의 수도 무한이지만 자연수보다는 더 큰 무한이다. 이와 같은 수를 셀 수 없는 무한이라고 한다. 

무한의 크기 

자연수의 개수를 א0라 하고, 실수의 개수를 C라 하였다. 그리고 א0<C임을 보였다. 즉 무한에도 유한처럼 더 큰 무한이 있다. א0보다 작은 무한은 없다. 짝수의 개수도 홀수의 개수도 정수의 개수도 그리고 유리수의 개수도 모두 א0이다. 

유한집합의 원소의 개수를 n이라고 한다면 그 집합의 부분집합은 모두 2n개로 항상 부분집합의 집합이 항상 원래 집합보다 더 많은 원소를 가진다. 즉 n<2n이다. 칸토어는 무한집합으로부터 그 집합의 모든 부분집합들을 생각함으로써, 그 집합보다 더 많은 원소를 가지는 새로운 집합을 만들었다. 셀 수 있는 무한집합의 부분집합의 집합의 수는 2א0이고 א0<2א0임을 보였다. 따라서 אi+1=2אi라고 정의하면 순서가 있는 무한 א0, א1, א2, ...을 계속 만들 수 있다. 즉  

א0<א1<א2< ... 

이 성립한다. 칸토어는 א1과 C가 같음을 증명하였다. 그러나 א0보다 크고 א1보다 작은 무한집합을 찾으려고 노력했으나 실패했다. 증명은 하지 못했으나 다음과 같은 연속체 가설을 내세웠다. 

א0보다 크고 C보다 작은 밀도를 갖는 무한집합은 존재하지 않는다. 

1910년 러셀은 “수학적 무한에 얽혀 있던 난점들을 해결했다는 것은 아마도 우리 세대가 자랑할 수 있는 가장 큰 성취일 것이다.”라고 말하였으며, 힐베르트는 “누구도 칸토어가 우리에게 만들어준 낙원으로부터 우리를 끌어낼 수 없다.”고 했다. 당시 동료들의 엄청난 비판을 받은 칸토어는 정신병원을 들락거리며 1918년 세상을 떠났다.
 

어떤 가정에서 출발하느냐에 따라 참이 될 수도 있고 거짓이 될 수도 있다 

▲ 수학의 세상은 신학이 다루는 무대를 훨씬 능가한다. (그림 이무성 한국화가)

1963년 칸토어의 추측인 연속체 가설은 참이면서 동시에 거짓임이 밝혀졌다. 어떤 가정에서 출발하느냐에 따라 참이 될 수도 있고 거짓이 될 수도 있다는 것이 증명되었다. 연속체 가설은 집합론의 공리와는 독립적이라는 사실도 밝혀졌다. 무한이란 유한 세상에서는 일어날 수 없는 일이 일어난다. 인간은 바벨탑을 쌓아 무한을 상징하는 신에게 도달하려 했으나 실패했다. 그래서 바벨탑은 신에 도달하려는 인간의 헛된 노력을 상징하기도 한다. 

유일신을 믿는 종교에서는 오직 무한의 대상으로 한 분이신 절대자만 존재한다. 그리스처럼 많은 신들이 있는 경우에는 신들의 신인 제우스가 있다. 수학은 유한은 물론이고 신의 영역에 속하는 무한을 다룬다. 그뿐 아니라 무한 위에서 또 다시 그들보다 훨씬 더 큰 무한을 만들고, 이러한 과정을 무한 번 반복할 수 있으니 신학에서 말하는 신들의 개념이 초라해 보인다. 수학의 세상은 신학이 다루는 무대를 훨씬 능가한다. 

(*) 《수학과 교육》 2014년 106호에 실린 내용을 재구성하였다.