 |
|
| 일반 유니코드(Unicode)와 'UTF-8 유니코드'의 차이점, 차이 |
|
http://ipmn.tolinux.net/cyboard/cyboard_sub.html?id=nig0412&code=board&o_admin=&o_search=&o_searchstr=&o_mode=view&page=5&o_seq=744&o_list_no=576
일반 유니코드(Unicode)와 'UTF-8 유니코드'의 차이점, 차이 (1) 보통의 한국어 텍스트 문서: 이것은 아스키 문서이며 유니코드가 아닙니다. 영문/숫자/기호는 1바이트. 한글과 한자는 2바이트로 표현됩니다. euc-kr 또는 ksc_c_5601-1987 로 불리는 인코딩이며 웹페이지 작성에 사용할 수 있습니다. 특수한 외국어 문자나 일본식/중국식 한자는 표현할 수 없습니다. 다음의 2개가 유니코드입니다: (2) 일반 유니코드(Unicode): 모든 글자를 2바이트로 표현합니다. 전세계 모든 글자들을 한꺼번에 표현할 수 있습니다. 인터넷에 HTML 파일로 올릴 수 없습니다. 즉 웹페이지 작성에 쓸 수 없습니다. (3) UTF-8 유니코드: 영문/숫자/기호는 1바이트로, 한글과 한자 등은 3바이트로 표현합니다. 전세계 모든 글자들을 한꺼번에 표현할 수 있습니다. 웹페이지 작성에 쓸 수 있습니다. MS윈도우2000/XP 이상에서는, 외부적으로는 '일반 아스키 인코딩(1번)'을 사용하고, 내부적으로는 '일반 유니코드(2번)'를 사용합니다. 유닉스/리눅스/오픈소스 진영에서는 (1)번 또는 'UTF-8 유니코드(3번)'를 기본으로 사용합니다. 그렇지만 윈도 메모장에서도 UTF-8 유니코드 문서를 읽고 저장할 수는 있습니다. -------------------------------------------------------------------------------- 한글 텍스트 문서를, 유니코드(Unicode / UTF-8) 로 변환하기 이엠에디터(EmEditor)를 사용해 변환 풀다운 메뉴의 File/ Save As(다른 이름으로 저장)/ 에서 나온 대화상자에서 Encoding(인코딩)을 Unicode 나 UTF-8 로 지정한 후 "저장" 버튼을 누릅니다. (윈도우에 기본으로 설치되어 있는) 메모장을 사용해 변환 풀다운 메뉴의 파일/ 다른 이름으로 저장/ 에서 나온 대화상자에서 "인코딩"을 "유니코드"나 "UTF-8"로 지정합니다. 특별한 이유가 없는 이상, "유니코드 (big endian)"은 선택하지 마세요. 울트라에디트(UltraEdit)를 사용해 변환: 풀다운 메뉴의 File/ Conversions(변환)/ 에서 ASCII To Unicode : 현재 한글 문서를 유니코드로 변환 ASCII To UTF-8 (Unicode Editing) : 현재 한글 문서를 유니코드(UTF-8)로 변환 일반 아스키 텍스트 파일을 유니코드로 변환할 때에는 또는 그 반대로 변환할 때에는, 이엠에디터(EmEditor)로 변환하는 것이 가장 안정적입니다. 울트라에디터의 경우에는 버그가 있어서 글자들이 깨지는 경우가 많습니다. -------------------------------------------------------------------------------- 유니코드 (Unicode) 의 BOM (Byte Order Mark) 이란? BOM (봄; Byte Order Mark)은 '바이트 순서 표시'입니다. 유니코드가, little-endian 인지 big-endian 인지 아니면 UTF-8 인지 쉽게 알 수 있도록, 유니코드 파일이 시작되는 첫부분에 보이지 않게, 2~3바이트의 문자열을 추가하는데 이것을 BOM이라고 합니다. 텍스트 에디터 화면에서는 보이지 않고, 헥사 에디터(Hex Editor)*로 열었을 때만 보입니다. little-endian 의 BOM: FF FE big-endian 의 BOM: FE FF UTF-8 의 BOM: EF BB BF UTF-8에는 BOM이 없는 것이 보통인데, 오래된 프로그램은 BOM이 있는 UTF-8 파일에 오작동할 수 있습니다. 그렇지만 한국어 편집에서는 BOM이 있는 UTF-8이 더 좋습니다. 만약 'BOM이 없는 UTF-8 파일'에 영문과 숫자만 있고 한글이 없다면, 편집기가 그 파일을 유니코드가 아닌 일반 아스키 파일로 오인하기 때문입니다. 그런데 인터넷에 올릴 HTML/CSS/XML 파일을 UTF-8로 작성할 때에는 BOM이 있으면 문제가 생길 수 있습니다. * 울트라에디트의 헥사 모드(Ctrl+H)로 UTF-8 파일을 보면, 16비트 유니코드처럼 보이고 BOM이 있든 없든 항상 FF FE 라는 엉뚱한 BOM이 나타납니다. 이것은 울트라에디터가 유니코드를 편집할 때, 내부적으로 '16비트 little-endian 유니코드 (UTF-16LE)'로 변환하여 편집하기 때문입니다. 진짜 헥사 에디터로 보아야만 UTF-8의 BOM인 EF BB BF 가 제대로 보이게 됩니다. 물론 BOM이 없는 UTF-8이라면 BOM이 없는 것으로 나옵니다. -------------------------------------------------------------------------------- 한국어(euc-kr) 페이지에서 중국식 한자 구현 일본 한자들은 한국 한자와 큰 차이가 없어서, 한국 한자로 별다른 무리 없이 변경해 쓸 수 있지만, 중국 한자들은 간체자도 있고 희귀 한자도 많아서, 표현이 힘들다. 한국어(euc-kr) 텍스트 인코딩에서는 한국식 한자들만 표현할 수 있다. 물론 유니코드로는 전세계 모든 문자를 하나의 인코딩으로 표현할 수 있어 편리하지만, 한글 웹페이지를 유니코드(UTF-8)로 굳이 작성할 필요는 없다. 유니코드(UTF-8)는 다소 사치스러운 인코딩이다. euc-kr에는 한글 1개를 2바이트로 표현하지만, UTF-8에서는 3바이트로 표현하기에 파일의 용량이 커져서 서버에 부담을 줄 수도 있다. (다만 영문, 숫자, 기호, 공백 등은 여전히 1바이트) 그런데, 다행히 HTML 문법에서는 텍스트의 일부만을 유니코드로 표현하는 방법을 제공한다. 즉, 웹페이지의 인코딩은 euc-kr로 놔두고, euc-kr로 표현할 수 없는 일부 문자들만 유니코드로 기술하는 것이다. (※ 참고로, 지금 이 블로그는 인코딩이 UTF-8이기에, 이런 방법을 쓰지 않아도 중국식 한자를 쓸 수 있다.) 가령 중국 도시 이름인 선전(深圳)를, 선전(深<土+川>) 으로 흔히 표기하는데, 페이지의 인코딩을 바꾸지 않고도 정확히 표현할 수 있는 방법이 있다. 深圳의 두 번째 글자 "논두렁 수"자는 euc-kr에는 없다. 한국식 한자가 아니거나 또는 희귀 한자여서 그럴 것이다. (두 번째 글자 "논두렁 수"자, 즉, "土(흙 토)변에 川(내 천)의 한자"가 현재 보이지 않는 분은, 컴퓨터에 중국어 폰트가 없기 때문이다. 윈도XP에는 기본적으로 설치되어 있다.) "논두렁 수"자인, "圳"자의 유니코드 코드값은 "U+5733". 16진수인 "5733"을, 윈도 계산기의 공학용 버전을 사용해, 십진수로 바꾸어 보면 "22323". 결국 다음과 같이 기술하면 "논두렁 수"자가 한글 웹페이지에 표현된다. 深圳 그러나 다른 많은 임의의 한자들의 코드를 이렇게 직접 적어 주는 것은 힘들다. 이때 EmEditor를 사용하면 간단해진다. 아래는 EmEditor를 사용하여 간단히 변환하는 방법이다: (0) 중국식 한자가 섞인 한국어 문서를 유니코드 인코딩으로 작성한다. (MS워드로 작성하거나, 텍스트 에디터에서라면 우선 빈 문서를 만든 후 유니코드로 변환해 준다. 울트라에디터에서는 다국어 동시 표현이 힘들고 아무래도 EmEditor가 좋다. 아래아한글도 '한글97'보다 높은 버전에서는 유니코드를 사용할 것이다.) (1) "EncodeUnicode" 플러그인을 다운로드 받아 EmEditor에 설치한다. (당연한 얘기지만, EmEditor가 없다면 먼저 EmEditor를 설치해야 한다.) (2) "EncodeUnicode" 플러그인의 속성을 설정한다. 메뉴에서 마우스로 "Tools/Plug-ins/Customize Plug-ins/EncodeUnicode/Properties" 를 따라가면 설정 창이 나온다. 다음과 같이 설정한다. ▶ "Encode Unicode Properties"에서 "HTML/XML Character Reference"를 선택 ▶ "Which characters do you want to encode?(어떤 글자들을 변환하고 싶어요?)" 에서 "Characters which cannot be converted to the current code page(현재 인코딩으로 표현할 수 없는 글자들만 변환)"를 선택 (3) EmEditor에서 빈 문서를 하나 만든 후, 한국어 인코딩 "ksc_c_5601-1987" 로 우선 저장한다. ("ksc_c_5601-1987" 은 "euc-kr" 과 사실상 같은 인코딩인데, 한국어 인코딩은 "euc-kr" 로 부르는 것이 좋다.) (4) 중국식 한자가 섞인 한국어 문서 원본 전체를 복사한 후, EmEditor의 빈 문서에 붙여 넣는다. (5) Ctrl+A 로, EmEditor의 문서를 모두 선택한다. EncodeUnicode 플러그인을 클릭한다. 이러면, 한글과 한국식 한자들은 그대로 있고, 중국식 한자들만 모두 "圳" 등의 형식으로 바뀐다. 그런 후 이 결과물을 사용해 HTML 문서를 작성한다. (끝) ---------------------------------- 만약 이 과정을 거꾸로 해야 한다면? 가령, HTML의 "圳" 를 "圳"자로 바꾸어 주려면 "Decode Unicode" 플러그인을 사용하면 된다. (단, 이때 HTML의 인코딩은 반드시 UTF-8이어야만 한다.) 지금까지 설명한 이러한 방법은, 중국어뿐만이 아니라 일본식 한자나 아랍어라든지, 한글 인코딩으로 표현 불가능한 모든 문자들에도 똑같이 적용된다. 다만 그 페이지를 볼 사람의 컴퓨터에 해당 언어의 폰트와 인코딩이 설치되어 있어야 한다. 윈도XP이상의 OS에서는 일본어 중국어 등이 이미 설치되어 있지만 오래된 운영체제에서는 사용자가 직접 설치해야 한다. MS오피스(오피스 2003의 경우)를 설치할 때, "응용 프로그램의 고급 사용자 지정을 선택하십시오"를 체크한 후, "Office 공유 기능/다국어 기능 지원/범용 글꼴" 옵션을 선택하면, 필요한 모든 인코딩과, "Arial Unicode MS (ARIALUNI.TTF)"라는 22MB짜리 폰트를 하나 설치해 준다. 이것으로 전세계의 거의 모든 문자를 표현할 수 있다. 다만 폰트의 품질이 좋지 않아서 가독성이 많이 떨어지는 것이 흠이다. 한국어 페이지에 다량의 중국어/일본어/유럽어 등등이 섞여 있고, 그런 페이지가 아주 많다면, 웹페이지 인코딩 자체를 유니코드(UTF-8)로 바꾸어 주는 것이 보다 합리적이다. ※ 2006-02-11 추가: "EmEditor Free" 버전은 플러그인 사용이 안되기에, 위의 팁이 적용되지 않음. "EmEditor Professional" 버전을 추천. |
