「プログラム」カテゴリーアーカイブ

[haskell][BNFC]Unicodeスカラ値のサロゲートペア範囲考慮

2017年1月21日 it コメントする

ユニコードスカラ値にはサロゲートペアのための領域0xD800-0xDFFFがあり、この範囲は文字を割り当てることがきない。このためcharの範囲からこの部分を外す。

~$ git diff
diff --git a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
index 054d576..4afdb83 100644
--- a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
+++ b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
@@ -63,7 +63,7 @@ cMacros = [
   "$s = [a-z\\222-\\255] # [\\247]    -- small isolatin1 letter FIXME",
   "$d = [0-9]                -- digit",
   "$i = [$l $d _ ']          -- identifier character",
-  "$u = [\\0-\\255]          -- universal: any character"
+  "$u = [\\x0000-\\x10FFFF] # [\\xD800 -\\xDFFF]         -- universal: any character"
   ]
 
 rMacros :: CF -> [String]
~$

~$ git diff

diff --git a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

index 054d576..4afdb83 100644

--- a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

+++ b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

@@ -63,7 +63,7 @@ cMacros = [

"$s = [a-z\\222-\\255] # [\\247] -- small isolatin1 letter FIXME",

"$d = [0-9] -- digit",

"$i = [$l $d _ '] -- identifier character",

- "$u = [\\0-\\255] -- universal: any character"

+ "$u = [\\x0000-\\x10FFFF] # [\\xD800 -\\xDFFF] -- universal: any character"

]

rMacros :: CF -> [String]

~$ cat R_char.cf
LTest. Test::= R_char_sequence;
token R_char_sequence (char - [")"])+;
~$

~$ cat R_char.cf

LTest. Test::= R_char_sequence;

token R_char_sequence (char - [")"])+;

BNFCはUTF-8で受け取るため、0xD800を無理やりUTF-8へコンバートする。リトルエンディアンであるので最初の0x0aは改行だ。勝手についてくるがおそらくechoかな。

~$ echo -e "\x00\x00\xD8\x00\x00\x00\x00" | iconv -f ISO-10646/UCS4 -t ISO-10646/UTF8 - |  od -t x4
0000000 0a80a0ed
0000004
~$

~$ echo -e "\x00\x00\xD8\x00\x00\x00\x00" | iconv -f ISO-10646/UCS4 -t ISO-10646/UTF8 - | od -t x4

0000000 0a80a0ed

0000004

0xeda080をBNFCでパースしてみるが、haskellが受け取ってくれない。

~$ echo -e "\xed\xa0\x80" | ./TestRChar
TestRChar: <stdin>: hGetContents: invalid argument (invalid byte sequence)
~$
</stdin>

~$ echo -e "\xed\xa0\x80" | ./TestRChar

TestRChar: <stdin>: hGetContents: invalid argument (invalid byte sequence)

</stdin>

サロゲートペア外の文字コードであれば問題なく受け取るのでパースできる。

~$ echo "あ" | od -t x4
0000000 0a8281e3
0000004
~$ echo "あ" | ./TestRChar

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354\n")

[Linearized tree]

あ

~$

~$ echo "あ" | od -t x4

0000000 0a8281e3

0000004

~$ echo "あ" | ./TestRChar

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354\n")

[Linearized tree]

あ

BNFCが生成したテスト実行コードを変更してテストしてみる。

-- mainのみ抜き出し
main :: IO ()
main = do
  args < - getArgs
  case args of
    ["--help"] -> usage
    ["--test1"] -> run 2 pTest "\x3042" -- テスト１：正常にパースできるはず「あ」
    ["--test2"] -> run 2 pTest "\xD800" -- テスト２：範囲外なのでパースエラーとなるはず。
    ["--test3"] -> run 2 pTest "\x2F852" -- テスト３：サロゲートペア範囲の文字「城」
    [] -> getContents >>= run 2 pTest
    "-s":fs -> mapM_ (runFile 0 pTest) fs
    fs -> mapM_ (runFile 2 pTest) fs

-- mainのみ抜き出し

main :: IO ()

main = do

args < - getArgs

case args of

["--help"] -> usage

["--test1"] -> run 2 pTest "\x3042" -- テスト１：正常にパースできるはず「あ」

["--test2"] -> run 2 pTest "\xD800" -- テスト２：範囲外なのでパースエラーとなるはず。

["--test3"] -> run 2 pTest "\x2F852" -- テスト３：サロゲートペア範囲の文字「城」

[] -> getContents >>= run 2 pTest

"-s":fs -> mapM_ (runFile 0 pTest) fs

fs -> mapM_ (runFile 2 pTest) fs

~$ ./TestRChar --test1

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354")

[Linearized tree]

あ
~$ ./TestRChar --test2

Parse              Failed...

Tokens:
[Err (Pn 1 1 2)]
syntax error at line 1, column 2 due to lexer error
~$ ./TestRChar --test3

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\194642")

[Linearized tree]

城
~$

~$ ./TestRChar --test1

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354")

[Linearized tree]

あ

~$ ./TestRChar --test2

Parse Failed...

Tokens:

[Err (Pn 1 1 2)]

syntax error at line 1, column 2 due to lexer error

~$ ./TestRChar --test3

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\194642")

[Linearized tree]

城

テストが成功したので問題なしかな。

BNFC, haskell, プログラム

[haskell]BNFCでUnicodeを扱える様にする

2017年1月18日 it コメントする

BNFCのcharは0〜255の文字コードしか扱えない。これをUnicodeの範囲に広げる。

$ git diff
diff --git a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
index 054d576..e2b744f 100644
--- a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
+++ b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
@@ -63,7 +63,7 @@ cMacros = [
   "$s = [a-z\\222-\\255] # [\\247]    -- small isolatin1 letter FIXME",
   "$d = [0-9]                -- digit",
   "$i = [$l $d _ ']          -- identifier character",
-  "$u = [\\0-\\255]          -- universal: any character"
+  "$u = [\\x0000-\\x10FFFF]          -- universal: any character"
   ]
 
 rMacros :: CF -> [String]
$

$ git diff

diff --git a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

index 054d576..e2b744f 100644

--- a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

+++ b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

@@ -63,7 +63,7 @@ cMacros = [

"$s = [a-z\\222-\\255] # [\\247] -- small isolatin1 letter FIXME",

"$d = [0-9] -- digit",

"$i = [$l $d _ '] -- identifier character",

- "$u = [\\0-\\255] -- universal: any character"

+ "$u = [\\x0000-\\x10FFFF] -- universal: any character"

]

rMacros :: CF -> [String]

$ cat R_char.cf
LTest. Test::= R_char_sequence;
token R_char_sequence (char - [")"])+;
$

$ cat R_char.cf

LTest. Test::= R_char_sequence;

token R_char_sequence (char - [")"])+;

$ ./TestRChar 
あいうえお
Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354\12356\12358\12360\12362")

[Linearized tree]

あいうえお
$

$ ./TestRChar

あいうえお

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354\12356\12358\12360\12362")

[Linearized tree]

あいうえお

うまくできました。

haskell, プログラム

[haskell]UTF8へのencode

2017年1月17日 it コメントする

UTF-8へのエンコードは2種類ある。

module Main (main) where
import qualified Codec.Binary.UTF8.String as US

main = do
	s < -getContents
	print $ US.encode s
	print $ US.encodeString s

module Main (main) where

import qualified Codec.Binary.UTF8.String as US

main = do

s < -getContents

print $ US.encode s

print $ US.encodeString s

$ ./main 
あ[227,129,130]
"\227\129\130"

$ ./main

あ[227,129,130]

"\227\129\130"

Prelude> :m + Codec.Binary.UTF8.String
Prelude Codec.Binary.UTF8.String> :t encode
encode :: String -> [GHC.Word.Word8]
Prelude Codec.Binary.UTF8.String> :t encodeString
encodeString :: String -> String
Prelude Codec.Binary.UTF8.String>

Prelude> :m + Codec.Binary.UTF8.String

Prelude Codec.Binary.UTF8.String> :t encode

encode :: String -> [GHC.Word.Word8]

Prelude Codec.Binary.UTF8.String> :t encodeString

encodeString :: String -> String

Prelude Codec.Binary.UTF8.String>

どちらもUTF-8のコード並びに変換されるが、encodeはWord8、encodeStringはStringの配列に格納される。

最初のStringはUnicodeスカラ値でUnicodeの文字集合全体を扱える。encodeStringはUTF-8にencodeするけれど、Stringに格納するのは混乱がでるかな。できればStringはUnicodeスカラ値のクラスとして統一してほしいところ。

haskell, プログラム

[haskell]文字列の扱い2

2017年1月15日 it コメントする

この記事も文字列扱いの理解を助けてくれます。

Haskell Tips(文字列編)

haskell, プログラム

[Haskell]haskellの難しいところ

2017年1月9日 it コメントする

!だったり#について分からなかったが、ここに行き着いた。勉強になります。これからHaskellを書くにあたって

haskell, プログラム

[haskell]文字列の扱い

2017年1月4日 it コメントする

haskellの文字列扱いで良い記事を見つけた。

Haskell文字列変換入門

haskell

[haskell]内部文字コード

2017年1月2日 it コメントする

Haskellの文字列扱いを少し

import Codec.Binary.UTF8.String

-- str = ["\x0041", "\x3042", "\x57CE", "\x2F852"]
str = ["A", "あ", "城", "城"]

main::IO()
main = do
        putStrLn "Haskell内部コード"
        mapM_ print str
        mapM_ putStrLn str
        putStrLn "Haskell内部コード>UTF8コード"
        mapM_ (\x -> print $ encodeString x) str
        mapM_ (\x -> putStrLn $ decodeString $ encodeString x) str

import Codec.Binary.UTF8.String

-- str = ["\x0041", "\x3042", "\x57CE", "\x2F852"]

str = ["A", "あ", "城", "城"]

main::IO()

main = do

putStrLn "Haskell内部コード"

mapM_ print str

mapM_ putStrLn str

putStrLn "Haskell内部コード>UTF8コード"

mapM_ (\x -> print $ encodeString x) str

mapM_ (\x -> putStrLn $ decodeString $ encodeString x) str

出力結果

$ ./strsmpl 
Haskell内部コード
"A"
"\12354"
"\22478"
"\194642"
A
あ
城
城
Haskell内部コード>UTF8コード
"A"
"\227\129\130"
"\229\159\142"
"\240\175\161\146"
A
あ
城
城

$ ./strsmpl

Haskell内部コード

"A"

"\12354"

"\22478"

"\194642"

あ

城

城

Haskell内部コード>UTF8コード

"A"

"\227\129\130"

"\229\159\142"

"\240\175\161\146"

あ

城

城

Haskell内部ではUnicodeスカラ値で扱われている。

printはどうやらBasic Latinしか文字を表示することができないようで、後は内部コードをそのまま表示している

putStr(Ln)については内部コードに応じたフォントを表示してくれる。

内部コードとUTF-8との変換はencodeString(内部コード >> UTF-8)とdecodeStringを使う。

フォント表示についてはLANG環境変数が影響する。

$ LANG=en_US.UTF-8 ./strsmpl 
Haskell内部コード
"A"
"\12354"
"\22478"
"\194642"
A
あ
城
城
Haskell内部コード>UTF8コード
"A"
"\227\129\130"
"\229\159\142"
"\240\175\161\146"
A
あ
城
城

$ LANG=en_US.UTF-8 ./strsmpl

Haskell内部コード

"A"

"\12354"

"\22478"

"\194642"

あ

城

城

Haskell内部コード>UTF8コード

"A"

"\227\129\130"

"\229\159\142"

"\240\175\161\146"

あ

城

城

$ LANG=ja_JP. ./strsmpl 
Haskellstrsmpl: <stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=ja_JP.eucJP ./strsmpl 
Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=ja_JP.ujis ./strsmpl 
Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=en_US ./strsmpl 
Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=en_US.UTF-8 ./strsmpl 
Haskell内部コード
"A"
"\12354"
"\22478"
"\194642"
A
あ
城
城
Haskell内部コード>UTF8コード
"A"
"\227\129\130"
"\229\159\142"
"\240\175\161\146"
A
あ
城
城
</stdout>

$ LANG=ja_JP. ./strsmpl

Haskellstrsmpl: <stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=ja_JP.eucJP ./strsmpl

Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=ja_JP.ujis ./strsmpl

Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=en_US ./strsmpl

Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=en_US.UTF-8 ./strsmpl

Haskell内部コード

"A"

"\12354"

"\22478"

"\194642"

あ

城

城

Haskell内部コード>UTF8コード

"A"

"\227\129\130"

"\229\159\142"

"\240\175\161\146"

あ

城

城

</stdout>

UTF-8であることをLANGで設定していないと出力で例外となる

haskell, プログラム

[haskell]todo.hs

2016年11月13日 it コメントする

教科書通りにやってみました。

todo.hs

haskell, プログラム

[haskell]ディレクトリのリストを出力する

2016年10月23日 it コメントする

ディレクトリのリストを出力する。ファイル内容を出力する時と同じ要領で作ることができた。

import System.Directory
import System.IO

main::IO()
main = do
	dirs < - getDirectoryContents "."
	case dirs of
		[] -> putStrLn ""
		_ -> mapM_ (\x -> putStrLn x) [ndirs | ndirs < - dirs, ndirs /= ".", ndirs /= ".."]

import System.Directory

import System.IO

main::IO()

main = do

dirs < - getDirectoryContents "."

case dirs of

[] -> putStrLn ""

_ -> mapM_ (\x -> putStrLn x) [ndirs | ndirs < - dirs, ndirs /= ".", ndirs /= ".."]

dirsから”.”と”..”を除いたリストに対しmapM_でputStarLnをマップしている

haskell, プログラム

haskell事始め

2016年10月23日 it コメントする

haskellをはじてみる。まずはファイルを扱えるようになることから。以下のコードでファイルの内容を出力するプログラムができる。

import System.Environment
import System.IO

main::IO()
main = do
    args < - getArgs
    case args of
        args -> getContents >>= putStr
        _ -> mapM_(\x -> readFile x >>= putStr) args

import System.Environment

import System.IO

main::IO()

main = do

args < - getArgs

case args of

args -> getContents >>= putStr

_ -> mapM_(\x -> readFile x >>= putStr) args

getArgsは引数を[String]で返してくれる。'<-‘は結果をargsに束縛する。
case args of は条件分岐
argsが'[]’空リストなら getContentsアクションの結果をpuｔStｒアクションに渡す。
それ以外なら、argsの各要素に無名関数(\x -> readFile x >>= putStr)をマップ

参照サイト

The T World

「プログラム」カテゴリーアーカイブ

[haskell][BNFC]Unicodeスカラ値のサロゲートペア範囲考慮

[haskell]BNFCでUnicodeを扱える様にする

[haskell]UTF8へのencode

[haskell]文字列の扱い2

[Haskell]haskellの難しいところ

[haskell]文字列の扱い

[haskell]内部文字コード

[haskell]todo.hs

[haskell]ディレクトリのリストを出力する

haskell事始め

音楽とIT情報１カップ、思うこと小さじいっぱい