[haskell][BNFC]n3337 Raw-string

2017年1月21日BNFC, haskell, プログラム, 字句解析bae

n3337のRaw-stringをBNFCで定義する。

{-
Unicode:
	Unicode scalar value
		Basic Multilingual Plane(BMP) = U+0000 - U+FFFF(*)
		Supplementary Multilingual Plane = U+010000 - U+10FFFF
		*) Reserved U+D800 - U+DFFF for Surrogate Pair encode rule.

	=> char

r-char:
	Any member of the source character set, except a right parenthesis ) followed
	by the initial d-char-sequence (which may be empty) followd by a double quote.

	=> (char - [")"])

d-char:
	Any member of the basic source character set except:
	space, the left parenthesis (, the right parenthesis ), the backslash \,
	and the control characters representing horizontal tab, vertical tab,
	form feed, and newline.

	=> (basic source char - ["() \\\t\v\f\n"])

	2.3 Character sets
	The basic source character set onsists of 96 characters:
	the space character, the control characters representing horizontal tab,
	vertical tab, form feed, and new-line, plus the following 91 graphical characters:
	a-z, A-Z, 0-9 and  _{} []#() <>%:; .?*+- /^&|~ !=,\" '

	=> ["\t\v\f\n0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz_{}[]#()<>%:;.?*+-/^&|~!=,\\\"\'"]
-}
LTest. Test::= Raw_string;
token Raw_string ({"u8"} | ["uUL"])? {"R\""} (["\t\n0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz_{}[]#()<>%:;.?*+-/^&|~!=,\\\"\'"] - ["() \\\t\n"])* '(' (char - [")"])* ')' (["\t\n0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz_{}[]#()<>%:;.?*+-/^&|~!=,\\\"\'"] - ["() \\\t\n"])* '"';

Unicode:

Unicode scalar value

Basic Multilingual Plane(BMP) = U+0000 - U+FFFF(*)

Supplementary Multilingual Plane = U+010000 - U+10FFFF

*) Reserved U+D800 - U+DFFF for Surrogate Pair encode rule.

=> char

r-char:

Any member of the source character set, except a right parenthesis ) followed

by the initial d-char-sequence (which may be empty) followd by a double quote.

=> (char - [")"])

d-char:

Any member of the basic source character set except:

space, the left parenthesis (, the right parenthesis ), the backslash \,

and the control characters representing horizontal tab, vertical tab,

form feed, and newline.

=> (basic source char - ["() \\\t\v\f\n"])

2.3 Character sets

The basic source character set onsists of 96 characters:

the space character, the control characters representing horizontal tab,

vertical tab, form feed, and new-line, plus the following 91 graphical characters:

a-z, A-Z, 0-9 and _{} []#() <>%:; .?*+- /^&|~ !=,\" '

=> ["\t\v\f\n0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz_{}[]#()<>%:;.?*+-/^&|~!=,\\\"\'"]

LTest. Test::= Raw_string;

token Raw_string ({"u8"} | ["uUL"])? {"R\""} (["\t\n0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz_{}[]#()<>%:;.?*+-/^&|~!=,\\\"\'"] - ["() \\\t\n"])* '(' (char - [")"])* ')' (["\t\n0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz_{}[]#()<>%:;.?*+-/^&|~!=,\\\"\'"] - ["() \\\t\n"])* '"';

~$ ./TestRawStr 
u8R"2sS(あ)6wY"
Parse Successful!

[Abstract Syntax]

LTest (Raw_string "u8R\"2sS(\12354)6wY\"")

[Linearized tree]

u8R"2sS(あ)6wY"
~$ 
~$ ./TestRawStr 
R"^^(あああ)^^"
Parse Successful!

[Abstract Syntax]

LTest (Raw_string "R\"^^(\12354\12354\12354)^^\"")

[Linearized tree]

R"^^(あああ)^^"
~$

~$ ./TestRawStr

u8R"2sS(あ)6wY"

Parse Successful!

[Abstract Syntax]

LTest (Raw_string "u8R\"2sS(\12354)6wY\"")

[Linearized tree]

u8R"2sS(あ)6wY"

~$ ./TestRawStr

R"^^(あああ)^^"

Parse Successful!

[Abstract Syntax]

LTest (Raw_string "R\"^^(\12354\12354\12354)^^\"")

[Linearized tree]

R"^^(あああ)^^"

うまくパースしてくれているようです。

参考サイト

[haskell][BNFC]Unicodeスカラ値のサロゲートペア範囲考慮

2017年1月21日BNFC, haskell, プログラム, 字句解析bae

ユニコードスカラ値にはサロゲートペアのための領域0xD800-0xDFFFがあり、この範囲は文字を割り当てることがきない。このためcharの範囲からこの部分を外す。

~$ git diff
diff --git a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
index 054d576..4afdb83 100644
--- a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
+++ b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
@@ -63,7 +63,7 @@ cMacros = [
   "$s = [a-z\\222-\\255] # [\\247]    -- small isolatin1 letter FIXME",
   "$d = [0-9]                -- digit",
   "$i = [$l $d _ ']          -- identifier character",
-  "$u = [\\0-\\255]          -- universal: any character"
+  "$u = [\\x0000-\\x10FFFF] # [\\xD800 -\\xDFFF]         -- universal: any character"
   ]
 
 rMacros :: CF -> [String]
~$

~$ git diff

diff --git a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

index 054d576..4afdb83 100644

--- a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

+++ b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

@@ -63,7 +63,7 @@ cMacros = [

"$s = [a-z\\222-\\255] # [\\247] -- small isolatin1 letter FIXME",

"$d = [0-9] -- digit",

"$i = [$l $d _ '] -- identifier character",

- "$u = [\\0-\\255] -- universal: any character"

+ "$u = [\\x0000-\\x10FFFF] # [\\xD800 -\\xDFFF] -- universal: any character"

]

rMacros :: CF -> [String]

~$ cat R_char.cf
LTest. Test::= R_char_sequence;
token R_char_sequence (char - [")"])+;
~$

~$ cat R_char.cf

LTest. Test::= R_char_sequence;

token R_char_sequence (char - [")"])+;

BNFCはUTF-8で受け取るため、0xD800を無理やりUTF-8へコンバートする。リトルエンディアンであるので最初の0x0aは改行だ。勝手についてくるがおそらくechoかな。

~$ echo -e "\x00\x00\xD8\x00\x00\x00\x00" | iconv -f ISO-10646/UCS4 -t ISO-10646/UTF8 - |  od -t x4
0000000 0a80a0ed
0000004
~$

~$ echo -e "\x00\x00\xD8\x00\x00\x00\x00" | iconv -f ISO-10646/UCS4 -t ISO-10646/UTF8 - | od -t x4

0000000 0a80a0ed

0000004

0xeda080をBNFCでパースしてみるが、haskellが受け取ってくれない。

~$ echo -e "\xed\xa0\x80" | ./TestRChar
TestRChar: <stdin>: hGetContents: invalid argument (invalid byte sequence)
~$
</stdin>

~$ echo -e "\xed\xa0\x80" | ./TestRChar

TestRChar: <stdin>: hGetContents: invalid argument (invalid byte sequence)

</stdin>

サロゲートペア外の文字コードであれば問題なく受け取るのでパースできる。

~$ echo "あ" | od -t x4
0000000 0a8281e3
0000004
~$ echo "あ" | ./TestRChar

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354\n")

[Linearized tree]

あ

~$

~$ echo "あ" | od -t x4

0000000 0a8281e3

0000004

~$ echo "あ" | ./TestRChar

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354\n")

[Linearized tree]

あ

BNFCが生成したテスト実行コードを変更してテストしてみる。

-- mainのみ抜き出し
main :: IO ()
main = do
  args < - getArgs
  case args of
    ["--help"] -> usage
    ["--test1"] -> run 2 pTest "\x3042" -- テスト１：正常にパースできるはず「あ」
    ["--test2"] -> run 2 pTest "\xD800" -- テスト２：範囲外なのでパースエラーとなるはず。
    ["--test3"] -> run 2 pTest "\x2F852" -- テスト３：サロゲートペア範囲の文字「城」
    [] -> getContents >>= run 2 pTest
    "-s":fs -> mapM_ (runFile 0 pTest) fs
    fs -> mapM_ (runFile 2 pTest) fs

-- mainのみ抜き出し

main :: IO ()

main = do

args < - getArgs

case args of

["--help"] -> usage

["--test1"] -> run 2 pTest "\x3042" -- テスト１：正常にパースできるはず「あ」

["--test2"] -> run 2 pTest "\xD800" -- テスト２：範囲外なのでパースエラーとなるはず。

["--test3"] -> run 2 pTest "\x2F852" -- テスト３：サロゲートペア範囲の文字「城」

[] -> getContents >>= run 2 pTest

"-s":fs -> mapM_ (runFile 0 pTest) fs

fs -> mapM_ (runFile 2 pTest) fs

~$ ./TestRChar --test1

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354")

[Linearized tree]

あ
~$ ./TestRChar --test2

Parse              Failed...

Tokens:
[Err (Pn 1 1 2)]
syntax error at line 1, column 2 due to lexer error
~$ ./TestRChar --test3

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\194642")

[Linearized tree]

城
~$

~$ ./TestRChar --test1

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354")

[Linearized tree]

あ

~$ ./TestRChar --test2

Parse Failed...

Tokens:

[Err (Pn 1 1 2)]

syntax error at line 1, column 2 due to lexer error

~$ ./TestRChar --test3

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\194642")

[Linearized tree]

城

テストが成功したので問題なしかな。

[haskell]BNFCでUnicodeを扱える様にする

2017年1月18日BNFC, haskell, プログラムbae

BNFCのcharは0〜255の文字コードしか扱えない。これをUnicodeの範囲に広げる。

$ git diff
diff --git a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
index 054d576..e2b744f 100644
--- a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
+++ b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
@@ -63,7 +63,7 @@ cMacros = [
   "$s = [a-z\\222-\\255] # [\\247]    -- small isolatin1 letter FIXME",
   "$d = [0-9]                -- digit",
   "$i = [$l $d _ ']          -- identifier character",
-  "$u = [\\0-\\255]          -- universal: any character"
+  "$u = [\\x0000-\\x10FFFF]          -- universal: any character"
   ]
 
 rMacros :: CF -> [String]
$

$ git diff

diff --git a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

index 054d576..e2b744f 100644

--- a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

+++ b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

@@ -63,7 +63,7 @@ cMacros = [

"$s = [a-z\\222-\\255] # [\\247] -- small isolatin1 letter FIXME",

"$d = [0-9] -- digit",

"$i = [$l $d _ '] -- identifier character",

- "$u = [\\0-\\255] -- universal: any character"

+ "$u = [\\x0000-\\x10FFFF] -- universal: any character"

]

rMacros :: CF -> [String]

$ cat R_char.cf
LTest. Test::= R_char_sequence;
token R_char_sequence (char - [")"])+;
$

$ cat R_char.cf

LTest. Test::= R_char_sequence;

token R_char_sequence (char - [")"])+;

$ ./TestRChar 
あいうえお
Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354\12356\12358\12360\12362")

[Linearized tree]

あいうえお
$

$ ./TestRChar

あいうえお

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354\12356\12358\12360\12362")

[Linearized tree]

あいうえお

うまくできました。

[haskell]UTF8へのencode

2017年1月17日haskell, プログラムbae

UTF-8へのエンコードは2種類ある。

module Main (main) where
import qualified Codec.Binary.UTF8.String as US

main = do
	s < -getContents
	print $ US.encode s
	print $ US.encodeString s

module Main (main) where

import qualified Codec.Binary.UTF8.String as US

main = do

s < -getContents

print $ US.encode s

print $ US.encodeString s

$ ./main 
あ[227,129,130]
"\227\129\130"

$ ./main

あ[227,129,130]

"\227\129\130"

Prelude> :m + Codec.Binary.UTF8.String
Prelude Codec.Binary.UTF8.String> :t encode
encode :: String -> [GHC.Word.Word8]
Prelude Codec.Binary.UTF8.String> :t encodeString
encodeString :: String -> String
Prelude Codec.Binary.UTF8.String>

Prelude> :m + Codec.Binary.UTF8.String

Prelude Codec.Binary.UTF8.String> :t encode

encode :: String -> [GHC.Word.Word8]

Prelude Codec.Binary.UTF8.String> :t encodeString

encodeString :: String -> String

Prelude Codec.Binary.UTF8.String>

どちらもUTF-8のコード並びに変換されるが、encodeはWord8、encodeStringはStringの配列に格納される。

最初のStringはUnicodeスカラ値でUnicodeの文字集合全体を扱える。encodeStringはUTF-8にencodeするけれど、Stringに格納するのは混乱がでるかな。できればStringはUnicodeスカラ値のクラスとして統一してほしいところ。

[haskell]文字列の扱い2

2017年1月15日haskell, プログラムbae

この記事も文字列扱いの理解を助けてくれます。

Haskell Tips(文字列編)

[Haskell]haskellの難しいところ

2017年1月9日haskell, プログラムbae

!だったり#について分からなかったが、ここに行き着いた。勉強になります。これからHaskellを書くにあたって

[haskell]文字列の扱い

2017年1月4日haskell, プログラムbae

haskellの文字列扱いで良い記事を見つけた。

Haskell文字列変換入門

ご挨拶 – 2017年

2017年1月2日WelcomMessages, このBLOGについて年賀bae

今年もちょこちょこ頑張っていきます。よろしくお願いします。

[haskell]内部文字コード

2017年1月2日haskelldecodeString, encodeString, haskell, Unicode, UTF-8, 文字コードbae

Haskellの文字列扱いを少し

import Codec.Binary.UTF8.String

-- str = ["\x0041", "\x3042", "\x57CE", "\x2F852"]
str = ["A", "あ", "城", "城"]

main::IO()
main = do
        putStrLn "Haskell内部コード"
        mapM_ print str
        mapM_ putStrLn str
        putStrLn "Haskell内部コード>UTF8コード"
        mapM_ (\x -> print $ encodeString x) str
        mapM_ (\x -> putStrLn $ decodeString $ encodeString x) str

import Codec.Binary.UTF8.String

-- str = ["\x0041", "\x3042", "\x57CE", "\x2F852"]

str = ["A", "あ", "城", "城"]

main::IO()

main = do

putStrLn "Haskell内部コード"

mapM_ print str

mapM_ putStrLn str

putStrLn "Haskell内部コード>UTF8コード"

mapM_ (\x -> print $ encodeString x) str

mapM_ (\x -> putStrLn $ decodeString $ encodeString x) str

出力結果

$ ./strsmpl 
Haskell内部コード
"A"
"\12354"
"\22478"
"\194642"
A
あ
城
城
Haskell内部コード>UTF8コード
"A"
"\227\129\130"
"\229\159\142"
"\240\175\161\146"
A
あ
城
城

$ ./strsmpl

Haskell内部コード

"A"

"\12354"

"\22478"

"\194642"

あ

城

城

Haskell内部コード>UTF8コード

"A"

"\227\129\130"

"\229\159\142"

"\240\175\161\146"

あ

城

城

Haskell内部ではUnicodeスカラ値で扱われている。

printはどうやらBasic Latinしか文字を表示することができないようで、後は内部コードをそのまま表示している

putStr(Ln)については内部コードに応じたフォントを表示してくれる。

内部コードとUTF-8との変換はencodeString(内部コード >> UTF-8)とdecodeStringを使う。

フォント表示についてはLANG環境変数が影響する。

$ LANG=en_US.UTF-8 ./strsmpl 
Haskell内部コード
"A"
"\12354"
"\22478"
"\194642"
A
あ
城
城
Haskell内部コード>UTF8コード
"A"
"\227\129\130"
"\229\159\142"
"\240\175\161\146"
A
あ
城
城

$ LANG=en_US.UTF-8 ./strsmpl

Haskell内部コード

"A"

"\12354"

"\22478"

"\194642"

あ

城

城

Haskell内部コード>UTF8コード

"A"

"\227\129\130"

"\229\159\142"

"\240\175\161\146"

あ

城

城

$ LANG=ja_JP. ./strsmpl 
Haskellstrsmpl: <stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=ja_JP.eucJP ./strsmpl 
Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=ja_JP.ujis ./strsmpl 
Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=en_US ./strsmpl 
Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=en_US.UTF-8 ./strsmpl 
Haskell内部コード
"A"
"\12354"
"\22478"
"\194642"
A
あ
城
城
Haskell内部コード>UTF8コード
"A"
"\227\129\130"
"\229\159\142"
"\240\175\161\146"
A
あ
城
城
</stdout>

$ LANG=ja_JP. ./strsmpl

Haskellstrsmpl: <stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=ja_JP.eucJP ./strsmpl

Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=ja_JP.ujis ./strsmpl

Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=en_US ./strsmpl

Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=en_US.UTF-8 ./strsmpl

Haskell内部コード

"A"

"\12354"

"\22478"

"\194642"

あ

城

城

Haskell内部コード>UTF8コード

"A"

"\227\129\130"

"\229\159\142"

"\240\175\161\146"

あ

城

城

</stdout>

UTF-8であることをLANGで設定していないと出力で例外となる

[haskell]todo.hs

2016年11月13日haskell, プログラムbae

教科書通りにやってみました。

todo.hs

The T World

音楽とIT情報１カップ、思うこと小さじいっぱい

[haskell][BNFC]n3337 Raw-string

[haskell][BNFC]Unicodeスカラ値のサロゲートペア範囲考慮

[haskell]BNFCでUnicodeを扱える様にする

[haskell]UTF8へのencode

[haskell]文字列の扱い2

[Haskell]haskellの難しいところ

[haskell]文字列の扱い

ご挨拶 – 2017年

[haskell]内部文字コード

[haskell]todo.hs