「プログラム」カテゴリーアーカイブ

[haskell]BNFCでUnicodeを扱える様にする

2017年1月18日 it コメントする

BNFCのcharは0〜255の文字コードしか扱えない。これをUnicodeの範囲に広げる。

$ git diff
diff --git a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
index 054d576..e2b744f 100644
--- a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
+++ b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs
@@ -63,7 +63,7 @@ cMacros = [
   "$s = [a-z\\222-\\255] # [\\247]    -- small isolatin1 letter FIXME",
   "$d = [0-9]                -- digit",
   "$i = [$l $d _ ']          -- identifier character",
-  "$u = [\\0-\\255]          -- universal: any character"
+  "$u = [\\x0000-\\x10FFFF]          -- universal: any character"
   ]
 
 rMacros :: CF -> [String]
$

$ git diff

diff --git a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

index 054d576..e2b744f 100644

--- a/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

+++ b/source/src/BNFC/Backend/Haskell/CFtoAlex3.hs

@@ -63,7 +63,7 @@ cMacros = [

"$s = [a-z\\222-\\255] # [\\247] -- small isolatin1 letter FIXME",

"$d = [0-9] -- digit",

"$i = [$l $d _ '] -- identifier character",

- "$u = [\\0-\\255] -- universal: any character"

+ "$u = [\\x0000-\\x10FFFF] -- universal: any character"

]

rMacros :: CF -> [String]

$ cat R_char.cf
LTest. Test::= R_char_sequence;
token R_char_sequence (char - [")"])+;
$

$ cat R_char.cf

LTest. Test::= R_char_sequence;

token R_char_sequence (char - [")"])+;

$ ./TestRChar 
あいうえお
Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354\12356\12358\12360\12362")

[Linearized tree]

あいうえお
$

$ ./TestRChar

あいうえお

Parse Successful!

[Abstract Syntax]

LTest (R_char_sequence "\12354\12356\12358\12360\12362")

[Linearized tree]

あいうえお

うまくできました。

haskell, プログラム

[haskell]UTF8へのencode

2017年1月17日 it コメントする

UTF-8へのエンコードは2種類ある。

module Main (main) where
import qualified Codec.Binary.UTF8.String as US

main = do
	s < -getContents
	print $ US.encode s
	print $ US.encodeString s

module Main (main) where

import qualified Codec.Binary.UTF8.String as US

main = do

s < -getContents

print $ US.encode s

print $ US.encodeString s

$ ./main 
あ[227,129,130]
"\227\129\130"

$ ./main

あ[227,129,130]

"\227\129\130"

Prelude> :m + Codec.Binary.UTF8.String
Prelude Codec.Binary.UTF8.String> :t encode
encode :: String -> [GHC.Word.Word8]
Prelude Codec.Binary.UTF8.String> :t encodeString
encodeString :: String -> String
Prelude Codec.Binary.UTF8.String>

Prelude> :m + Codec.Binary.UTF8.String

Prelude Codec.Binary.UTF8.String> :t encode

encode :: String -> [GHC.Word.Word8]

Prelude Codec.Binary.UTF8.String> :t encodeString

encodeString :: String -> String

Prelude Codec.Binary.UTF8.String>

どちらもUTF-8のコード並びに変換されるが、encodeはWord8、encodeStringはStringの配列に格納される。

最初のStringはUnicodeスカラ値でUnicodeの文字集合全体を扱える。encodeStringはUTF-8にencodeするけれど、Stringに格納するのは混乱がでるかな。できればStringはUnicodeスカラ値のクラスとして統一してほしいところ。

haskell, プログラム

[haskell]文字列の扱い2

2017年1月15日 it コメントする

この記事も文字列扱いの理解を助けてくれます。

Haskell Tips(文字列編)

haskell, プログラム

[Haskell]haskellの難しいところ

2017年1月9日 it コメントする

!だったり#について分からなかったが、ここに行き着いた。勉強になります。これからHaskellを書くにあたって

haskell, プログラム

[haskell]文字列の扱い

2017年1月4日 it コメントする

haskellの文字列扱いで良い記事を見つけた。

Haskell文字列変換入門

haskell

[haskell]内部文字コード

2017年1月2日 it コメントする

Haskellの文字列扱いを少し

import Codec.Binary.UTF8.String

-- str = ["\x0041", "\x3042", "\x57CE", "\x2F852"]
str = ["A", "あ", "城", "城"]

main::IO()
main = do
        putStrLn "Haskell内部コード"
        mapM_ print str
        mapM_ putStrLn str
        putStrLn "Haskell内部コード>UTF8コード"
        mapM_ (\x -> print $ encodeString x) str
        mapM_ (\x -> putStrLn $ decodeString $ encodeString x) str

import Codec.Binary.UTF8.String

-- str = ["\x0041", "\x3042", "\x57CE", "\x2F852"]

str = ["A", "あ", "城", "城"]

main::IO()

main = do

putStrLn "Haskell内部コード"

mapM_ print str

mapM_ putStrLn str

putStrLn "Haskell内部コード>UTF8コード"

mapM_ (\x -> print $ encodeString x) str

mapM_ (\x -> putStrLn $ decodeString $ encodeString x) str

出力結果

$ ./strsmpl 
Haskell内部コード
"A"
"\12354"
"\22478"
"\194642"
A
あ
城
城
Haskell内部コード>UTF8コード
"A"
"\227\129\130"
"\229\159\142"
"\240\175\161\146"
A
あ
城
城

$ ./strsmpl

Haskell内部コード

"A"

"\12354"

"\22478"

"\194642"

あ

城

城

Haskell内部コード>UTF8コード

"A"

"\227\129\130"

"\229\159\142"

"\240\175\161\146"

あ

城

城

Haskell内部ではUnicodeスカラ値で扱われている。

printはどうやらBasic Latinしか文字を表示することができないようで、後は内部コードをそのまま表示している

putStr(Ln)については内部コードに応じたフォントを表示してくれる。

内部コードとUTF-8との変換はencodeString(内部コード >> UTF-8)とdecodeStringを使う。

フォント表示についてはLANG環境変数が影響する。

$ LANG=en_US.UTF-8 ./strsmpl 
Haskell内部コード
"A"
"\12354"
"\22478"
"\194642"
A
あ
城
城
Haskell内部コード>UTF8コード
"A"
"\227\129\130"
"\229\159\142"
"\240\175\161\146"
A
あ
城
城

$ LANG=en_US.UTF-8 ./strsmpl

Haskell内部コード

"A"

"\12354"

"\22478"

"\194642"

あ

城

城

Haskell内部コード>UTF8コード

"A"

"\227\129\130"

"\229\159\142"

"\240\175\161\146"

あ

城

城

$ LANG=ja_JP. ./strsmpl 
Haskellstrsmpl: <stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=ja_JP.eucJP ./strsmpl 
Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=ja_JP.ujis ./strsmpl 
Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=en_US ./strsmpl 
Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)
$ LANG=en_US.UTF-8 ./strsmpl 
Haskell内部コード
"A"
"\12354"
"\22478"
"\194642"
A
あ
城
城
Haskell内部コード>UTF8コード
"A"
"\227\129\130"
"\229\159\142"
"\240\175\161\146"
A
あ
城
城
</stdout>

$ LANG=ja_JP. ./strsmpl

Haskellstrsmpl: <stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=ja_JP.eucJP ./strsmpl

Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=ja_JP.ujis ./strsmpl

Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=en_US ./strsmpl

Haskellstrsmpl: </stdout><stdout>: commitBuffer: invalid argument (invalid character)

$ LANG=en_US.UTF-8 ./strsmpl

Haskell内部コード

"A"

"\12354"

"\22478"

"\194642"

あ

城

城

Haskell内部コード>UTF8コード

"A"

"\227\129\130"

"\229\159\142"

"\240\175\161\146"

あ

城

城

</stdout>

UTF-8であることをLANGで設定していないと出力で例外となる

haskell, プログラム

[haskell]todo.hs

2016年11月13日 it コメントする

教科書通りにやってみました。

todo.hs

haskell, プログラム

[haskell]ディレクトリのリストを出力する

2016年10月23日 it コメントする

ディレクトリのリストを出力する。ファイル内容を出力する時と同じ要領で作ることができた。

import System.Directory
import System.IO

main::IO()
main = do
	dirs < - getDirectoryContents "."
	case dirs of
		[] -> putStrLn ""
		_ -> mapM_ (\x -> putStrLn x) [ndirs | ndirs < - dirs, ndirs /= ".", ndirs /= ".."]

import System.Directory

import System.IO

main::IO()

main = do

dirs < - getDirectoryContents "."

case dirs of

[] -> putStrLn ""

_ -> mapM_ (\x -> putStrLn x) [ndirs | ndirs < - dirs, ndirs /= ".", ndirs /= ".."]

dirsから”.”と”..”を除いたリストに対しmapM_でputStarLnをマップしている

haskell, プログラム

haskell事始め

2016年10月23日 it コメントする

haskellをはじてみる。まずはファイルを扱えるようになることから。以下のコードでファイルの内容を出力するプログラムができる。

import System.Environment
import System.IO

main::IO()
main = do
    args < - getArgs
    case args of
        args -> getContents >>= putStr
        _ -> mapM_(\x -> readFile x >>= putStr) args

import System.Environment

import System.IO

main::IO()

main = do

args < - getArgs

case args of

args -> getContents >>= putStr

_ -> mapM_(\x -> readFile x >>= putStr) args

getArgsは引数を[String]で返してくれる。'<-‘は結果をargsに束縛する。
case args of は条件分岐
argsが'[]’空リストなら getContentsアクションの結果をpuｔStｒアクションに渡す。
それ以外なら、argsの各要素に無名関数(\x -> readFile x >>= putStr)をマップ

参照サイト

プログラム, 開発プロセス

設計するということ

2016年10月9日 it コメントする

Z3 – guide

興味あってZ3のチュートリアルをやってみた。設計や検証に使えるのかを知りたかったので。

関数の定義や取りうる値の範囲を決めるところなど、なんとなくソフトウェア設計そのものをやっているみたいだ。しかも、設計をしながら検証を同時におこなえる。

設計の検証をいつでもおこなえるというのはとても良いことではないだろうか。

The T World

「プログラム」カテゴリーアーカイブ

[haskell]BNFCでUnicodeを扱える様にする

[haskell]UTF8へのencode

[haskell]文字列の扱い2

[Haskell]haskellの難しいところ

[haskell]文字列の扱い

[haskell]内部文字コード

[haskell]todo.hs

[haskell]ディレクトリのリストを出力する

haskell事始め

設計するということ

音楽とIT情報１カップ、思うこと小さじいっぱい