はじめまして、内田と申します。

テキストファイルの改行のバイト位置を出力するために、Data.ByteString.Lazy.Char8.elemIndicesを使ったプログラムを書いてみたのですが、正しく改行位置を出力してくれません。ファイルサイズは数百メガバイト以上を想定しています。
次は問題の動作を見るために単純化して(行数+1)を出力するようにしたプログラムです。(プログラム中のようにputStrLnを2回重ねると、より状態が悪くなります。。。)

elemIndicesのソース(http://hackage.haskell.org/packages/archive/bytestring/0.9.1.4/doc/html/src/Data-ByteString-Lazy.html)を眺めてみましたが、見当がつきませんでした。このような経験をされた方いらっしゃいませんか?


-- bug.hs --
import Data.Int
import qualified Data.ByteString.Lazy.Char8 as L

main = do
 cs <- L.getContents
 let ps = 0 : (map (+1) $ L.elemIndices '\n' cs) -- bug?
 -- let ps = 0 : (map (+1) $ indices '\n' cs) -- 修正例
 putStrLn $ "length ps = " ++ (show $ length ps)
 putStrLn $ "length ps = " ++ (show $ length ps)

indices :: Char -> L.ByteString -> [Int64]
indices c = indices' c 0

indices' :: Char -> Int64 -> L.ByteString -> [Int64]
indices' c n xs = case L.elemIndex c xs of
                   Nothing -> []
                   Just y  -> let !k = n + y
                              in k : indices' c (k + 1) (L.drop (y + 1) xs)
-- 
(再現方法)
以下の環境で試しています。
 - Mac OS X 10.5.8 + GHC6.10.3
 - Windows XP + GHC6.10.4
 - ubuntu 8.04 + GHC6.8.3

Mac OSで実行すると次のようになります。(length ps = 10000001と表示されることを期待していますが、次のようになってしまいます。また、実行する度に結果が変わります。)

$ yes | head -10000000 | ./bug
length ps = 9998308
length ps = 9998308
$ yes | head -10000000 | ./bug
length ps = 9994798
length ps = 9994798
$ 

\c -> findIndices (==c)や、elemIndexを繰り返し呼ぶ自前のindicesではうまくいくようです。