จำนวนความยาวของ string ตอนเป็น UTF-8 ไม่เท่ากับตอนเป็น ANSI ครับ (2024)

จริงๆ แล้วข้อมูลมันเป็น text บรรทัดเดียวยาวต่อเนื่องกันไป ผมตัดมาให้ดูแบบง่ายๆ ครับ

พอความกว้างของ filed ผิด ทำให้ตำแหน่งเริ่มต้นของ field ผิดไปด้วยครับ

win app อ่านได้ครับ แต่ถ้าเจอตำแหน่งผิด มันจะขึ้น error ทันที

แต่มันโชว์นะครับว่า ไฟล์ที่อ่านเข้าไปมีข้อมูลอะไรบ้าง แต่ตำแหน่ง start ของแต่ละ field ผิด มันจะไม่ import ข้อมูลให้

ที่เห็นเป็นภาษาต่างดาว คือ ANSI นะครับ Win App มันไปแปลงเป็น UTF อีกทีหลัง import แล้ว

Win App ซื้อมา เป็นระบบปิด ค่อนข้างจะ legacy แล้ว ตอนนี้ ใช้คู่ขนานกันอยู่

กะว่า Web App เสร็จทุก Module ก็จะเสนอผู้บริหาร ขอยกเลิกใช้ Win App

ทีนี้จะลดงาน copy ข้อมูลจาก Web App มาแปะที่ Win App

เห็นว่า Win App มี Import ข้อมูล ก็เลยลอง Import เข้า Win App ครับ

ที่ไม่ใช้ UTF-8 เพราะว่า ไฟล์ต้นแบบของ Win App มันเป็น ANSI ครับ

Code (C#)

 string filePath = "c:\\test.txt"; // Reads UTF8 file StreamReader fileStream = new StreamReader(filePath); string fileContent = fileStream.ReadToEnd(); fileStream.Close(); // Now writes the content in ANSI StreamWriter ansiWriter = new StreamWriter(filePath.Replace(".txt", "-ansi.txt"), false, Encoding.GetEncoding(1250)); ansiWriter.Write(fileContent); ansiWriter.Close();

ส่วน code ผมดันลืม thumb backup งานไว้ที่ office พรุ่งนี้เช้าจะแปะให้ดูนะครับ

หลักใหญ่ก็คือ อ่านข้อมูลจาก db ออกมา แล้ว + string ต่อๆ กัน ตามรูปแบบของ Win App ครับ

อันนี้เป็นตัวอย่างไฟล์ export ที่ถูกต้องตามแบบ Win App ครับ

Code

01724nam a2200229 a 450000100070000000500170000700700030002400800410002702000180006803500210008605000290010710000580013624501490019425000470034326001120039030000530050249003750055565000590093065000540098971000750104383003760111854462720110404144600.0t 091224s 0 tha a9789741529414 a(OCoLC)860794855 aTK5105.888b.ป458 25520 aประเวศน์ วงษ์คำชัย.10aหลักการออกแบบและพัฒนาเว็บไซต์ /cประเวศน์ วงษ์คำชัย. aพิมพ์ครั้งที่ 1. a[กรุงเทพฯ] :bมหาวิทยาลัยราชà¸à¸±à¸à¸˜à¸™à¸šà¸¸à¸£à¸µ,c2552. a214 หน้า :bà¸à¸²à¸žà¸›à¸£à¸°à¸à¸­à¸š.1 aโครงการผลงานวิชาการมหาวิทยาลัยราชà¸à¸±à¸Žà¸˜à¸™à¸šà¸¸à¸£à¸µà¹€à¸‰à¸¥à¸´à¸¡à¸žà¸£à¸°à¹€à¸à¸µà¸¢à¸£à¸•à¸´à¹€à¸™à¸·à¹ˆà¸­à¸‡à¹ƒà¸™à¸§à¹‚รกาสพระบาทสมเด็จพระเจ้าอยู่หัวทรงครองสิริราชสมบัติครบ 60 ปี 4aเว็บไซต์xการออกแบบ. 4aการพัฒนาเว็บไซต์.2 aมหาวิทยาลัยราชà¸à¸±à¸à¸˜à¸™à¸šà¸¸à¸£à¸µ. 0aโครงการผลงานวิชาการมหาวิทยาลัยราชà¸à¸±à¸Žà¸˜à¸™à¸šà¸¸à¸£à¸µà¹€à¸‰à¸¥à¸´à¸¡à¸žà¸£à¸°à¹€à¸à¸µà¸¢à¸£à¸•à¸´à¹€à¸™à¸·à¹ˆà¸­à¸‡à¹ƒà¸™à¸§à¹‚รกาสพระบาทสมเด็จพระเจ้าอยู่หัวทรงครองสิริราชสมบัติครบ 60 ปี.

Code (VB.NET)

...dim dread as SqlDataReader = cmd.ExecuteReader()...StreamWriter ansiWriter = new StreamWriter("test.txt", false, Encoding.GetEncoding(874))dim sb as new System.Text.StringBuilderDo While dread.read() sb.Clear() ... sb.AppendFormat("{0}{1}",dread("x1"),dread("x2")) ... ansiWriter.WriteLine(sb.ToString())End WhileansiWriter.Close();

ถ้าไม่รู้วิธีเปลี่ยน ก็ใช้ google ค้นเลยครับ เมื่อกี้ลองค้นแล้ว ก็เจอวิธีเปลี่ยน

Code (C#)

protected void ExportButton_Click(object sender, DirectEventArgs e) { string filename = "K" + Utils.Right(("0000000" + bibId),7) + ".txt"; StringBuilder marc = new StringBuilder(); marc.Append(GetVarField(bibId)); //Download the Text file. Response.Clear(); Response.AddHeader("content-disposition", "attachment;filename=" + filename); Response.Charset = ""; Response.ContentType = "application/vnd.text"; //Response.ContentEncoding = System.Text.Encoding.Unicode; Response.Cache.SetCacheability(HttpCacheability.NoCache); System.IO.StringWriter stringWrite = new System.IO.StringWriter(); System.Web.UI.HtmlTextWriter htmlWrite = new HtmlTextWriter(stringWrite); Response.Write(marc.ToString()); Response.End(); } private string GetVarField(string bibId) { char cRS = (char)30; // [RS] field terminator char cUS = (char)31; // [US] delimiter char cGS = (char)29; // [GS] record terminator string marc = string.Empty; string directory = string.Empty; string varfield = string.Empty; { // get Variable Fields Value int tagStart = 0; // tag 001.Length + tag 003.Length string queryString = "SELECT * FROM [BibTag_V] WHERE unUsed=0 AND bibId=" + bibId + " ORDER BY tag, tagId"; string connectionString = strConn; using (SqlConnection connection = new SqlConnection(connectionString)) { SqlCommand command = new SqlCommand(queryString, connection); command.Connection.Open(); command.ExecuteNonQuery(); SqlDataReader dt; dt = command.ExecuteReader(); while (dt.Read()) { string tag = dt["tag"].ToString(); string tagId = dt["tagId"].ToString(); bool isFullstop = bool.Parse(dt["isFullstop"].ToString()); string tagString = string.Empty; directory += tag; /* loop Subfield Value */ string querySf = "SELECT * FROM [BibSubfield_V] WHERE tagId=" + tagId + " ORDER BY tag, tagId, sorder"; using (SqlConnection conSf = new SqlConnection(connectionString)) { SqlCommand commandSf = new SqlCommand(querySf, conSf); commandSf.Connection.Open(); commandSf.ExecuteNonQuery(); SqlDataReader dtSf; dtSf = commandSf.ExecuteReader(); while (dtSf.Read()) { string sCode = dtSf["scode"].ToString(); string sValue = dtSf["svalue"].ToString(); string sPrefix = dtSf["prefixSymbol"].ToString(); string sOrder = dtSf["sorder"].ToString(); if (tag != "008") { if (sOrder == "1") { // add only cUS varfield += cUS; tagString += cUS; } else { // add prefix & cUS if (!string.IsNullOrEmpty(sPrefix)) { varfield += sPrefix + " "; tagString += sPrefix + " "; } varfield += cUS; tagString += cUS; } varfield += sCode; tagString += sCode; } varfield += sValue; tagString += sValue; } { // check last fullstop string ft = Utils.Right(tagString, 1); if (ft != ".") { if (isFullstop) { varfield += "."; tagString += "."; } } } varfield += cRS; tagString += cRS; directory += Utils.Right("0000" + tagString.Length.ToString(), 4); // calculate length of field directory += Utils.Right("00000" + tagStart.ToString(), 5); // calculate starting_chr_position tagStart += int.Parse(tagString.Length.ToString()); tagString = string.Empty; // clear tagString to inital value dtSf.Close(); dtSf = null; } } dt.Close(); dt = null; } } /* get Leader */ int i0004 = 24 + int.Parse(directory.Length.ToString()) + 1 +int.Parse(varfield.Length.ToString()) + 1; // leader.l + directory.l + [RS] + varfield.l + [GS] string l0004 = Utils.Right("00000" + i0004.ToString(), 5); string l05 = "n"; // n == new string l06 = GetTypeOfRecord(bibId); string l07 = GetBibLevel(bibId); string l0811 = " a22"; // fixed value int i1216 = 24 + int.Parse(directory.Length.ToString()) + 1; // leader.Length + directory.Length + [RS] string l1216 = Utils.Right("00000" + i1216.ToString() , 5); string l1719 = " a "; // fixed value string l2023 = "4500"; // fixed value string leader = l0004 + l05 + l06 + l07 + l0811 + l1216 + l1719 + l2023; marc = leader + directory + cRS + varfield + cGS; return marc; }

ปกติผมใช้โค๊ดนี้ยุครับไม่มีปัญหา(สำหรับงานผม) ลองเอาไปเล่นๆดูครับ
Code (C#)

public static System.Collections.Generic.List<string> textFileReaderFormline(string pathFileName) { System.Collections.Generic.List<string> list = new System.Collections.Generic.List<string>(); System.IO.StreamReader fs; fs = new System.IO.StreamReader(pathFileName, System.Text.Encoding.GetEncoding(874)); string line; while ((line = fs.ReadLine()) != null) { list.Add(line); } return list; }

Code (VB.NET)

 Protected Sub Page_Load(sender As Object, e As System.EventArgs) Handles Me.Load Dim sLine As String = "ข้าวมันไก่" Response.Clear() Response.ContentEncoding = Encoding.GetEncoding(874) Response.AddHeader("content-disposition", "attachment;filename=test.txt") Response.ContentType = "application/vnd.text" Response.Write(sLine) Response.End() End Sub

ตอนนี้ผมละมึนตึ๊บ คิดว่าน่าจะเป็นที่ภาษาไทย กับ ANSI ครับ

เพราะลองกับไฟล์ที่เป็นภาษาอังกฤษล้วน ทีเดียวผ่านเลย ข้อมูลมาครบหมดไม่ตกหล่น

ขอลองวิธี byte count ก่อนนะครับ ได้ผลยังไงจะมาบอกอีกที

แล้วก็เป็นอย่างนั้นจริงๆ ครับ พอใช้ byte count ทีเดียวผ่านเลยครับ ภาษาไทย

code ที่ต้องนับจำนวนตัวอักษรผมเปลี่ยนมาเป็น

Code (C#)

int tagStringLen = Encoding.UTF8.GetByteCount(tagString);int directoryLen = Encoding.UTF8.GetByteCount(directory);int varfieldLen = Encoding.UTF8.GetByteCount(varfield);