DEV Community: Wasith Theerapattrathamrong

ประเภทของ Equivalence Class Testing

Wasith Theerapattrathamrong — Wed, 02 Dec 2020 21:29:45 +0000

บทความนี้เกี่ยวกับการทดสอบระบบ จะมาเล่าถึงประเภทของ Equivalence Class Testing โดยแบ่งออกเป็น 4 กลุ่มย่อย ๆ ดังนี้

Weak Normal Equivalence Class Testing: คือการทดสอบที่ ตัวแปลแต่ละตัวจะถูกทดสอบ และผลลัพธ์จะขึ้นอยู่กับค่าเพียงค่าเดียวเท่านั้น หรือรู้จักกันในชื่อ single fault assumption
Strong Normal Equivalence Class Testing: หรือ multiple fault assumption นั้นจะทดสอบผลลัพธ์จาก inputs ที่มากกว่า 1 ตัว
Weak Robust Equivalence Class Testing: จะเหมือนกับข้อแรก แต่จะเน้นในการตรวจสอบค่าที่ไม่ถูกต้อง เช่นค่าที่อยู่นอกขอบเขต ยกตัวอย่างเช่น ถ้าฟังก์ชันที่จะทดสอบรับจำนวนเต็มที่ 0-100 และใส่ -1 เข้าไปโปรแกรมจะทำงานอย่างไร throw exception หรือไม่
Strong Robust Equivalence Class Testing: เป็นการออกแบบการทดสอบที่อาจจะผสมไปด้วยค่าที่ถถูกต้อง และค่าที่ผิด โดยอาจจะผิดทั้งหมด หรือผิดแค่บางส่วนก็ได้

ซึ่งการออกแบบ test cases ที่ดี ควรลดการซ้ำซ้อนของ test cases ต่าง ๆ ด้วย ในมุมผมใช้แค่ 3 แบบแรกก็เพียงพอแล้ว

ถ้ายังไม่เข้าใจไปดูตัวอย่าง code (ภาษา Swift) กัน

class Calculator {
  let left: Int
  let right: Int

  ...

  func leftAddedWithOne() -> Int {
    left + 1
  }

  func add() -> Int {
    left + right
  }

  ...
}

เรามาดูกันที่ 2 ฟังก์ชันของโปรแกรมข้างบน คือ leftAddedWithOne() และ add()

leftAddedWithOne() จะทำการเข้าค่า left มาเพิ่มด้วย 1 แล้วให้ผลลัพธ์ออกมา
add() จะทำการเอาค่า left กับค่า right มาบวกกัน แล้วให้ผลลัพธ์ออกมา

ถ้าเราเขียน unit test ด้วย XCTestCase อาจจะได้เป็น

let placeholderValue = Int.min

func test_whenLeftIs99_leftAddedWithOne_shouldReturn100() {
  let calculator = Calculator(left: 99, right: placeholderValue)
  XCTAssertEqual(calculator.leftAddedWithOne(), 100)
}

func test_add_shouldReturnValueOfLeftAndRightAddedTogether() {
  let calculator = Calculator(left: 99, right: -66)
  XCTAssertEqual(calculator.add(), 33)
}

จะเห็นได้ว่า test case แรก test_whenLeftIs99_leftAddedWithOne_shouldReturn100() จะไม่ได้สนใจ value ของ right โดยผลลัพธ์จะขึ้นอยู่กับค่า left อย่างเดียวเท่านั้น Test case แบบนี้จัดอยู่ในกลุ่ม Weak Normal Equivalence Class Testing

ส่วน test case ที่ 2 test_add_shouldReturnValueOfLeftAndRightAddedTogether() ผลลัพธ์จะขึ้นอยู่กับค่ามากกว่า 1 ค่า คือ left และ right ซึ่งถ้าค่าใดค่า 1 เปลี่ยนไปจะทำให้ test case นี้ fail. Test case นี้จึงจัดอยู่ในกลุ่มของ Strong Normal Equivalence Class Testing

หมายเหตุ placeholder คือ ค่าที่ใส่แค่ให้ครบตามที่โปรแรกมนั้น ๆ ต้องการไม่งั้น compile ไม่ผ่าน แต่ไม่ได้เอามาคิดคำควณกับ test case นั้น

แต่ก่อนในวงการวิทยาการคอมพิวเตอร์เรียก placeholder ว่า dummy แต่ Google ได้ออกคำแนะนำใหม่ให้เรียกว่า placeholder แทน

ส่วน robust testing

สมมุติว่ามีฟังก์ชันที่เรา string แล้วจะแปลงค่าเป็น Int ให้ โดยถ้าแปลงไม่ได้จะให้ผลลัพธ์เป็น nil แทน

func convertToInt(_ value: String) -> Int? {
  Int(value)
}

XCTAssertNil(Int("ก"))

ซึ่ง test case ที่ดีเราไม่ควรทำการทดสอบตัว framework, หรือ library ที่ใช้ในแบบข้างบนนะครับ

ขอให้สนุกกับการเขียนโค้ด สวัสดีครับ 🙏

AppStore Connect API ใหม่ กับ fastlane เจ้าเดิม

Wasith Theerapattrathamrong — Tue, 13 Oct 2020 01:29:35 +0000

หลังจากที่ AppStore Connect เปลี่ยน API เลิกการใช้ Username, password, OTP, และ app-password ไปทำให้ถึงเวลาที่ fastlane ต้องยกเครื่อง ต้องใช้ fastlane 2.162.0 ขึ้นไปเท่านั้น

Create API KEY

ขั้นแรกเราต้องเข้าไปที่ https://appstoreconnect.apple.com/access/api ก่อน หรือ

Login ที่ https://appstoreconnect.apple.com ครั้งแรกที่ทำต้องใช้ Account Holder เท่านั้น ใช้ Admin ไม่พอนะ ใครที่ทำหายไปแล้วไปตามหามาด้วย
เข้าไปที่ https://appstoreconnect.apple.com/access/api หรือ Login > Users and Access > Keys >
กด Request Access

อ่านให้เรียบร้อย แล้วติ๊กยอมรับ แล้วกด Submit หลังจากตรงนี้ใช้ Admin ขึ้นไปได้ละ

กด Generate API Key
ตั้งชื่อ เช่น Fastlane, Access เลือกเป็น level ของ user ที่เราจะให้ใช้ API Key ตัวที่กำลังจะสร้าง เลือก Developer หรือ Admin ไม่เป็นไรถ้าสร้างแล้วใช้ไม่ได้มาสร้างใหม่ได้เรื่อย ๆ
กด Download API Key ดาวโหลดได้ครั้งเดียวนะ ทำหายให้ Revoke แล้วสร้างใหม่

เอา key ที่ได้มาไปเก็บไว้ที่ปลอดภัย เช่น AWS Key Management แต่ถ้า ไม่ได้สนใจ security อะไรมากก็โพสขึ้่น pantip (หยอกนะ)

Create JSON file for App Store config in Fastlane

ต่อมาเราจะมาสร้าง .json file ที่เก็บตัวข้อมูลที่ใช้ในการต่อกับ App Store Connect

{
"key_id": "<KEY_ID>",
"issuer_id": "<ISSURE_ID>",
"key": "-----BEGIN PRIVATE KEY-----\nKEY_PART1\nKEY_PART2\n...\n-----END PRIVATE KEY-----",
"duration": 1200,
"in_house": false
}

โดยให้แทนค่า KEY_ID, ISSUE_ID ที่มาจากหน้า https://appstoreconnect.apple.com/access/api หนะแหละ แล้วเปิดไว้ .p8 ที่ดาวโหลดมาได้แล้วเอาไปแทน value ตรง key และแทนการขึ้นบรรทัดใหม่ด้วยการ \n

Use it

เหมือนเดิมเอาไปวางไว้ใน Key Management หรือ เอาง่าย ๆ ก็วางไว้กับ Fastfile เลยก็ได้ ในกรณีนี้วางไว้ที่ fastlane/app-store-connect.json

เสร็จแล้วใน Deliverfile, Matchfile, Precheckfile, หรือไฟล์ที่เกี่ยวกับ App Store Connect ว่า api_key_path("fastlane/app-store-connect.json")

เท่านี้ก็ใช้งานได้แล้ว ให้ลองใช้ distribute, match อะไรพวกนี้ดูว่าสามารถใช้งานได้หรือไม่

ปล.

จริง ๆ มีอีกวิธีคือเขียน Code ใน Fastfile แต่เราพบว่า code มันยั๊วเยี๊ยไปหมด เราเลยนำเสนอแค่แบบการใช้ config json เท่านั้น

ถ้าใครเจอ Unresolved conflict between options: 'api_key' and 'username' ให้ลองลบพวก username หรือ FASTLANE_USERNAME ออกไปเพราะมันชนกัน

Reference:

เอาคอมใส่ตู้เย็นขณะทำงานช่วยระบายความร้อนได้ดีจริงหรอ ?

Wasith Theerapattrathamrong — Thu, 21 May 2020 04:40:47 +0000

เอาคอมเข้าตู้เย็น

เป็นการทดลองเล็ก ๆ โดยการเอา MacBook Pro 16" Late 2016 (Intel Core i7-6920HQ @ 2.9 GHz (4 cores)) ไปเข้าตู้เย็นเพราะว่ามันร้อนชนสุดกำลังที่เครื่องจะรับไหว เพราะว่าผมเอาคอมทุกเครื่องที่มีเข้าโครงการ Folding@Home เพื่อช่วยประมวลผลเผื่อหาวิธีรักษาและป้องกัน COVID-19

พอผมรันไว้ที่โต๊ะทำงาน พันลมก็ดังมากเลยคิดเล่น ๆ ว่า ตู้เย็นมันเย็น มันจะช่วยให้คอมเราเย็นขึ้นได้ไหม ผมเลยทำการทดลองโดยการเอาแมคบุ๊คใส่ตู้เย็น โดยสายชาร์จก็ยังเสียบค้างไว้อยู่ โดยที่ไม่ได้เจาะตู้เย็นแต่สายชาร์จวางพาดยางหุ้มประตูออกมาเลย

การทดลอง

สำหรับการทดลอง เราใช้ MacBook เครื่องเดียวกัน กับ 2 ตู้เย็นที่แตกต่างกัน โดยกำการทดลองแบบละ 30 นาที โดยให้ทำงานทั้ง CPU และ GPU

สำหรับงานที่รันเฉพาะ CPU หรือ GPU ไม่ได้รวมอยู่ในบทความนี้

ตู้เย็นแบบธรรมดา

โดยลักษณะการทำงานของคู้เย็นชนิดนี้ จะทำงานก็ต่อเมื่อมีอุณหภูมิที่สูงกว่าที่กำหนด และหยุดทำงานหลังจากอุณภูมิตำกว่าที่กำหนด

ผลคือ ตู้เย็นระบายความร้อนไม่ทัน ในตู้ค่อนข้างร้อน และความร้อนคอมก็สูงขึ้นเรื่อย ๆ จนเกิด สิ่งที่เรียกว่า CPU throttling

CPU throttling

เป็นกระบวนการที่ตัว CPU เองจะลด clock speed หรือความเร็ว CPU ลง เพื่อให้ความร้อนลดลง เป็นการรักษา CPU ให้มีอายุนาน หรือป้องกันวงจรไหม้ โดยปกติจะรักษาให้ความร้อนไม่เกิน 100℃

ตู้เย็นแบบ inverter

เป็นตู้เย็นที่จะทำงานตลอดเวลา โดยจะปรับความแรงตามความต้องการระบายความร้อนออก เช่นร้อนมาก ก็จะทำงานเต็มกำลัง เย็นแล้ว ก็จะทำงานเบา ๆ ช้า ๆ

ผลการทดลองของตู้เย็นแบบ inverter คือ ตู้เย็นทำงานเสียงดังตลอดเวลา ในตู้เย็นกว่าอากาศข้างนอก แต่ไม่เย็นแบบตู้เย็นอีกแล้ว

ลองเอาใส่ช่องแข็ง

เนื่องจากเครื่อง MacBook อุณภูมิที่ทำงานได้อยู่ที่ 10-100℃ พออุณหภูมิของเครื่องต่ำมาก ๆ ก็ทำให้เครื่องดับไม่สามารถทำงานต่อได้

หลังเอาออกจากช่องแข็ง

เนื่องจากความเย็นที่ต่างกันมาก อาจทำให้มีไอน้ำมาเกาะเป็นหยดน้ำที่ตัวเครื่องหรือวงจรภายใน ควรเอาแช่ช่องธรรมดาต่อ โดยเปิดให้เครื่องทำงานด้วยเพราะจะได้สร้างความร้อนที่ตัวเครื่อง เพื่อให้อุณหภูมิของเครื่องไม่ต่างกับอุณหภูมิภายนอกมาก เพื่อลดการกลั่นตัวจากไอน้ำเป็นน้ำแล้วมาเกาะที่ตัวเครื่อง ที่เกิดจากอุณหภูมิที่ต่างกันเกิดไปและมีความชื้นในอากาศ ซึ่งอาจทำให้เครื่องช็อตและพังได้

ตารางสรุป

	ห้อง	ตู้เย็นธรรมดา	Inverter ช่องธรรมดา	Inverter ช่องแข็ง
CPU's temperature (~℃)	98	98	95	65-75
GPU's temperature (~℃)	90	80	60-75	33-48
Fan speed (~rpm)	~4,000	~4,000	4,000	1,200
PPD	40,000	38,000	50,000	52,000

Temperature และ fan speed ยิ่งต่ำยิ่งดี

PPD: Point per day (แต้มที่ได้จาก Folding@Home) ยิ่งมากยิ่งดี เพิ่มขึ้นจาก ~ 40,000 แต้มต่อวันเป็น 52,000 ต่อวัน

จะเห็นได้ว่าเอาเข้าตู้เย็นธรรมดา แย่กว่าไว้ในสภาพห้องเสียอีก ส่วนเอาเข้าช่องแข็งก็เครื่องจะดับได้ง่ายเพราะอุณภูมิที่ต่ำเกินไป

ปล. หลังจากเผยแพร่ออกไป จะมีความเห็นเรื่องความชื้นเยอะมาก แต่จะบอกว่าในตู้เย็นความชื้นน้อยมากครับ ในห้องผมวัดได้ 78% 28℃ แต่ในตู้เย็นวัดได้ 35% 2.8℃ ดูหลังจากใส่เครื่องวัดเข้าไปในตู้แล้วเป็นเวลา 60 นาที

เพราะโดยส่วนใหญ่ตู้เย็นหรือเครื่องปรับอากาศใช้พลังส่วนมากในการเอาความชื้นออกไปจากระบบ และส่วนหนึ่งทำให้ระบบเย็นขึ้น

ส่วนความชื้นที่มีในตู้เย็นนั้นมักจะเกิดจากการเปิดฝาตู้เย็น การเปิดตู้เย็นบ่อยเลยทำให้เปลืองไฟ

ส่วนห้องแอร์การปลูกต้นไม้ ซึ่งมีคุณสมบัติในการคายน้ำ ส่งผลให้แอร์ต้องทำงานหนัก และตามมาด้วยค่าไฟที่สูงขึ้น

Folding@home โปรเจคช่วยประมวลผลเพื่อต่อสู้ COVID-19!

Wasith Theerapattrathamrong — Tue, 19 May 2020 17:35:27 +0000

Folding@home (FAH, F@h)

ไม่ได้เป็นของใหม่อะไรเลย โดย FAH เป็นโปรเจคการประมวลผลแบบกระจาย (distributed computing) สำหรับการจำลองพลวัตของโปรตีน (protein dynamics) รวมไปถึงการประมวลผลเพื่อจำลองการขดตัว หรือการเคลื่อนไหวของโปรตีน โดยใครที่มีเครื่องคอมพิวเตอร์ว่าง ๆ ก็เอามาให้มันประมวลผลเพื่อช่วยในโปรเจคนี้ได้ ซึ่งผลของการประมวลที่ได้จะช่วยให้นักวิทยาเข้าใจในชีววิทยามากขึ้น นั่นหมายถึงอาจช่วยให้ค้นพบวิธีการรักษาโรคต่าง ๆ ได้

Download

ใครพร้อมแล้วก็ไปดาวโหลดกันกันได้เลยที่ https://foldingathome.org/start-folding/ ส่วนผมใช้ macOS อยู่แล้วก็เลือกที่จะลงแบบ geek ๆ ด้วย brew cask install folding-at-home

Community

ในไทยก็ได้มีการรวมตัวกันที่เฟสบุคกลุ่ม Folding@Home Thailand ผมไม่ได้สร้างเองนะมีคนสร้างไว้อยู่แล้ว << กดเบา ๆ เข้าไปอ่านถ้าต้องการรายละเอียดที่มากขึ้น

ซึ่งจริง ๆ เคยมีคนเขียนอธิบาย FAH ไว้ตั้งแต่ ต.ค. 59 กันเลยทีเดียว และมีการลง pantip.com ด้วยตั้งแต่ เม.ย. 60

Setup

สำหรับใครที่ไม่ต้องการ credit ใด ๆ ติดตั้งเสร็จก็สามารถกด Fold ได้เลย แต่อย่างน้อยใส่ Team Number ด้วยเลข 261333 ก็ยังดีนะ ซึ่งอยู่ในนาม Folding@Home Thailand

ถ้าต้องการเลือกว่าเราจะ support โปรเจคไหนสามารถเลือกได้ที่ Configure > Advanced > Cause Preference ผมเลือกเป็น High Priority ไป degfault เป็นโปรเจคไหนก็ได้ (Any)
ในส่วนของ Folding Power สามารถปรับพลังที่เราจะใช้ในการประมวลผลได้จาก Light - Medium - Full
Folding Slots ปกติแล้วจะมีแต่ CPU และตามด้วยจำนวน threads ในรูปจะเห็นว่าใช้อยู่ทั้งหมด 12 threads
สามารถเพิ่ม GPU ได้จาก Configure ซ้ายบน ไม่แน่ใจว่าถ้ามี CPU หลายตัว จะต้องเพิ่มเองหรือป่าว หรือมีมาให้ตั้งแต่แรก
ปุ่ม Finish ▷| เมื่อกดแล้ว โปรแกรมจะยังทำงานต่อจนกว่าจะเสร็จงานนั้น ๆ แล้วจึงจะหยุด

สมัคร

ถ้าใครอยากได้ credit สามารถลงทะเบียนได้ที่ https://apps.foldingathome.org/getpasskey โดยเราจะได้ username และ passkey สำหรับมากรอกในโปรแกรมผ่านทางอีเมลอีกที

ซึ่งที่ผมเห็นบางคนก็ใช้รหัสกระเป๋าตังตัวเองตั้งเป็น alias นะ ไม่รู้มีคนบริจาคบ้างมั้ย 555

ข้อจำกัด

สำหรับ macOS ยังไม่รองรับการประมวลผลบน GPU
ถ้าอยากช่วยบน ARM เช่น Raspberry Pi หรือโทรศัพท์มือถือให้ไปดูโปรเจค Rosetta@home แทน
ใครที่หวังว่าจะเห็นคะแนนตัวเองทันทีหลังจากจบงาน อาจจะไม่เห็นทันที เพราะระบบจะ refresh คะแนนทุก ๆ 1 ชม.

คอขวด

ซึ่งเมื่อวันที่ 27 มีนาคม 2563 มีรายงานว่าผู้เข้าร่วมโครงการ กระโดดจากประมาณ 3 หมื่นคนเป็นมากกว่า 4 แสนคนเลยทีเดียว

ซึ่งทำให้เกิดคอขวดที่เซิฟเวอร์ ที่ไม่สามารถประจายงาน และรับงานได้เร็วพอกับพลังประมวลผลที่มีอยู่ตอนนี้ คาดว่าตอนนี้ปัญหานี้น่าจะได้รับการแก้ไขแล้ว

อ่านต่อ

คำถามที่พบบ่อย https://foldingathome.org/support/faq/project-details/

ก็ไม่ได้อยากเขียนยาวมาก คิดว่าติดตั้ง และใช้งานได้ไม่ยาก แค่อยากบอกให้รู้ว่าโลกมีสิ่งนี้อยู่

สวัสดีครับ

ลง Xcode และ iOS simulators ผ่าน command-line เพื่อทำ script อัตโนมัติ

Wasith Theerapattrathamrong — Thu, 23 Apr 2020 04:24:09 +0000

xcode-install

รอบนี้เราจะมารู้จักเครื่องมือตัวนึงเป็น gem (โปรแกรมที่เขียนด้วยภาษา Ruby) สำหรับใครยังใช้ sudo gem อยู่แนะนำให้อ่าน "เราไม่ควรใช้ sudo gem" ก่อนนะครับ

ติดตั้ง

[sudo] gem install xcode-install

ซึ่งระหว่างใช้งานอาจจะมีการถาม username, password ของ Apple Developer Account ด้วย ซึ่งสามารถตั้ง environment variables ได้จาก XCODE_INSTALL_USER และ XCODE_INSTALL_PASSWORD ตามลำดับ หรือ login ผ่าน command line ก็ได้ ถ้าใครเปิด Multi-Factor authen สามารถสร้าง app password เพื่อใช้แทนรหัสผ่านจริงได้

คำสั่งพื้นฐาน สำหรับ Xcode

คำสั่งที่เราจะได้คือ xcversion ไม่ใช่ xcode-install นะ

xcversion update มันจะไปตรวจที่ developer.apple.com/downloads ว่ามีเวอร์ชั่นอะไรให้ดาวโหลดบ้าง บางครั้งใน AppStore จะใหม่กว่าหน้าเว็บนี้ เพราะฉะนั้น ถ้าไม่เจอเวอร์ชั่นใหม่ในวันแรก ๆ ก็ไม่แปลก
xcversion install <version> ไว้ติดตั้ง Xcode เวอร์ชั่นที่กำหนด
xcversion select <version> เลือกเวอร์ชั่นที่ต้องการ ใช้แทน sudo xcode-select -s <Xcode Path>
xcversion select <version> --symlink เพื่อให้ xcode-install เลือกเวอร์ชั่นและตั้ง link ไว้ที่ /Application/Xcode.app ให้
xcversion selected ไว้ดูว่าใช้ Xcodeเวอร์ชั่นใด build ไหน ใช้แทนคำสั่ง /usr/bin/xcodebuild -version
xcversion uninstall <version> ไว้ลบเวอร์ชั่นที่ไม่ใช้ทิ้ง

คำสั่งพื้นฐานสำหรับ iOS simulators

นอกจากจะดาวโหลด Xcode ได้แล้วยังสามารถดาวโหลด iOS simulators ได้ด้วย

xcversion simulators ไว้ดูว่าตอนนี้มี versions อะไรบ้าง และสามารถติดตั้ง versions อะไรได้บ้าง ทั้ง iOS, tvOS, watchOS
xcversion simulators --install=<ชื่อ simulator> เช่น xcversion simulators --install="iOS 12.4" เพื่อติดตั้ง simulatorเวอร์ชั่นที่กำหนด

ดูเพิ่มเติม

xcversion [command] --help จะช่วยให้เราดูได้ว่า สามารถใช้คำสั่งอะไรได้บ้าง และแต่ละคำสั่งคืออะไร

สรุป

เท่าที่ใช้งานก็สามารถใช้งานได้ดี เหมาะที่จะไปตั้งเป็นชุดคำสั่ง สำหรับคนที่เพิ่งติดตั้งเครื่องใหม่ได้ แต่เหมือนกับ internet ประเทศไทยจะไม่ค่อยเป็นมิตรกับเว็บ https://developer.apple.com/downloads เท่าไหร่ ซึ่งถ้าใช้เวลานานเกินไป อาจจะโหลดไม่สำเร็จได้

ถ้าเราโหลดจากเว็บ เราจะได้ .xip ซึ่งทำให้ copy ไปลงเครื่องอื่นได้ด้วย กรณีอินเตอร์เน็ตช้า แต่ถ้าติดตั้งผ่าน xcode-install จะไม่มี .xip ให้ก็อปไปเครื่องอื่น

ถ้าจะก็อป .xip ไปที่เครื่องอื่น แนะนำให้ใช้ USB Storage แทน AirDrop เพราะถ้าไฟล์ใหญ่มาก ๆ มักจะโอนผ่าน AirDrop ไม่ค่อยสำเร็จ

เหมือนเดิม ตอนนี้ก็ยังมองหางานอยู่ สนใจอยากได้ผมไปทำงานด้วยติดต่อมาได้เลยนะครับ

มาตรวจดูกันว่าโปรเจค Android, iOS project เราปลอดภัยแค่ไหนด้วย MobSF

Wasith Theerapattrathamrong — Sun, 19 Apr 2020 12:14:14 +0000

MobSF

น่าจะได้อ่านกันไปแล้วกับบทความที่แล้วกับการตรวจ dependencies ของ iOS ด้วย OWASP Dependency-Check วันนี้มาตรวจ ipa กันต่อด้วย MobSF

ซึ่ง MobSF สามารถตรวจได้ทั้งแบบ static และ dynamic สำหรับบทความนี้จะตรวจแบบ static เท่านั้น และ MobSF สามารถติดตั้งลงเครื่องก็ได้ แต่เราจะพาทำแบบใช้ docker เท่านั้น

ต้องใช้อะไรบ้าง

docker โดยผมจะข้ามการติดตั้ง docker ไป
ipa ไม่สอนการ archive ในบทความนี้เช่นกัน

เริ่ม

เมื่อเรา start docker แล้ว ให้ทำการดึง MobSF

docker pull opensecurity/mobile-security-framework-mobsf

run แบบใช้ครั้งเดียวทิ้ง

docker run --rm -it --name MobSF -p 8000:8000 opensecurity/mobile-security-framework-mobsf:latest

พอ start เสร็จแล้วก็เข้าไปที่ http://localhost:8080 แล้วโยนไฟล์ apk, ipa, หรือ zip ของ โปรเจค iOS เข้าไปได้เลย แล้วมันจะทำการวิเคราะห์ให้ทันที และพาไปหน้าผลการวิเคราะห์เมื่อเสร็จ แต่ผลของการวิเคราะห์ zip กับ ipa จะไม่เหมือนกัน

โดย zip ของ iOS ต้องไม่รวม folder project นอกสุด ให้ (ให้ไฟล์ xcodeproj อยู่ที่ root ของ zip)

ผลการทดลอง

ตัว report มีหน้าเว็บให้ดู ถ้าเราใช้ docker แล้วทุบทิ้งอาจจะดูย้อนหลังไม่ได้ ซึ่งเราสามารถดึงเป็น JSON ผ่าน API ของ MobSF หรือดาวโหลด PDF มาเก็บไว้ก็ได้

ทดลองด้วย zip ของโปรเจค iOS

ซึ่งไม่มี source code ของเราเองเลยเป็นของ dependencies ล้วน ๆ จะเจอว่า

เจอว่ามีการเก็บ keys, usersnames, passwords, ในไฟล์ของ dependencies ซึ่ง เข้าไปดูก็ไม่มี
เจอว่ามีการใส่ ip ไว้ตรง ๆ ใน source code แต่มันคือ comment ของ Alamofire
เจอว่ามีการใช้ hash ที่ไม่แข็งแรงแล้วเช่น MD5 ซึ่งมีใน source code ของ Kingfisher
เจอว่ามีการเก็บ log ซึ่งอาจจะมีการ log ข้อมูล sensitive ก็ได้ ตรงนี้ถ้าเราต้องใช้ dependencies นั้น ๆ ก็คงแก้อะไรไม่ได้ 🤣
เจอว่ามีการใช้ API ที่ไม่อนุญาต ตรงนี้เดี๋ยวตอนเอาขึ้น TestFlight เดี๋ยวมันบอกอีกทีเองแหละว่าเจอจริงหรือป่าว

แต่ก็น่าสนว่ามันสามารถวิเคราะห์ได้ประมาณนึงว่าเราพลาดอะไรหรือป่าว ที่ไฟล์ไหน ถ้าใช้กับโปรเจคจริง อาจจะเจอสิ่งที่เราพลาดไปก็ได้ แต่ถ้าต้องมาดูทุกวันคงเหนื่อยน่าดู อาจจะดู release ละครั้งก็ได้

ทดลองด้วย ipa

สำหรับการตรวจด้วย ipa นั้น จะไม่สามารถระบุได้ว่าที่ตรวจเจอหนะมาจากไฟล์ไหน

มีตรวจเจอว่าใช้คำสั่งที่อันตราย เช่น _strlen, _strncpy, _fopen, _printf, _memcpy, _sscanf แต่ดูแล้ว เราคงไม่ได้ใช้เองนะ
พบ NSLog ใน code อาจจะเผลอ log ข้อมูล sensitive ได้ – มีการใช้ _malloc ฟังก์ชัน ซึ่งอาจจองหรือเข้าถึง memory บางส่วน หรือจอง memory เยอะเกินไปได้ แหงหละ lib ของ Google ส่วนใหญ่เป็น C จะเจอก็ไม่แปลก
มีคำชมเช่นใช้ Automatic Reference Counting (ARC), Position Independent Executable (PIE), etc.
และมีการตรวจว่า domain ที่ระบุอยู่ใน source code มียิงไปหา server ที่อยู่ในรายชื่อของเว็บไม่พึงประสงค์หรือไม่ ซึ่งจะเจอเป็นของ Google, Fabric, Apple, etc. แต่ไม่เจอ domain ของ server เราเองแฮะ น่าจะเพราะไม่ได้ใส่ https:// ไว้ข้างหน้าของ string ที่ไว้เก็บ domain ของเรา (นอกงี้ hacker ก็แอบใส่ domain ที่ไม่รวม http เข้าไปใน open source ก็จะตรวจหาไม่เจอแล้วสินะ)

ทดลองด้วย apk

ซึ่งทดลองจาก Debug ที่ไม่ได้ obfuscate ไม่ใช่จาก Release อาจจะเจอช่องโหว่ หรือจุดอันตรายมากกว่าปกติ

Sign ตัวแอปด้วย SHA1 ซึ่งไม่ค่อยแข็งแรงแล้ว
จะมีการตรวจ permission ที่ขอในแอป ซึ่งบางส่วนผมก็ว่าปกตินะ ก็ต้องขออะ แต่บางส่วนผมก็ดูไม่รู้เรื่องเหมือนกัน พอดีไม่ค่อยเชี่ยว Android
Activities สามารถเข้าถึงด้วยแอปอื่นได้ บอกรายชื่อมาด้วย
เนื่องจากของ Android จะ compile เป็น object code เลยสามารถ decompile และแกะชื่อไฟล์กลับมาได้ด้วย ก็ว่าทำไม ไม่มีให้ตรวจ zip ของ Android
หลาย ๆ อย่างก็ตรวจได้ข้อเดียวกับของ iOS เช่น algorithm hash ห่วย มี log อาจจะ hardcode username, password, keys

อื้ม มีประโยชน์มากทีเดียว เพราะรอบนี้จงใจ hardcode key เข้าไป แล้วมันก็ตรวจเจอจริง ๆ (ไม่มีโปรเจคให้ดูนะ 555) จริง ๆ เราก็ไปเอา apk จากใน Play Store มาโยนเข้าไปเล่น ๆ ก็ได้ น่าจะง่ายกว่าสร้างโปรเจคมาเล่น

ทิ้งท้าย

คิดว่ามีประโยชน์มากเลยทีเดียวสำหรับ security audit หรือทีมที่พัฒนาที่ต้องการมอบความปลอดภัยให้กับผู้ใช้งาน

ซึ่งตอนเราเขียน เราอาจจะไม่มีความรู้ว่า code ที่เราเขียนส่งผลร้ายขอผู้ใช้งานอย่างไรบ้าง แต่พอเราเจอรายงานที่ระบุประเภทช่องโหว่ และไฟล์ที่ตรวจเจอ เราก็นำผลการตรวจมาแก้ไข และ code ครั้งหน้าเราก็จะทำได้ดีขึ้น

สำหรับบทความนี้ไว้เท่านี้ก่อนแล้วกันนะครับ เดี๋ยวจะยาวเกินไป ถ้ามีโอกาส จะมาเขียนให้ทำงานผ่าน build pipelines ให้ดูว่าพอจะทำยังไงได้บ้าง

สำหรับใครที่อ่านมาถึงตรงนี้ผมกำลังมองหางานอยู่ครับ ไม่มีงานทำ skill หลัก ๆ จะเป็น iOS ถ้าสนใจอยากทำงานด้วย จิ้มเบา ๆ ไปหาเบอร์โทรหรืออีเมลได้ที่ https://github.com/ph9/cv

มาตรวจดูกันว่า iOS Project เราใช้ dependencies อะไรที่เป็นอันรายหรือไม่ด้วย OWASP Dependency-Check�

Wasith Theerapattrathamrong — Sun, 19 Apr 2020 08:18:17 +0000

OWASP Dependency-Chek

td;lr ไปดูตัวอย่าง repo ได้ที่นี่ https://github.com/PH9/MadeForScan

ทำความรู้จัก OWASP Dependency-Check

เป็นเครื่องมือตรวจสอบว่าเราใช้ dependencies ที่มีช่องโหว่ที่รู้แล้ว (Common Vulnerabilities and Exposures: CVE) หรือไม่ เมื่อตรวจสอบแล้วจะทำการสร้างรายงานให้เราดูต่อไป

โดย Dependency-Check เกิดขึ้นมาเพราะว่า OWASP Top 10 (การจัดอันดับสิ่งที่นักพัฒนาชอบทำพลาด ซึ่งส่งผลให้เกิดให้ช่องโหว่ และการโจมตี) ในปี ค.ศ. 2013 พบว่ามีการใช้งานเครื่องมือ หรือชุดคำสั่งที่มีช่องโหว่ อยู่ในลำดับที่ 9

ทำยังไง

ติดตั้ง dependency-check โดยสามารถติดตั้งผ่าน Homebrew ด้วยคำสั่ง brew install dependency-check
ทำการ scan ด้วยคำสั่ง dependency-check --enableExperimental -s . -o .

ง่ายมะ... แต่เดี๋ยวก่อน!

อธิบายคำสั่ง

--enableExperimental เป็นการเรียกใช้ features ของ Dependency-Check อยู่ยังอยู่ระหว่างการทดสอบ ซึ่ง Coacoapods และ Swift Package Manager ยังเป็น experimental อยู่
-s, --scan <path> คือการบอกว่าให้ทำการตรวจสอบที่ path นี้
-o, --out <path> คือให้ออกรายงานที่ path นี้

โดย default แล้วรายงานจะออกมาเป็น html โดยเราสามารถเลือกได้เป็น HTML, XML, CSV, JSON, JUNIT, หรือ ALL (ทั้งหมด) ด้วยคำสั่ง -f, --format <format>

ทำอะไรได้เพิ่มอีกบ้าง

--junitFailOnCVSS <score> ระบุว่าจะให้ต้อง score เท่าไหร่ถึงจะผ่านถ้าเอาไปใส่ใน build pipelines ซึ่งจะมีตั้งแต่ 0-10 (ยิ่งต่ำยิ่งดี) ถ้าไม่ระบุ default จะอยู่ที่ 11 ซึ่งแปลว่าผ่านตลอดนั่นเอง โดยคำสั่งนี้จะต้องไว้ข้างหน้า -s <path> ไม่งั้นอาจจะไม่ทำงานได้
--suppression <file> เป็นการให้ dependency-check ไปอ่านไฟล์ที่รวบรวมรายชื่อ CVE ที่ไม่สนใจได้ โดยโครงสร้างของไฟล์หน้าตาประมาณนี้

<?xml version="1.0" encoding="UTF-8"?>
<suppressions xmlns="https://jeremylong.github.io/DependencyCheck/dependency-suppression.2.3.xsd">
    <suppress>
        <notes><![CDATA[
        file name: GoogleUtilities/AppDelegateSwizzler:6.5.2
        ]]></notes>
        <sha1>368d339f66194780a65f3e55481ef29a35971cc2</sha1>
        <cve>CVE-2005-0036</cve>
    </suppress>
    <suppress>
        <notes><![CDATA[
        file name: GoogleUtilities/AppDelegateSwizzler:6.5.2
        ]]></notes>
        <sha1>368d339f66194780a65f3e55481ef29a35971cc2</sha1>
        <cve>CVE-2005-0861</cve>
    </suppress>
</suppressions>

ถามว่าเราจะรู้ได้ไงว่าจะ ignore ยังไง ตอนที่ Dependency-Check ออก report ถ้าเป็น HTML จะมี ปุ่มสีเทา ๆ เขียนว่า suppress ให้คลิก และสามารถคัดลอก xml เพื่อมาใส่ได้

ถ้าในโปรเจคคุณมี Gemfile, Gemfile.lock

คุณอาจจะต้องติดตั้ง bundle-audit ด้วย โดยสามารถติดตั้งได้โดยคำสั่ง [sudo] gem install bundle-audit เพื่อให้สามารถตรวจสอบได้ เพราะ Dependency-Check ใช้โปรแกรม bundle audit ในการตรวจสอบ gem
หรือใช้คำสั่ง --disableBundleAudit ไปซะเลย เพราะยังไง gem จะไม่ถูกรวมเข้าไปใน ipa อยู่แล้ว

อ่านต่อ: เราไม่ควรใช้ “sudo gem”!!

Dependencies อะไรที่เกี่ยวกับการพัฒนา iOS แล้ว scan ไม่ได้

Dependencies ที่มาจาก Carthage
Dependencies ที่มาจาก Homebrew ซึ่งก็ไม่น่าเป็นห่วง เพราะส่วนนี้ไม่ได้ใช้ในโปรเจคอยู่แล้ว
Dependencies ที่มาจากการ copy ไฟล์ .framework, .a, .o มาวาง
และจาก Git Submodules

สรุปคือตรวจได้แค่ใน Gemfile.lock กับ Podfile.lock และจาก Swift Package Manager เท่านั้น 🤣🤣

รู้ว่ามีช่องโหว่ แล้วเอาไปทำอะไรได้บ้าง

ใช้เป็นข้ออ้างว่า dependencies มีช่องโหว่ เพื่อทำการอัพเดท dependencies ที่ใช้ เพราะบางที่ไม่ยอมให้อัพบ่อย ๆ
หรือกลับกัน บางที่นักพัฒนาเองทำงานไปเรื่อย ๆ ไม่เคยอัพเดท dependencies เลย
ยกระดับมาตรฐานของโปรแกรมที่พัฒนา
ออกคำเตือนสำหรับผู้ใช้โปรแกรมเวอร์ชั่นเก่า ๆ ให้ทำการอัพเดท

ส่วนใหญ่ถ้า CVE ออก มันจะมีการแก้ไขก่อนเปิดเผย หรือแก้ไขตามมาในไม่นาน และหลาย ๆ ครั้งการแก้บัคใน open-sources จะมี commit ให้ดูว่าแก้ตรงไหนไป ทำให้ hacker สามารถ reverse engineer ดูได้ง่ายว่าจะทำการโจมตีอย่างไร

ป.ล.

จะบอกก่อนว่าตัวที่ทำ static scan นั้น มีหลายตัวมาก แต่เจิม dev.to ด้วย OWASP Dependency-Check ก่อนแล้วกัน
OWASP Dependency-Check ตรวจสอบโปรเจคอื่น ๆ นอกจาก iOS ได้ด้วยนะ เยอะเลยลองไปเล่นกันอยู่ได้
dev.to ใช้ Markdown format ซึ่งผมชอบเป็นการส่วนตัวอยู่แล้ว แต่พอบทความเป็นภาษาไทยมันจะดูอ่านยากแปลก ๆ นะ 555