chacha-ppc.s 18 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416516616716816917017117217317417517617717817918018118218318418518618718818919019119219319419519619719819920020120220320420520620720820921021121221321421521621721821922022122222322422522622722822923023123223323423523623723823924024124224324424524624724824925025125225325425525625725825926026126226326426526626726826927027127227327427527627727827928028128228328428528628728828929029129229329429529629729829930030130230330430530630730830931031131231331431531631731831932032132232332432532632732832933033133233333433533633733833934034134234334434534634734834935035135235335435535635735835936036136236336436536636736836937037137237337437537637737837938038138238338438538638738838939039139239339439539639739839940040140240340440540640740840941041141241341441541641741841942042142242342442542642742842943043143243343443543643743843944044144244344444544644744844945045145245345445545645745845946046146246346446546646746846947047147247347447547647747847948048148248348448548648748848949049149249349449549649749849950050150250350450550650750850951051151251351451551651751851952052152252352452552652752852953053153253353453553653753853954054154254354454554654754854955055155255355455555655755855956056156256356456556656756856957057157257357457557657757857958058158258358458558658758858959059159259359459559659759859960060160260360460560660760860961061161261361461561661761861962062162262362462562662762862963063163263363463563663763863964064164264364464564664764864965065165265365465565665765865966066166266366466566666766866967067167267367467567667767867968068168268368468568668768868969069169269369469569669769869970070170270370470570670770870971071171271371471571671771871972072172272372472572672772872973073173273373473573673773873974074174274374474574674774874975075175275375475575675775875976076176276376476576676776876977077177277377477577677777877978078178278378478578678778878979079179279379479579679779879980080180280380480580680780880981081181281381481581681781881982082182282382482582682782882983083183283383483583683783883984084184284384484584684784884985085185285385485585685785885986086186286386486586686786886987087187287387487587687787887988088188288388488588688788888989089189289389489589689789889990090190290390490590690790890991091191291391491591691791891992092192292392492592692792892993093193293393493593693793893994094194294394494594694794894995095195295395495595695795895996096196296396496596696796896997097197297397497597697797897998098198298398498598698798898999099199299399499599699799899910001001100210031004100510061007100810091010101110121013101410151016101710181019102010211022102310241025102610271028102910301031103210331034103510361037103810391040104110421043104410451046104710481049105010511052105310541055105610571058105910601061106210631064106510661067106810691070107110721073107410751076107710781079108010811082108310841085108610871088108910901091109210931094109510961097109810991100110111021103110411051106110711081109111011111112111311141115111611171118111911201121112211231124112511261127112811291130113111321133113411351136113711381139114011411142114311441145114611471148114911501151115211531154115511561157115811591160116111621163116411651166116711681169117011711172117311741175117611771178117911801181118211831184118511861187118811891190119111921193119411951196119711981199120012011202120312041205120612071208120912101211121212131214121512161217121812191220122112221223122412251226122712281229123012311232123312341235123612371238123912401241124212431244124512461247124812491250125112521253125412551256125712581259126012611262126312641265126612671268126912701271127212731274127512761277127812791280128112821283128412851286128712881289129012911292129312941295129612971298129913001301130213031304130513061307130813091310131113121313131413151316131713181319132013211322132313241325132613271328132913301331133213331334133513361337133813391340134113421343134413451346134713481349135013511352135313541355135613571358135913601361136213631364136513661367136813691370
  1. .machine "any"
  2. .abiversion 2
  3. .text
  4. .globl ChaCha20_ctr32_int
  5. .type ChaCha20_ctr32_int,@function
  6. .align 5
  7. ChaCha20_ctr32_int:
  8. .localentry ChaCha20_ctr32_int,0
  9. __ChaCha20_ctr32_int:
  10. cmpldi 5,0
  11. .long 0x4DC20020
  12. stdu 1,-256(1)
  13. mflr 0
  14. std 14,112(1)
  15. std 15,120(1)
  16. std 16,128(1)
  17. std 17,136(1)
  18. std 18,144(1)
  19. std 19,152(1)
  20. std 20,160(1)
  21. std 21,168(1)
  22. std 22,176(1)
  23. std 23,184(1)
  24. std 24,192(1)
  25. std 25,200(1)
  26. std 26,208(1)
  27. std 27,216(1)
  28. std 28,224(1)
  29. std 29,232(1)
  30. std 30,240(1)
  31. std 31,248(1)
  32. std 0,272(1)
  33. lwz 11,0(7)
  34. lwz 12,4(7)
  35. lwz 14,8(7)
  36. lwz 15,12(7)
  37. bl __ChaCha20_1x
  38. ld 0,272(1)
  39. ld 14,112(1)
  40. ld 15,120(1)
  41. ld 16,128(1)
  42. ld 17,136(1)
  43. ld 18,144(1)
  44. ld 19,152(1)
  45. ld 20,160(1)
  46. ld 21,168(1)
  47. ld 22,176(1)
  48. ld 23,184(1)
  49. ld 24,192(1)
  50. ld 25,200(1)
  51. ld 26,208(1)
  52. ld 27,216(1)
  53. ld 28,224(1)
  54. ld 29,232(1)
  55. ld 30,240(1)
  56. ld 31,248(1)
  57. mtlr 0
  58. addi 1,1,256
  59. blr
  60. .long 0
  61. .byte 0,12,4,1,0x80,18,5,0
  62. .long 0
  63. .size ChaCha20_ctr32_int,.-ChaCha20_ctr32_int
  64. .align 5
  65. __ChaCha20_1x:
  66. .Loop_outer:
  67. lis 16,0x6170
  68. lis 17,0x3320
  69. lis 18,0x7962
  70. lis 19,0x6b20
  71. ori 16,16,0x7865
  72. ori 17,17,0x646e
  73. ori 18,18,0x2d32
  74. ori 19,19,0x6574
  75. li 0,10
  76. lwz 20,0(6)
  77. lwz 21,4(6)
  78. lwz 22,8(6)
  79. lwz 23,12(6)
  80. lwz 24,16(6)
  81. mr 28,11
  82. lwz 25,20(6)
  83. mr 29,12
  84. lwz 26,24(6)
  85. mr 30,14
  86. lwz 27,28(6)
  87. mr 31,15
  88. mr 7,20
  89. mr 8,21
  90. mr 9,22
  91. mr 10,23
  92. mtctr 0
  93. .Loop:
  94. add 16,16,20
  95. add 17,17,21
  96. add 18,18,22
  97. add 19,19,23
  98. xor 28,28,16
  99. xor 29,29,17
  100. xor 30,30,18
  101. xor 31,31,19
  102. rotlwi 28,28,16
  103. rotlwi 29,29,16
  104. rotlwi 30,30,16
  105. rotlwi 31,31,16
  106. add 24,24,28
  107. add 25,25,29
  108. add 26,26,30
  109. add 27,27,31
  110. xor 20,20,24
  111. xor 21,21,25
  112. xor 22,22,26
  113. xor 23,23,27
  114. rotlwi 20,20,12
  115. rotlwi 21,21,12
  116. rotlwi 22,22,12
  117. rotlwi 23,23,12
  118. add 16,16,20
  119. add 17,17,21
  120. add 18,18,22
  121. add 19,19,23
  122. xor 28,28,16
  123. xor 29,29,17
  124. xor 30,30,18
  125. xor 31,31,19
  126. rotlwi 28,28,8
  127. rotlwi 29,29,8
  128. rotlwi 30,30,8
  129. rotlwi 31,31,8
  130. add 24,24,28
  131. add 25,25,29
  132. add 26,26,30
  133. add 27,27,31
  134. xor 20,20,24
  135. xor 21,21,25
  136. xor 22,22,26
  137. xor 23,23,27
  138. rotlwi 20,20,7
  139. rotlwi 21,21,7
  140. rotlwi 22,22,7
  141. rotlwi 23,23,7
  142. add 16,16,21
  143. add 17,17,22
  144. add 18,18,23
  145. add 19,19,20
  146. xor 31,31,16
  147. xor 28,28,17
  148. xor 29,29,18
  149. xor 30,30,19
  150. rotlwi 31,31,16
  151. rotlwi 28,28,16
  152. rotlwi 29,29,16
  153. rotlwi 30,30,16
  154. add 26,26,31
  155. add 27,27,28
  156. add 24,24,29
  157. add 25,25,30
  158. xor 21,21,26
  159. xor 22,22,27
  160. xor 23,23,24
  161. xor 20,20,25
  162. rotlwi 21,21,12
  163. rotlwi 22,22,12
  164. rotlwi 23,23,12
  165. rotlwi 20,20,12
  166. add 16,16,21
  167. add 17,17,22
  168. add 18,18,23
  169. add 19,19,20
  170. xor 31,31,16
  171. xor 28,28,17
  172. xor 29,29,18
  173. xor 30,30,19
  174. rotlwi 31,31,8
  175. rotlwi 28,28,8
  176. rotlwi 29,29,8
  177. rotlwi 30,30,8
  178. add 26,26,31
  179. add 27,27,28
  180. add 24,24,29
  181. add 25,25,30
  182. xor 21,21,26
  183. xor 22,22,27
  184. xor 23,23,24
  185. xor 20,20,25
  186. rotlwi 21,21,7
  187. rotlwi 22,22,7
  188. rotlwi 23,23,7
  189. rotlwi 20,20,7
  190. bdnz .Loop
  191. subic 5,5,64
  192. addi 16,16,0x7865
  193. addi 17,17,0x646e
  194. addi 18,18,0x2d32
  195. addi 19,19,0x6574
  196. addis 16,16,0x6170
  197. addis 17,17,0x3320
  198. addis 18,18,0x7962
  199. addis 19,19,0x6b20
  200. subfe. 0,0,0
  201. add 20,20,7
  202. lwz 7,16(6)
  203. add 21,21,8
  204. lwz 8,20(6)
  205. add 22,22,9
  206. lwz 9,24(6)
  207. add 23,23,10
  208. lwz 10,28(6)
  209. add 24,24,7
  210. add 25,25,8
  211. add 26,26,9
  212. add 27,27,10
  213. add 28,28,11
  214. add 29,29,12
  215. add 30,30,14
  216. add 31,31,15
  217. addi 11,11,1
  218. bne .Ltail
  219. lwz 7,0(4)
  220. lwz 8,4(4)
  221. cmpldi 5,0
  222. lwz 9,8(4)
  223. lwz 10,12(4)
  224. xor 16,16,7
  225. lwz 7,16(4)
  226. xor 17,17,8
  227. lwz 8,20(4)
  228. xor 18,18,9
  229. lwz 9,24(4)
  230. xor 19,19,10
  231. lwz 10,28(4)
  232. xor 20,20,7
  233. lwz 7,32(4)
  234. xor 21,21,8
  235. lwz 8,36(4)
  236. xor 22,22,9
  237. lwz 9,40(4)
  238. xor 23,23,10
  239. lwz 10,44(4)
  240. xor 24,24,7
  241. lwz 7,48(4)
  242. xor 25,25,8
  243. lwz 8,52(4)
  244. xor 26,26,9
  245. lwz 9,56(4)
  246. xor 27,27,10
  247. lwz 10,60(4)
  248. xor 28,28,7
  249. stw 16,0(3)
  250. xor 29,29,8
  251. stw 17,4(3)
  252. xor 30,30,9
  253. stw 18,8(3)
  254. xor 31,31,10
  255. stw 19,12(3)
  256. stw 20,16(3)
  257. stw 21,20(3)
  258. stw 22,24(3)
  259. stw 23,28(3)
  260. stw 24,32(3)
  261. stw 25,36(3)
  262. stw 26,40(3)
  263. stw 27,44(3)
  264. stw 28,48(3)
  265. stw 29,52(3)
  266. stw 30,56(3)
  267. addi 4,4,64
  268. stw 31,60(3)
  269. addi 3,3,64
  270. bne .Loop_outer
  271. blr
  272. .align 4
  273. .Ltail:
  274. addi 5,5,64
  275. subi 4,4,1
  276. subi 3,3,1
  277. addi 7,1,48-1
  278. mtctr 5
  279. stw 16,48(1)
  280. stw 17,52(1)
  281. stw 18,56(1)
  282. stw 19,60(1)
  283. stw 20,64(1)
  284. stw 21,68(1)
  285. stw 22,72(1)
  286. stw 23,76(1)
  287. stw 24,80(1)
  288. stw 25,84(1)
  289. stw 26,88(1)
  290. stw 27,92(1)
  291. stw 28,96(1)
  292. stw 29,100(1)
  293. stw 30,104(1)
  294. stw 31,108(1)
  295. .Loop_tail:
  296. lbzu 11,1(4)
  297. lbzu 16,1(7)
  298. xor 12,11,16
  299. stbu 12,1(3)
  300. bdnz .Loop_tail
  301. stw 1,48(1)
  302. stw 1,52(1)
  303. stw 1,56(1)
  304. stw 1,60(1)
  305. stw 1,64(1)
  306. stw 1,68(1)
  307. stw 1,72(1)
  308. stw 1,76(1)
  309. stw 1,80(1)
  310. stw 1,84(1)
  311. stw 1,88(1)
  312. stw 1,92(1)
  313. stw 1,96(1)
  314. stw 1,100(1)
  315. stw 1,104(1)
  316. stw 1,108(1)
  317. blr
  318. .long 0
  319. .byte 0,12,0x14,0,0,0,0,0
  320. .globl ChaCha20_ctr32_vmx
  321. .type ChaCha20_ctr32_vmx,@function
  322. .align 5
  323. ChaCha20_ctr32_vmx:
  324. .localentry ChaCha20_ctr32_vmx,0
  325. cmpldi 5,256
  326. blt __ChaCha20_ctr32_int
  327. stdu 1,-416(1)
  328. mflr 0
  329. li 10,127
  330. li 11,143
  331. li 12,-1
  332. stvx 23,10,1
  333. addi 10,10,32
  334. stvx 24,11,1
  335. addi 11,11,32
  336. stvx 25,10,1
  337. addi 10,10,32
  338. stvx 26,11,1
  339. addi 11,11,32
  340. stvx 27,10,1
  341. addi 10,10,32
  342. stvx 28,11,1
  343. addi 11,11,32
  344. stvx 29,10,1
  345. addi 10,10,32
  346. stvx 30,11,1
  347. stvx 31,10,1
  348. stw 12,268(1)
  349. std 14,272(1)
  350. std 15,280(1)
  351. std 16,288(1)
  352. std 17,296(1)
  353. std 18,304(1)
  354. std 19,312(1)
  355. std 20,320(1)
  356. std 21,328(1)
  357. std 22,336(1)
  358. std 23,344(1)
  359. std 24,352(1)
  360. std 25,360(1)
  361. std 26,368(1)
  362. std 27,376(1)
  363. std 28,384(1)
  364. std 29,392(1)
  365. std 30,400(1)
  366. std 31,408(1)
  367. li 12,-4096+511
  368. std 0, 432(1)
  369. or 12,12,12
  370. bl .Lconsts
  371. li 16,16
  372. li 17,32
  373. li 18,48
  374. li 19,64
  375. li 20,31
  376. li 21,15
  377. lvx 13,0,6
  378. lvsr 29,0,6
  379. lvx 14,16,6
  380. lvx 27,20,6
  381. lvx 15,0,7
  382. lvsr 30,0,7
  383. lvx 28,21,7
  384. lvx 12,0,12
  385. lvx 17,16,12
  386. lvx 18,17,12
  387. lvx 19,18,12
  388. lvx 23,19,12
  389. vperm 13,14,13,29
  390. vperm 14,27,14,29
  391. vperm 15,28,15,30
  392. lwz 11,0(7)
  393. lwz 12,4(7)
  394. vadduwm 15,15,17
  395. lwz 14,8(7)
  396. vadduwm 16,15,17
  397. lwz 15,12(7)
  398. vadduwm 17,16,17
  399. vxor 29,29,29
  400. vspltisw 26,-1
  401. lvsr 24,0,4
  402. lvsl 25,0,3
  403. vperm 26,26,29,25
  404. li 0,10
  405. b .Loop_outer_vmx
  406. .align 4
  407. .Loop_outer_vmx:
  408. lis 16,0x6170
  409. lis 17,0x3320
  410. vor 0,12,12
  411. lis 18,0x7962
  412. lis 19,0x6b20
  413. vor 4,12,12
  414. ori 16,16,0x7865
  415. ori 17,17,0x646e
  416. vor 8,12,12
  417. ori 18,18,0x2d32
  418. ori 19,19,0x6574
  419. vor 1,13,13
  420. lwz 20,0(6)
  421. vor 5,13,13
  422. lwz 21,4(6)
  423. vor 9,13,13
  424. lwz 22,8(6)
  425. vor 2,14,14
  426. lwz 23,12(6)
  427. vor 6,14,14
  428. lwz 24,16(6)
  429. vor 10,14,14
  430. mr 28,11
  431. lwz 25,20(6)
  432. vor 3,15,15
  433. mr 29,12
  434. lwz 26,24(6)
  435. vor 7,16,16
  436. mr 30,14
  437. lwz 27,28(6)
  438. vor 11,17,17
  439. mr 31,15
  440. mr 7,20
  441. mr 8,21
  442. mr 9,22
  443. mr 10,23
  444. vspltisw 27,12
  445. vspltisw 28,7
  446. mtctr 0
  447. nop
  448. .Loop_vmx:
  449. vadduwm 0,0,1
  450. vadduwm 4,4,5
  451. vadduwm 8,8,9
  452. add 16,16,20
  453. add 17,17,21
  454. add 18,18,22
  455. vxor 3,3,0
  456. vxor 7,7,4
  457. vxor 11,11,8
  458. add 19,19,23
  459. xor 28,28,16
  460. xor 29,29,17
  461. vperm 3,3,3,19
  462. vperm 7,7,7,19
  463. vperm 11,11,11,19
  464. xor 30,30,18
  465. xor 31,31,19
  466. rotlwi 28,28,16
  467. vadduwm 2,2,3
  468. vadduwm 6,6,7
  469. vadduwm 10,10,11
  470. rotlwi 29,29,16
  471. rotlwi 30,30,16
  472. rotlwi 31,31,16
  473. vxor 1,1,2
  474. vxor 5,5,6
  475. vxor 9,9,10
  476. add 24,24,28
  477. add 25,25,29
  478. add 26,26,30
  479. vrlw 1,1,27
  480. vrlw 5,5,27
  481. vrlw 9,9,27
  482. add 27,27,31
  483. xor 20,20,24
  484. xor 21,21,25
  485. vadduwm 0,0,1
  486. vadduwm 4,4,5
  487. vadduwm 8,8,9
  488. xor 22,22,26
  489. xor 23,23,27
  490. rotlwi 20,20,12
  491. vxor 3,3,0
  492. vxor 7,7,4
  493. vxor 11,11,8
  494. rotlwi 21,21,12
  495. rotlwi 22,22,12
  496. rotlwi 23,23,12
  497. vperm 3,3,3,23
  498. vperm 7,7,7,23
  499. vperm 11,11,11,23
  500. add 16,16,20
  501. add 17,17,21
  502. add 18,18,22
  503. vadduwm 2,2,3
  504. vadduwm 6,6,7
  505. vadduwm 10,10,11
  506. add 19,19,23
  507. xor 28,28,16
  508. xor 29,29,17
  509. vxor 1,1,2
  510. vxor 5,5,6
  511. vxor 9,9,10
  512. xor 30,30,18
  513. xor 31,31,19
  514. rotlwi 28,28,8
  515. vrlw 1,1,28
  516. vrlw 5,5,28
  517. vrlw 9,9,28
  518. rotlwi 29,29,8
  519. rotlwi 30,30,8
  520. rotlwi 31,31,8
  521. vsldoi 2,2,2, 8
  522. vsldoi 6,6,6, 8
  523. vsldoi 10,10,10, 8
  524. add 24,24,28
  525. add 25,25,29
  526. add 26,26,30
  527. vsldoi 1,1,1, 12
  528. vsldoi 5,5,5, 12
  529. vsldoi 9,9,9, 12
  530. add 27,27,31
  531. xor 20,20,24
  532. xor 21,21,25
  533. vsldoi 3,3,3, 4
  534. vsldoi 7,7,7, 4
  535. vsldoi 11,11,11, 4
  536. xor 22,22,26
  537. xor 23,23,27
  538. rotlwi 20,20,7
  539. rotlwi 21,21,7
  540. rotlwi 22,22,7
  541. rotlwi 23,23,7
  542. vadduwm 0,0,1
  543. vadduwm 4,4,5
  544. vadduwm 8,8,9
  545. add 16,16,21
  546. add 17,17,22
  547. add 18,18,23
  548. vxor 3,3,0
  549. vxor 7,7,4
  550. vxor 11,11,8
  551. add 19,19,20
  552. xor 31,31,16
  553. xor 28,28,17
  554. vperm 3,3,3,19
  555. vperm 7,7,7,19
  556. vperm 11,11,11,19
  557. xor 29,29,18
  558. xor 30,30,19
  559. rotlwi 31,31,16
  560. vadduwm 2,2,3
  561. vadduwm 6,6,7
  562. vadduwm 10,10,11
  563. rotlwi 28,28,16
  564. rotlwi 29,29,16
  565. rotlwi 30,30,16
  566. vxor 1,1,2
  567. vxor 5,5,6
  568. vxor 9,9,10
  569. add 26,26,31
  570. add 27,27,28
  571. add 24,24,29
  572. vrlw 1,1,27
  573. vrlw 5,5,27
  574. vrlw 9,9,27
  575. add 25,25,30
  576. xor 21,21,26
  577. xor 22,22,27
  578. vadduwm 0,0,1
  579. vadduwm 4,4,5
  580. vadduwm 8,8,9
  581. xor 23,23,24
  582. xor 20,20,25
  583. rotlwi 21,21,12
  584. vxor 3,3,0
  585. vxor 7,7,4
  586. vxor 11,11,8
  587. rotlwi 22,22,12
  588. rotlwi 23,23,12
  589. rotlwi 20,20,12
  590. vperm 3,3,3,23
  591. vperm 7,7,7,23
  592. vperm 11,11,11,23
  593. add 16,16,21
  594. add 17,17,22
  595. add 18,18,23
  596. vadduwm 2,2,3
  597. vadduwm 6,6,7
  598. vadduwm 10,10,11
  599. add 19,19,20
  600. xor 31,31,16
  601. xor 28,28,17
  602. vxor 1,1,2
  603. vxor 5,5,6
  604. vxor 9,9,10
  605. xor 29,29,18
  606. xor 30,30,19
  607. rotlwi 31,31,8
  608. vrlw 1,1,28
  609. vrlw 5,5,28
  610. vrlw 9,9,28
  611. rotlwi 28,28,8
  612. rotlwi 29,29,8
  613. rotlwi 30,30,8
  614. vsldoi 2,2,2, 8
  615. vsldoi 6,6,6, 8
  616. vsldoi 10,10,10, 8
  617. add 26,26,31
  618. add 27,27,28
  619. add 24,24,29
  620. vsldoi 1,1,1, 4
  621. vsldoi 5,5,5, 4
  622. vsldoi 9,9,9, 4
  623. add 25,25,30
  624. xor 21,21,26
  625. xor 22,22,27
  626. vsldoi 3,3,3, 12
  627. vsldoi 7,7,7, 12
  628. vsldoi 11,11,11, 12
  629. xor 23,23,24
  630. xor 20,20,25
  631. rotlwi 21,21,7
  632. rotlwi 22,22,7
  633. rotlwi 23,23,7
  634. rotlwi 20,20,7
  635. bdnz .Loop_vmx
  636. subi 5,5,256
  637. addi 16,16,0x7865
  638. addi 17,17,0x646e
  639. addi 18,18,0x2d32
  640. addi 19,19,0x6574
  641. addis 16,16,0x6170
  642. addis 17,17,0x3320
  643. addis 18,18,0x7962
  644. addis 19,19,0x6b20
  645. add 20,20,7
  646. lwz 7,16(6)
  647. add 21,21,8
  648. lwz 8,20(6)
  649. add 22,22,9
  650. lwz 9,24(6)
  651. add 23,23,10
  652. lwz 10,28(6)
  653. add 24,24,7
  654. add 25,25,8
  655. add 26,26,9
  656. add 27,27,10
  657. add 28,28,11
  658. add 29,29,12
  659. add 30,30,14
  660. add 31,31,15
  661. vadduwm 0,0,12
  662. vadduwm 4,4,12
  663. vadduwm 8,8,12
  664. vadduwm 1,1,13
  665. vadduwm 5,5,13
  666. vadduwm 9,9,13
  667. vadduwm 2,2,14
  668. vadduwm 6,6,14
  669. vadduwm 10,10,14
  670. vadduwm 3,3,15
  671. vadduwm 7,7,16
  672. vadduwm 11,11,17
  673. addi 11,11,4
  674. vadduwm 15,15,18
  675. vadduwm 16,16,18
  676. vadduwm 17,17,18
  677. lwz 7,0(4)
  678. lwz 8,4(4)
  679. lwz 9,8(4)
  680. lwz 10,12(4)
  681. xor 16,16,7
  682. lwz 7,16(4)
  683. xor 17,17,8
  684. lwz 8,20(4)
  685. xor 18,18,9
  686. lwz 9,24(4)
  687. xor 19,19,10
  688. lwz 10,28(4)
  689. xor 20,20,7
  690. lwz 7,32(4)
  691. xor 21,21,8
  692. lwz 8,36(4)
  693. xor 22,22,9
  694. lwz 9,40(4)
  695. xor 23,23,10
  696. lwz 10,44(4)
  697. xor 24,24,7
  698. lwz 7,48(4)
  699. xor 25,25,8
  700. lwz 8,52(4)
  701. xor 26,26,9
  702. lwz 9,56(4)
  703. xor 27,27,10
  704. lwz 10,60(4)
  705. xor 28,28,7
  706. stw 16,0(3)
  707. xor 29,29,8
  708. stw 17,4(3)
  709. xor 30,30,9
  710. stw 18,8(3)
  711. xor 31,31,10
  712. stw 19,12(3)
  713. addi 4,4,64
  714. stw 20,16(3)
  715. li 7,16
  716. stw 21,20(3)
  717. li 8,32
  718. stw 22,24(3)
  719. li 9,48
  720. stw 23,28(3)
  721. li 10,64
  722. stw 24,32(3)
  723. stw 25,36(3)
  724. stw 26,40(3)
  725. stw 27,44(3)
  726. stw 28,48(3)
  727. stw 29,52(3)
  728. stw 30,56(3)
  729. stw 31,60(3)
  730. addi 3,3,64
  731. lvx 27,0,4
  732. lvx 28,7,4
  733. lvx 29,8,4
  734. lvx 30,9,4
  735. lvx 31,10,4
  736. addi 4,4,64
  737. vperm 27,28,27,24
  738. vperm 28,29,28,24
  739. vperm 29,30,29,24
  740. vperm 30,31,30,24
  741. vxor 0,0,27
  742. vxor 1,1,28
  743. lvx 28,7,4
  744. vxor 2,2,29
  745. lvx 29,8,4
  746. vxor 3,3,30
  747. lvx 30,9,4
  748. lvx 27,10,4
  749. addi 4,4,64
  750. li 10,63
  751. vperm 0,0,0,25
  752. vperm 1,1,1,25
  753. vperm 2,2,2,25
  754. vperm 3,3,3,25
  755. vperm 31,28,31,24
  756. vperm 28,29,28,24
  757. vperm 29,30,29,24
  758. vperm 30,27,30,24
  759. vxor 4,4,31
  760. vxor 5,5,28
  761. lvx 28,7,4
  762. vxor 6,6,29
  763. lvx 29,8,4
  764. vxor 7,7,30
  765. lvx 30,9,4
  766. lvx 31,10,4
  767. addi 4,4,64
  768. vperm 4,4,4,25
  769. vperm 5,5,5,25
  770. vperm 6,6,6,25
  771. vperm 7,7,7,25
  772. vperm 27,28,27,24
  773. vperm 28,29,28,24
  774. vperm 29,30,29,24
  775. vperm 30,31,30,24
  776. vxor 8,8,27
  777. vxor 9,9,28
  778. vxor 10,10,29
  779. vxor 11,11,30
  780. vperm 8,8,8,25
  781. vperm 9,9,9,25
  782. vperm 10,10,10,25
  783. vperm 11,11,11,25
  784. andi. 17,3,15
  785. mr 16,3
  786. vsel 27,0,1,26
  787. vsel 28,1,2,26
  788. vsel 29,2,3,26
  789. vsel 30,3,4,26
  790. vsel 1,4,5,26
  791. vsel 2,5,6,26
  792. vsel 3,6,7,26
  793. vsel 4,7,8,26
  794. vsel 5,8,9,26
  795. vsel 6,9,10,26
  796. vsel 7,10,11,26
  797. stvx 27,7,3
  798. stvx 28,8,3
  799. stvx 29,9,3
  800. addi 3,3,64
  801. stvx 30,0,3
  802. stvx 1,7,3
  803. stvx 2,8,3
  804. stvx 3,9,3
  805. addi 3,3,64
  806. stvx 4,0,3
  807. stvx 5,7,3
  808. stvx 6,8,3
  809. stvx 7,9,3
  810. addi 3,3,64
  811. beq .Laligned_vmx
  812. sub 18,3,17
  813. li 19,0
  814. .Lunaligned_tail_vmx:
  815. stvebx 11,19,18
  816. addi 19,19,1
  817. cmpw 19,17
  818. bne .Lunaligned_tail_vmx
  819. sub 18,16,17
  820. .Lunaligned_head_vmx:
  821. stvebx 0,17,18
  822. cmpwi 17,15
  823. addi 17,17,1
  824. bne .Lunaligned_head_vmx
  825. cmpldi 5,255
  826. bgt .Loop_outer_vmx
  827. b .Ldone_vmx
  828. .align 4
  829. .Laligned_vmx:
  830. stvx 0,0,16
  831. cmpldi 5,255
  832. bgt .Loop_outer_vmx
  833. nop
  834. .Ldone_vmx:
  835. cmpldi 5,0
  836. bnel __ChaCha20_1x
  837. lwz 12,268(1)
  838. li 10,127
  839. li 11,143
  840. or 12,12,12
  841. lvx 23,10,1
  842. addi 10,10,32
  843. lvx 24,11,1
  844. addi 11,11,32
  845. lvx 25,10,1
  846. addi 10,10,32
  847. lvx 26,11,1
  848. addi 11,11,32
  849. lvx 27,10,1
  850. addi 10,10,32
  851. lvx 28,11,1
  852. addi 11,11,32
  853. lvx 29,10,1
  854. addi 10,10,32
  855. lvx 30,11,1
  856. lvx 31,10,1
  857. ld 0, 432(1)
  858. ld 14,272(1)
  859. ld 15,280(1)
  860. ld 16,288(1)
  861. ld 17,296(1)
  862. ld 18,304(1)
  863. ld 19,312(1)
  864. ld 20,320(1)
  865. ld 21,328(1)
  866. ld 22,336(1)
  867. ld 23,344(1)
  868. ld 24,352(1)
  869. ld 25,360(1)
  870. ld 26,368(1)
  871. ld 27,376(1)
  872. ld 28,384(1)
  873. ld 29,392(1)
  874. ld 30,400(1)
  875. ld 31,408(1)
  876. mtlr 0
  877. addi 1,1,416
  878. blr
  879. .long 0
  880. .byte 0,12,0x04,1,0x80,18,5,0
  881. .long 0
  882. .size ChaCha20_ctr32_vmx,.-ChaCha20_ctr32_vmx
  883. .globl ChaCha20_ctr32_vsx
  884. .type ChaCha20_ctr32_vsx,@function
  885. .align 5
  886. ChaCha20_ctr32_vsx:
  887. .localentry ChaCha20_ctr32_vsx,0
  888. stdu 1,-224(1)
  889. mflr 0
  890. li 10,127
  891. li 11,143
  892. li 12,-1
  893. stvx 26,10,1
  894. addi 10,10,32
  895. stvx 27,11,1
  896. addi 11,11,32
  897. stvx 28,10,1
  898. addi 10,10,32
  899. stvx 29,11,1
  900. addi 11,11,32
  901. stvx 30,10,1
  902. stvx 31,11,1
  903. stw 12,220(1)
  904. li 12,-4096+63
  905. std 0, 240(1)
  906. or 12,12,12
  907. bl .Lconsts
  908. .long 0x7E006619
  909. addi 12,12,0x50
  910. li 8,16
  911. li 9,32
  912. li 10,48
  913. li 11,64
  914. .long 0x7E203619
  915. .long 0x7E483619
  916. .long 0x7E603E19
  917. vxor 27,27,27
  918. .long 0x7F8B6619
  919. vspltw 26,19,0
  920. vsldoi 19,19,27,4
  921. vsldoi 19,27,19,12
  922. vadduwm 26,26,28
  923. li 0,10
  924. mtctr 0
  925. b .Loop_outer_vsx
  926. .align 5
  927. .Loop_outer_vsx:
  928. lvx 0,0,12
  929. lvx 1,8,12
  930. lvx 2,9,12
  931. lvx 3,10,12
  932. vspltw 4,17,0
  933. vspltw 5,17,1
  934. vspltw 6,17,2
  935. vspltw 7,17,3
  936. vspltw 8,18,0
  937. vspltw 9,18,1
  938. vspltw 10,18,2
  939. vspltw 11,18,3
  940. vor 12,26,26
  941. vspltw 13,19,1
  942. vspltw 14,19,2
  943. vspltw 15,19,3
  944. vspltisw 27,-16
  945. vspltisw 28,12
  946. vspltisw 29,8
  947. vspltisw 30,7
  948. .Loop_vsx:
  949. vadduwm 0,0,4
  950. vadduwm 1,1,5
  951. vadduwm 2,2,6
  952. vadduwm 3,3,7
  953. vxor 12,12,0
  954. vxor 13,13,1
  955. vxor 14,14,2
  956. vxor 15,15,3
  957. vrlw 12,12,27
  958. vrlw 13,13,27
  959. vrlw 14,14,27
  960. vrlw 15,15,27
  961. vadduwm 8,8,12
  962. vadduwm 9,9,13
  963. vadduwm 10,10,14
  964. vadduwm 11,11,15
  965. vxor 4,4,8
  966. vxor 5,5,9
  967. vxor 6,6,10
  968. vxor 7,7,11
  969. vrlw 4,4,28
  970. vrlw 5,5,28
  971. vrlw 6,6,28
  972. vrlw 7,7,28
  973. vadduwm 0,0,4
  974. vadduwm 1,1,5
  975. vadduwm 2,2,6
  976. vadduwm 3,3,7
  977. vxor 12,12,0
  978. vxor 13,13,1
  979. vxor 14,14,2
  980. vxor 15,15,3
  981. vrlw 12,12,29
  982. vrlw 13,13,29
  983. vrlw 14,14,29
  984. vrlw 15,15,29
  985. vadduwm 8,8,12
  986. vadduwm 9,9,13
  987. vadduwm 10,10,14
  988. vadduwm 11,11,15
  989. vxor 4,4,8
  990. vxor 5,5,9
  991. vxor 6,6,10
  992. vxor 7,7,11
  993. vrlw 4,4,30
  994. vrlw 5,5,30
  995. vrlw 6,6,30
  996. vrlw 7,7,30
  997. vadduwm 0,0,5
  998. vadduwm 1,1,6
  999. vadduwm 2,2,7
  1000. vadduwm 3,3,4
  1001. vxor 15,15,0
  1002. vxor 12,12,1
  1003. vxor 13,13,2
  1004. vxor 14,14,3
  1005. vrlw 15,15,27
  1006. vrlw 12,12,27
  1007. vrlw 13,13,27
  1008. vrlw 14,14,27
  1009. vadduwm 10,10,15
  1010. vadduwm 11,11,12
  1011. vadduwm 8,8,13
  1012. vadduwm 9,9,14
  1013. vxor 5,5,10
  1014. vxor 6,6,11
  1015. vxor 7,7,8
  1016. vxor 4,4,9
  1017. vrlw 5,5,28
  1018. vrlw 6,6,28
  1019. vrlw 7,7,28
  1020. vrlw 4,4,28
  1021. vadduwm 0,0,5
  1022. vadduwm 1,1,6
  1023. vadduwm 2,2,7
  1024. vadduwm 3,3,4
  1025. vxor 15,15,0
  1026. vxor 12,12,1
  1027. vxor 13,13,2
  1028. vxor 14,14,3
  1029. vrlw 15,15,29
  1030. vrlw 12,12,29
  1031. vrlw 13,13,29
  1032. vrlw 14,14,29
  1033. vadduwm 10,10,15
  1034. vadduwm 11,11,12
  1035. vadduwm 8,8,13
  1036. vadduwm 9,9,14
  1037. vxor 5,5,10
  1038. vxor 6,6,11
  1039. vxor 7,7,8
  1040. vxor 4,4,9
  1041. vrlw 5,5,30
  1042. vrlw 6,6,30
  1043. vrlw 7,7,30
  1044. vrlw 4,4,30
  1045. bdnz .Loop_vsx
  1046. vadduwm 12,12,26
  1047. .long 0x13600F8C
  1048. .long 0x13821F8C
  1049. .long 0x10000E8C
  1050. .long 0x10421E8C
  1051. .long 0x13A42F8C
  1052. .long 0x13C63F8C
  1053. .long 0xF0201057
  1054. .long 0xF0601357
  1055. .long 0xF01BE057
  1056. .long 0xF05BE357
  1057. .long 0x10842E8C
  1058. .long 0x10C63E8C
  1059. .long 0x13684F8C
  1060. .long 0x138A5F8C
  1061. .long 0xF0A43057
  1062. .long 0xF0E43357
  1063. .long 0xF09DF057
  1064. .long 0xF0DDF357
  1065. .long 0x11084E8C
  1066. .long 0x114A5E8C
  1067. .long 0x13AC6F8C
  1068. .long 0x13CE7F8C
  1069. .long 0xF1285057
  1070. .long 0xF1685357
  1071. .long 0xF11BE057
  1072. .long 0xF15BE357
  1073. .long 0x118C6E8C
  1074. .long 0x11CE7E8C
  1075. vspltisw 27,4
  1076. vadduwm 26,26,27
  1077. .long 0xF1AC7057
  1078. .long 0xF1EC7357
  1079. .long 0xF19DF057
  1080. .long 0xF1DDF357
  1081. vadduwm 0,0,16
  1082. vadduwm 4,4,17
  1083. vadduwm 8,8,18
  1084. vadduwm 12,12,19
  1085. cmpldi 5,0x40
  1086. blt .Ltail_vsx
  1087. .long 0x7F602619
  1088. .long 0x7F882619
  1089. .long 0x7FA92619
  1090. .long 0x7FCA2619
  1091. vxor 27,27,0
  1092. vxor 28,28,4
  1093. vxor 29,29,8
  1094. vxor 30,30,12
  1095. .long 0x7F601F19
  1096. .long 0x7F881F19
  1097. addi 4,4,0x40
  1098. .long 0x7FA91F19
  1099. subi 5,5,0x40
  1100. .long 0x7FCA1F19
  1101. addi 3,3,0x40
  1102. beq .Ldone_vsx
  1103. vadduwm 0,1,16
  1104. vadduwm 4,5,17
  1105. vadduwm 8,9,18
  1106. vadduwm 12,13,19
  1107. cmpldi 5,0x40
  1108. blt .Ltail_vsx
  1109. .long 0x7F602619
  1110. .long 0x7F882619
  1111. .long 0x7FA92619
  1112. .long 0x7FCA2619
  1113. vxor 27,27,0
  1114. vxor 28,28,4
  1115. vxor 29,29,8
  1116. vxor 30,30,12
  1117. .long 0x7F601F19
  1118. .long 0x7F881F19
  1119. addi 4,4,0x40
  1120. .long 0x7FA91F19
  1121. subi 5,5,0x40
  1122. .long 0x7FCA1F19
  1123. addi 3,3,0x40
  1124. beq .Ldone_vsx
  1125. vadduwm 0,2,16
  1126. vadduwm 4,6,17
  1127. vadduwm 8,10,18
  1128. vadduwm 12,14,19
  1129. cmpldi 5,0x40
  1130. blt .Ltail_vsx
  1131. .long 0x7F602619
  1132. .long 0x7F882619
  1133. .long 0x7FA92619
  1134. .long 0x7FCA2619
  1135. vxor 27,27,0
  1136. vxor 28,28,4
  1137. vxor 29,29,8
  1138. vxor 30,30,12
  1139. .long 0x7F601F19
  1140. .long 0x7F881F19
  1141. addi 4,4,0x40
  1142. .long 0x7FA91F19
  1143. subi 5,5,0x40
  1144. .long 0x7FCA1F19
  1145. addi 3,3,0x40
  1146. beq .Ldone_vsx
  1147. vadduwm 0,3,16
  1148. vadduwm 4,7,17
  1149. vadduwm 8,11,18
  1150. vadduwm 12,15,19
  1151. cmpldi 5,0x40
  1152. blt .Ltail_vsx
  1153. .long 0x7F602619
  1154. .long 0x7F882619
  1155. .long 0x7FA92619
  1156. .long 0x7FCA2619
  1157. vxor 27,27,0
  1158. vxor 28,28,4
  1159. vxor 29,29,8
  1160. vxor 30,30,12
  1161. .long 0x7F601F19
  1162. .long 0x7F881F19
  1163. addi 4,4,0x40
  1164. .long 0x7FA91F19
  1165. subi 5,5,0x40
  1166. .long 0x7FCA1F19
  1167. addi 3,3,0x40
  1168. mtctr 0
  1169. bne .Loop_outer_vsx
  1170. .Ldone_vsx:
  1171. lwz 12,220(1)
  1172. li 10,127
  1173. li 11,143
  1174. ld 0, 240(1)
  1175. or 12,12,12
  1176. lvx 26,10,1
  1177. addi 10,10,32
  1178. lvx 27,11,1
  1179. addi 11,11,32
  1180. lvx 28,10,1
  1181. addi 10,10,32
  1182. lvx 29,11,1
  1183. addi 11,11,32
  1184. lvx 30,10,1
  1185. lvx 31,11,1
  1186. mtlr 0
  1187. addi 1,1,224
  1188. blr
  1189. .align 4
  1190. .Ltail_vsx:
  1191. addi 11,1,48
  1192. mtctr 5
  1193. .long 0x7C005F19
  1194. .long 0x7C885F19
  1195. .long 0x7D095F19
  1196. .long 0x7D8A5F19
  1197. subi 12,11,1
  1198. subi 4,4,1
  1199. subi 3,3,1
  1200. .Loop_tail_vsx:
  1201. lbzu 6,1(12)
  1202. lbzu 7,1(4)
  1203. xor 6,6,7
  1204. stbu 6,1(3)
  1205. bdnz .Loop_tail_vsx
  1206. .long 0x7E005F19
  1207. .long 0x7E085F19
  1208. .long 0x7E095F19
  1209. .long 0x7E0A5F19
  1210. b .Ldone_vsx
  1211. .long 0
  1212. .byte 0,12,0x04,1,0x80,0,5,0
  1213. .long 0
  1214. .size ChaCha20_ctr32_vsx,.-ChaCha20_ctr32_vsx
  1215. .align 5
  1216. .Lconsts:
  1217. mflr 0
  1218. bcl 20,31,$+4
  1219. mflr 12
  1220. addi 12,12,56
  1221. mtlr 0
  1222. blr
  1223. .long 0
  1224. .byte 0,12,0x14,0,0,0,0,0
  1225. .space 28
  1226. .Lsigma:
  1227. .long 0x61707865,0x3320646e,0x79622d32,0x6b206574
  1228. .long 1,0,0,0
  1229. .long 4,0,0,0
  1230. .long 0x0e0f0c0d,0x0a0b0809,0x06070405,0x02030001
  1231. .long 0x0d0e0f0c,0x090a0b08,0x05060704,0x01020300
  1232. .long 0x61707865,0x61707865,0x61707865,0x61707865
  1233. .long 0x3320646e,0x3320646e,0x3320646e,0x3320646e
  1234. .long 0x79622d32,0x79622d32,0x79622d32,0x79622d32
  1235. .long 0x6b206574,0x6b206574,0x6b206574,0x6b206574
  1236. .long 0,1,2,3
  1237. .byte 67,104,97,67,104,97,50,48,32,102,111,114,32,80,111,119,101,114,80,67,47,65,108,116,105,86,101,99,44,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
  1238. .align 2
  1239. .align 2