x86util.asm 13 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651
  1. ;*****************************************************************************
  2. ;* x86util.asm
  3. ;*****************************************************************************
  4. ;* Copyright (C) 2008-2010 x264 project
  5. ;*
  6. ;* Authors: Loren Merritt <lorenm@u.washington.edu>
  7. ;* Holger Lubitz <holger@lubitz.org>
  8. ;*
  9. ;* This file is part of FFmpeg.
  10. ;*
  11. ;* FFmpeg is free software; you can redistribute it and/or
  12. ;* modify it under the terms of the GNU Lesser General Public
  13. ;* License as published by the Free Software Foundation; either
  14. ;* version 2.1 of the License, or (at your option) any later version.
  15. ;*
  16. ;* FFmpeg is distributed in the hope that it will be useful,
  17. ;* but WITHOUT ANY WARRANTY; without even the implied warranty of
  18. ;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  19. ;* Lesser General Public License for more details.
  20. ;*
  21. ;* You should have received a copy of the GNU Lesser General Public
  22. ;* License along with FFmpeg; if not, write to the Free Software
  23. ;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  24. ;******************************************************************************
  25. %macro SBUTTERFLY 4
  26. %if avx_enabled == 0
  27. mova m%4, m%2
  28. punpckl%1 m%2, m%3
  29. punpckh%1 m%4, m%3
  30. %else
  31. punpckh%1 m%4, m%2, m%3
  32. punpckl%1 m%2, m%3
  33. %endif
  34. SWAP %3, %4
  35. %endmacro
  36. %macro SBUTTERFLY2 4
  37. punpckl%1 m%4, m%2, m%3
  38. punpckh%1 m%2, m%2, m%3
  39. SWAP %2, %4, %3
  40. %endmacro
  41. %macro SBUTTERFLYPS 3
  42. unpcklps m%3, m%1, m%2
  43. unpckhps m%1, m%1, m%2
  44. SWAP %1, %3, %2
  45. %endmacro
  46. %macro TRANSPOSE4x4B 5
  47. SBUTTERFLY bw, %1, %2, %5
  48. SBUTTERFLY bw, %3, %4, %5
  49. SBUTTERFLY wd, %1, %3, %5
  50. SBUTTERFLY wd, %2, %4, %5
  51. SWAP %2, %3
  52. %endmacro
  53. %macro TRANSPOSE4x4W 5
  54. SBUTTERFLY wd, %1, %2, %5
  55. SBUTTERFLY wd, %3, %4, %5
  56. SBUTTERFLY dq, %1, %3, %5
  57. SBUTTERFLY dq, %2, %4, %5
  58. SWAP %2, %3
  59. %endmacro
  60. %macro TRANSPOSE2x4x4W 5
  61. SBUTTERFLY wd, %1, %2, %5
  62. SBUTTERFLY wd, %3, %4, %5
  63. SBUTTERFLY dq, %1, %3, %5
  64. SBUTTERFLY dq, %2, %4, %5
  65. SBUTTERFLY qdq, %1, %2, %5
  66. SBUTTERFLY qdq, %3, %4, %5
  67. %endmacro
  68. %macro TRANSPOSE4x4D 5
  69. SBUTTERFLY dq, %1, %2, %5
  70. SBUTTERFLY dq, %3, %4, %5
  71. SBUTTERFLY qdq, %1, %3, %5
  72. SBUTTERFLY qdq, %2, %4, %5
  73. SWAP %2, %3
  74. %endmacro
  75. ; identical behavior to TRANSPOSE4x4D, but using SSE1 float ops
  76. %macro TRANSPOSE4x4PS 5
  77. SBUTTERFLYPS %1, %2, %5
  78. SBUTTERFLYPS %3, %4, %5
  79. movlhps m%5, m%1, m%3
  80. movhlps m%3, m%1
  81. SWAP %5, %1
  82. movlhps m%5, m%2, m%4
  83. movhlps m%4, m%2
  84. SWAP %5, %2, %3
  85. %endmacro
  86. %macro TRANSPOSE8x8W 9-11
  87. %if ARCH_X86_64
  88. SBUTTERFLY wd, %1, %2, %9
  89. SBUTTERFLY wd, %3, %4, %9
  90. SBUTTERFLY wd, %5, %6, %9
  91. SBUTTERFLY wd, %7, %8, %9
  92. SBUTTERFLY dq, %1, %3, %9
  93. SBUTTERFLY dq, %2, %4, %9
  94. SBUTTERFLY dq, %5, %7, %9
  95. SBUTTERFLY dq, %6, %8, %9
  96. SBUTTERFLY qdq, %1, %5, %9
  97. SBUTTERFLY qdq, %2, %6, %9
  98. SBUTTERFLY qdq, %3, %7, %9
  99. SBUTTERFLY qdq, %4, %8, %9
  100. SWAP %2, %5
  101. SWAP %4, %7
  102. %else
  103. ; in: m0..m7, unless %11 in which case m6 is in %9
  104. ; out: m0..m7, unless %11 in which case m4 is in %10
  105. ; spills into %9 and %10
  106. %if %0<11
  107. movdqa %9, m%7
  108. %endif
  109. SBUTTERFLY wd, %1, %2, %7
  110. movdqa %10, m%2
  111. movdqa m%7, %9
  112. SBUTTERFLY wd, %3, %4, %2
  113. SBUTTERFLY wd, %5, %6, %2
  114. SBUTTERFLY wd, %7, %8, %2
  115. SBUTTERFLY dq, %1, %3, %2
  116. movdqa %9, m%3
  117. movdqa m%2, %10
  118. SBUTTERFLY dq, %2, %4, %3
  119. SBUTTERFLY dq, %5, %7, %3
  120. SBUTTERFLY dq, %6, %8, %3
  121. SBUTTERFLY qdq, %1, %5, %3
  122. SBUTTERFLY qdq, %2, %6, %3
  123. movdqa %10, m%2
  124. movdqa m%3, %9
  125. SBUTTERFLY qdq, %3, %7, %2
  126. SBUTTERFLY qdq, %4, %8, %2
  127. SWAP %2, %5
  128. SWAP %4, %7
  129. %if %0<11
  130. movdqa m%5, %10
  131. %endif
  132. %endif
  133. %endmacro
  134. ; PABSW macros assume %1 != %2, while ABS1/2 macros work in-place
  135. %macro PABSW_MMX 2
  136. pxor %1, %1
  137. pcmpgtw %1, %2
  138. pxor %2, %1
  139. psubw %2, %1
  140. SWAP %1, %2
  141. %endmacro
  142. %macro PSIGNW_MMX 2
  143. pxor %1, %2
  144. psubw %1, %2
  145. %endmacro
  146. %macro PABSW_MMX2 2
  147. pxor %1, %1
  148. psubw %1, %2
  149. pmaxsw %1, %2
  150. %endmacro
  151. %macro PABSW_SSSE3 2
  152. pabsw %1, %2
  153. %endmacro
  154. %macro PSIGNW_SSSE3 2
  155. psignw %1, %2
  156. %endmacro
  157. %macro ABS1_MMX 2 ; a, tmp
  158. pxor %2, %2
  159. pcmpgtw %2, %1
  160. pxor %1, %2
  161. psubw %1, %2
  162. %endmacro
  163. %macro ABS2_MMX 4 ; a, b, tmp0, tmp1
  164. pxor %3, %3
  165. pxor %4, %4
  166. pcmpgtw %3, %1
  167. pcmpgtw %4, %2
  168. pxor %1, %3
  169. pxor %2, %4
  170. psubw %1, %3
  171. psubw %2, %4
  172. %endmacro
  173. %macro ABS1_MMX2 2 ; a, tmp
  174. pxor %2, %2
  175. psubw %2, %1
  176. pmaxsw %1, %2
  177. %endmacro
  178. %macro ABS2_MMX2 4 ; a, b, tmp0, tmp1
  179. pxor %3, %3
  180. pxor %4, %4
  181. psubw %3, %1
  182. psubw %4, %2
  183. pmaxsw %1, %3
  184. pmaxsw %2, %4
  185. %endmacro
  186. %macro ABS1_SSSE3 2
  187. pabsw %1, %1
  188. %endmacro
  189. %macro ABS2_SSSE3 4
  190. pabsw %1, %1
  191. pabsw %2, %2
  192. %endmacro
  193. %macro ABSB_MMX 2
  194. pxor %2, %2
  195. psubb %2, %1
  196. pminub %1, %2
  197. %endmacro
  198. %macro ABSB2_MMX 4
  199. pxor %3, %3
  200. pxor %4, %4
  201. psubb %3, %1
  202. psubb %4, %2
  203. pminub %1, %3
  204. pminub %2, %4
  205. %endmacro
  206. %macro ABSD2_MMX 4
  207. pxor %3, %3
  208. pxor %4, %4
  209. pcmpgtd %3, %1
  210. pcmpgtd %4, %2
  211. pxor %1, %3
  212. pxor %2, %4
  213. psubd %1, %3
  214. psubd %2, %4
  215. %endmacro
  216. %macro ABSB_SSSE3 2
  217. pabsb %1, %1
  218. %endmacro
  219. %macro ABSB2_SSSE3 4
  220. pabsb %1, %1
  221. pabsb %2, %2
  222. %endmacro
  223. %macro ABS4 6
  224. ABS2 %1, %2, %5, %6
  225. ABS2 %3, %4, %5, %6
  226. %endmacro
  227. %define ABS1 ABS1_MMX
  228. %define ABS2 ABS2_MMX
  229. %define ABSB ABSB_MMX
  230. %define ABSB2 ABSB2_MMX
  231. %macro SPLATB_LOAD 3
  232. %if cpuflag(ssse3)
  233. movd %1, [%2-3]
  234. pshufb %1, %3
  235. %else
  236. movd %1, [%2-3] ;to avoid crossing a cacheline
  237. punpcklbw %1, %1
  238. SPLATW %1, %1, 3
  239. %endif
  240. %endmacro
  241. %macro SPLATB_REG 3
  242. %if cpuflag(ssse3)
  243. movd %1, %2d
  244. pshufb %1, %3
  245. %else
  246. movd %1, %2d
  247. punpcklbw %1, %1
  248. SPLATW %1, %1, 0
  249. %endif
  250. %endmacro
  251. %macro PALIGNR_MMX 4-5 ; [dst,] src1, src2, imm, tmp
  252. %define %%dst %1
  253. %if %0==5
  254. %ifnidn %1, %2
  255. mova %%dst, %2
  256. %endif
  257. %rotate 1
  258. %endif
  259. %ifnidn %4, %2
  260. mova %4, %2
  261. %endif
  262. %if mmsize==8
  263. psllq %%dst, (8-%3)*8
  264. psrlq %4, %3*8
  265. %else
  266. pslldq %%dst, 16-%3
  267. psrldq %4, %3
  268. %endif
  269. por %%dst, %4
  270. %endmacro
  271. %macro PALIGNR_SSSE3 4-5
  272. %if %0==5
  273. palignr %1, %2, %3, %4
  274. %else
  275. palignr %1, %2, %3
  276. %endif
  277. %endmacro
  278. %macro PSHUFLW 1+
  279. %if mmsize == 8
  280. pshufw %1
  281. %else
  282. pshuflw %1
  283. %endif
  284. %endmacro
  285. %macro DEINTB 5 ; mask, reg1, mask, reg2, optional src to fill masks from
  286. %ifnum %5
  287. pand m%3, m%5, m%4 ; src .. y6 .. y4
  288. pand m%1, m%5, m%2 ; dst .. y6 .. y4
  289. %else
  290. mova m%1, %5
  291. pand m%3, m%1, m%4 ; src .. y6 .. y4
  292. pand m%1, m%1, m%2 ; dst .. y6 .. y4
  293. %endif
  294. psrlw m%2, 8 ; dst .. y7 .. y5
  295. psrlw m%4, 8 ; src .. y7 .. y5
  296. %endmacro
  297. %macro SUMSUB_BA 3-4
  298. %if %0==3
  299. padd%1 m%2, m%3
  300. padd%1 m%3, m%3
  301. psub%1 m%3, m%2
  302. %else
  303. %if avx_enabled == 0
  304. mova m%4, m%2
  305. padd%1 m%2, m%3
  306. psub%1 m%3, m%4
  307. %else
  308. padd%1 m%4, m%2, m%3
  309. psub%1 m%3, m%2
  310. SWAP %2, %4
  311. %endif
  312. %endif
  313. %endmacro
  314. %macro SUMSUB_BADC 5-6
  315. %if %0==6
  316. SUMSUB_BA %1, %2, %3, %6
  317. SUMSUB_BA %1, %4, %5, %6
  318. %else
  319. padd%1 m%2, m%3
  320. padd%1 m%4, m%5
  321. padd%1 m%3, m%3
  322. padd%1 m%5, m%5
  323. psub%1 m%3, m%2
  324. psub%1 m%5, m%4
  325. %endif
  326. %endmacro
  327. %macro SUMSUB2_AB 4
  328. %ifnum %3
  329. psub%1 m%4, m%2, m%3
  330. psub%1 m%4, m%3
  331. padd%1 m%2, m%2
  332. padd%1 m%2, m%3
  333. %else
  334. mova m%4, m%2
  335. padd%1 m%2, m%2
  336. padd%1 m%2, %3
  337. psub%1 m%4, %3
  338. psub%1 m%4, %3
  339. %endif
  340. %endmacro
  341. %macro SUMSUB2_BA 4
  342. %if avx_enabled == 0
  343. mova m%4, m%2
  344. padd%1 m%2, m%3
  345. padd%1 m%2, m%3
  346. psub%1 m%3, m%4
  347. psub%1 m%3, m%4
  348. %else
  349. padd%1 m%4, m%2, m%3
  350. padd%1 m%4, m%3
  351. psub%1 m%3, m%2
  352. psub%1 m%3, m%2
  353. SWAP %2, %4
  354. %endif
  355. %endmacro
  356. %macro SUMSUBD2_AB 5
  357. %ifnum %4
  358. psra%1 m%5, m%2, 1 ; %3: %3>>1
  359. psra%1 m%4, m%3, 1 ; %2: %2>>1
  360. padd%1 m%4, m%2 ; %3: %3>>1+%2
  361. psub%1 m%5, m%3 ; %2: %2>>1-%3
  362. SWAP %2, %5
  363. SWAP %3, %4
  364. %else
  365. mova %5, m%2
  366. mova %4, m%3
  367. psra%1 m%3, 1 ; %3: %3>>1
  368. psra%1 m%2, 1 ; %2: %2>>1
  369. padd%1 m%3, %5 ; %3: %3>>1+%2
  370. psub%1 m%2, %4 ; %2: %2>>1-%3
  371. %endif
  372. %endmacro
  373. %macro DCT4_1D 5
  374. %ifnum %5
  375. SUMSUB_BADC w, %4, %1, %3, %2, %5
  376. SUMSUB_BA w, %3, %4, %5
  377. SUMSUB2_AB w, %1, %2, %5
  378. SWAP %1, %3, %4, %5, %2
  379. %else
  380. SUMSUB_BADC w, %4, %1, %3, %2
  381. SUMSUB_BA w, %3, %4
  382. mova [%5], m%2
  383. SUMSUB2_AB w, %1, [%5], %2
  384. SWAP %1, %3, %4, %2
  385. %endif
  386. %endmacro
  387. %macro IDCT4_1D 6-7
  388. %ifnum %6
  389. SUMSUBD2_AB %1, %3, %5, %7, %6
  390. ; %3: %3>>1-%5 %5: %3+%5>>1
  391. SUMSUB_BA %1, %4, %2, %7
  392. ; %4: %2+%4 %2: %2-%4
  393. SUMSUB_BADC %1, %5, %4, %3, %2, %7
  394. ; %5: %2+%4 + (%3+%5>>1)
  395. ; %4: %2+%4 - (%3+%5>>1)
  396. ; %3: %2-%4 + (%3>>1-%5)
  397. ; %2: %2-%4 - (%3>>1-%5)
  398. %else
  399. %ifidn %1, w
  400. SUMSUBD2_AB %1, %3, %5, [%6], [%6+16]
  401. %else
  402. SUMSUBD2_AB %1, %3, %5, [%6], [%6+32]
  403. %endif
  404. SUMSUB_BA %1, %4, %2
  405. SUMSUB_BADC %1, %5, %4, %3, %2
  406. %endif
  407. SWAP %2, %5, %4
  408. ; %2: %2+%4 + (%3+%5>>1) row0
  409. ; %3: %2-%4 + (%3>>1-%5) row1
  410. ; %4: %2-%4 - (%3>>1-%5) row2
  411. ; %5: %2+%4 - (%3+%5>>1) row3
  412. %endmacro
  413. %macro LOAD_DIFF 5
  414. %ifidn %3, none
  415. movh %1, %4
  416. movh %2, %5
  417. punpcklbw %1, %2
  418. punpcklbw %2, %2
  419. psubw %1, %2
  420. %else
  421. movh %1, %4
  422. punpcklbw %1, %3
  423. movh %2, %5
  424. punpcklbw %2, %3
  425. psubw %1, %2
  426. %endif
  427. %endmacro
  428. %macro STORE_DCT 6
  429. movq [%5+%6+ 0], m%1
  430. movq [%5+%6+ 8], m%2
  431. movq [%5+%6+16], m%3
  432. movq [%5+%6+24], m%4
  433. movhps [%5+%6+32], m%1
  434. movhps [%5+%6+40], m%2
  435. movhps [%5+%6+48], m%3
  436. movhps [%5+%6+56], m%4
  437. %endmacro
  438. %macro LOAD_DIFF_8x4P 7-10 r0,r2,0 ; 4x dest, 2x temp, 2x pointer, increment?
  439. LOAD_DIFF m%1, m%5, m%7, [%8], [%9]
  440. LOAD_DIFF m%2, m%6, m%7, [%8+r1], [%9+r3]
  441. LOAD_DIFF m%3, m%5, m%7, [%8+2*r1], [%9+2*r3]
  442. LOAD_DIFF m%4, m%6, m%7, [%8+r4], [%9+r5]
  443. %if %10
  444. lea %8, [%8+4*r1]
  445. lea %9, [%9+4*r3]
  446. %endif
  447. %endmacro
  448. %macro DIFFx2 6-7
  449. movh %3, %5
  450. punpcklbw %3, %4
  451. psraw %1, 6
  452. paddsw %1, %3
  453. movh %3, %6
  454. punpcklbw %3, %4
  455. psraw %2, 6
  456. paddsw %2, %3
  457. packuswb %2, %1
  458. %endmacro
  459. %macro STORE_DIFF 4
  460. movh %2, %4
  461. punpcklbw %2, %3
  462. psraw %1, 6
  463. paddsw %1, %2
  464. packuswb %1, %1
  465. movh %4, %1
  466. %endmacro
  467. %macro STORE_DIFFx2 8 ; add1, add2, reg1, reg2, zero, shift, source, stride
  468. movh %3, [%7]
  469. movh %4, [%7+%8]
  470. psraw %1, %6
  471. psraw %2, %6
  472. punpcklbw %3, %5
  473. punpcklbw %4, %5
  474. paddw %3, %1
  475. paddw %4, %2
  476. packuswb %3, %5
  477. packuswb %4, %5
  478. movh [%7], %3
  479. movh [%7+%8], %4
  480. %endmacro
  481. %macro PMINUB_MMX 3 ; dst, src, tmp
  482. mova %3, %1
  483. psubusb %3, %2
  484. psubb %1, %3
  485. %endmacro
  486. %macro PMINUB_MMXEXT 3 ; dst, src, ignored
  487. pminub %1, %2
  488. %endmacro
  489. %macro SPLATW 2-3 0
  490. %if mmsize == 16
  491. pshuflw %1, %2, (%3)*0x55
  492. punpcklqdq %1, %1
  493. %elif cpuflag(mmx2)
  494. pshufw %1, %2, (%3)*0x55
  495. %else
  496. %ifnidn %1, %2
  497. mova %1, %2
  498. %endif
  499. %if %3 & 2
  500. punpckhwd %1, %1
  501. %else
  502. punpcklwd %1, %1
  503. %endif
  504. %if %3 & 1
  505. punpckhwd %1, %1
  506. %else
  507. punpcklwd %1, %1
  508. %endif
  509. %endif
  510. %endmacro
  511. %macro SPLATD 2-3 0
  512. %if mmsize == 16
  513. pshufd %1, %2, (%3)*0x55
  514. %else
  515. pshufw %1, %2, (%3)*0x11 + ((%3)+1)*0x44
  516. %endif
  517. %endmacro
  518. %macro SPLATD_MMX 1
  519. punpckldq %1, %1
  520. %endmacro
  521. %macro SPLATD_SSE 1
  522. shufps %1, %1, 0
  523. %endmacro
  524. %macro SPLATD_SSE2 1
  525. pshufd %1, %1, 0
  526. %endmacro
  527. %macro CLIPW 3 ;(dst, min, max)
  528. pmaxsw %1, %2
  529. pminsw %1, %3
  530. %endmacro
  531. %macro PMINSD_MMX 3 ; dst, src, tmp
  532. mova %3, %2
  533. pcmpgtd %3, %1
  534. pxor %1, %2
  535. pand %1, %3
  536. pxor %1, %2
  537. %endmacro
  538. %macro PMAXSD_MMX 3 ; dst, src, tmp
  539. mova %3, %1
  540. pcmpgtd %3, %2
  541. pand %1, %3
  542. pandn %3, %2
  543. por %1, %3
  544. %endmacro
  545. %macro CLIPD_MMX 3-4 ; src/dst, min, max, tmp
  546. PMINSD_MMX %1, %3, %4
  547. PMAXSD_MMX %1, %2, %4
  548. %endmacro
  549. %macro CLIPD_SSE2 3-4 ; src/dst, min (float), max (float), unused
  550. cvtdq2ps %1, %1
  551. minps %1, %3
  552. maxps %1, %2
  553. cvtps2dq %1, %1
  554. %endmacro
  555. %macro CLIPD_SSE41 3-4 ; src/dst, min, max, unused
  556. pminsd %1, %3
  557. pmaxsd %1, %2
  558. %endmacro
  559. %macro VBROADCASTSS 2 ; dst xmm/ymm, src m32
  560. %if cpuflag(avx)
  561. vbroadcastss %1, %2
  562. %else ; sse
  563. movss %1, %2
  564. shufps %1, %1, 0
  565. %endif
  566. %endmacro
  567. %macro SHUFFLE_MASK_W 8
  568. %rep 8
  569. %if %1>=0x80
  570. db %1, %1
  571. %else
  572. db %1*2
  573. db %1*2+1
  574. %endif
  575. %rotate 1
  576. %endrep
  577. %endmacro
  578. %macro PMOVSXWD 2; dst, src
  579. %if cpuflag(sse4)
  580. pmovsxwd %1, %2
  581. %else
  582. %ifnidn %1, %2
  583. mova %1, %2
  584. %endif
  585. punpcklwd %1, %1
  586. psrad %1, 16
  587. %endif
  588. %endmacro