00001
00002
00003
00004
00005
00006
00007
00008
00009
00010
00011
00012
00013
00014
00015
00016
00017
00018
00019
00020
00021
00022
00023
00024
00025
00026
00027
00028
00029
00030
00031
00032
00033
00034
00035
00036
00037
00038
00039
00040
00041
00042
00043
00044
00045
00046
00047
00048 #ifndef fastlock_h
00049 #define fastlock_h
00050
00051 #ifdef HAVE_SCHED_YIELD
00052 #include <sched.h>
00053 #else
00054 #include <unistd.h>
00055
00056 #define sched_yield() sleep(0)
00057 #endif
00058
00059
00060 typedef volatile int fl_lock_t;
00061
00062
00063 #define init_lock( l ) (l)=0
00064
00065
00066
00067
00068
00069
00070
00071
00072
00073 inline static int tsl(fl_lock_t* lock)
00074 {
00075 int val;
00076
00077 #if defined(__CPU_i386) || defined(__CPU_x86_64)
00078
00079 #ifdef NOSMP
00080 val=0;
00081 asm volatile(
00082 " btsl $0, %1 \n\t"
00083 " adcl $0, %0 \n\t"
00084 : "=q" (val), "=m" (*lock) : "0"(val) : "memory", "cc"
00085 );
00086 #else
00087 val=1;
00088 asm volatile(
00089 " xchg %1, %0" : "=q" (val), "=m" (*lock) : "0" (val) : "memory"
00090 );
00091 #endif
00092 #elif defined(__CPU_sparc64) || defined(__CPU_sparc)
00093 asm volatile(
00094 "ldstub [%1], %0 \n\t"
00095 #ifndef NOSMP
00096 "membar #StoreStore | #StoreLoad \n\t"
00097 #endif
00098 : "=r"(val) : "r"(lock):"memory"
00099 );
00100
00101 #elif defined __CPU_arm
00102 asm volatile(
00103 "# here \n\t"
00104 "swpb %0, %1, [%2] \n\t"
00105 : "=&r" (val)
00106 : "r"(1), "r" (lock) : "memory"
00107 );
00108
00109 #elif defined(__CPU_ppc) || defined(__CPU_ppc64)
00110 asm volatile(
00111 "1: lwarx %0, 0, %2\n\t"
00112 " cmpwi %0, 0\n\t"
00113 " bne 0f\n\t"
00114 " stwcx. %1, 0, %2\n\t"
00115 " bne- 1b\n\t"
00116 " lwsync\n\t"
00117
00118
00119
00120 "0:\n\t"
00121 : "=r" (val)
00122 : "r"(1), "b" (lock) :
00123 "memory", "cc"
00124 );
00125 #elif defined __CPU_mips2
00126 long tmp;
00127 tmp=1;
00128
00129 asm volatile(
00130 ".set noreorder\n\t"
00131 "1: ll %1, %2 \n\t"
00132 " li %0, 1 \n\t"
00133 " sc %0, %2 \n\t"
00134 " beqz %0, 1b \n\t"
00135 " nop \n\t"
00136 ".set reorder\n\t"
00137 : "=&r" (tmp), "=&r" (val), "=m" (*lock)
00138 : "0" (tmp), "2" (*lock)
00139 : "cc"
00140 );
00141 #elif defined __CPU_alpha
00142 long tmp;
00143 tmp=0;
00144
00145 asm volatile(
00146 "1: ldl %0, %1 \n\t"
00147 " blbs %0, 2f \n\t"
00148 " ldl_l %0, %1 \n\t"
00149 " blbs %0, 2f \n\t"
00150 " lda %2, 1 \n\t"
00151 " stl_c %2, %1 \n\t"
00152 " beq %2, 1b \n\t"
00153 " mb \n\t"
00154 "2: \n\t"
00155 :"=&r" (val), "=m"(*lock), "=r"(tmp)
00156 :"1"(*lock)
00157
00158 : "memory"
00159 );
00160 #else
00161 #error "unknown architecture"
00162 #endif
00163 return val;
00164 }
00165
00166
00167
00168
00169
00170
00171
00172 inline static void get_lock(fl_lock_t* lock)
00173 {
00174 #ifdef ADAPTIVE_WAIT
00175 int i=ADAPTIVE_WAIT_LOOPS;
00176 #endif
00177
00178 while(tsl(lock)){
00179 #ifdef BUSY_WAIT
00180 #elif defined ADAPTIVE_WAIT
00181 if (i>0) i--;
00182 else sched_yield();
00183 #else
00184 sched_yield();
00185 #endif
00186 }
00187 }
00188
00189
00190
00191
00192
00193
00194 inline static void release_lock(fl_lock_t* lock)
00195 {
00196 #if defined(__CPU_i386) || defined(__CPU_x86_64)
00197 char val;
00198 val=0;
00199 asm volatile(
00200 " movb $0, (%0)" : : "r"(lock): "memory"
00201
00202 );
00203 #elif defined(__CPU_sparc64) || defined(__CPU_sparc)
00204 asm volatile(
00205 #ifndef NOSMP
00206 "membar #LoadStore | #StoreStore \n\t"
00207 #endif
00208 "stb %%g0, [%0] \n\t"
00209 :
00210 : "r" (lock)
00211 : "memory"
00212 );
00213 #elif defined __CPU_arm
00214 asm volatile(
00215 " str %0, [%1] \n\r"
00216 :
00217 : "r"(0), "r"(lock)
00218 : "memory"
00219 );
00220 #elif defined(__CPU_ppc) || defined(__CPU_ppc64)
00221 asm volatile(
00222
00223
00224
00225
00226 "lwsync\n\t"
00227 "stw %0, 0(%1)\n\t"
00228 :
00229 : "r"(0), "b" (lock)
00230 : "memory"
00231 );
00232 *lock = 0;
00233 #elif defined __CPU_mips2
00234 asm volatile(
00235 ".set noreorder \n\t"
00236 " sync \n\t"
00237 " sw $0, %0 \n\t"
00238 ".set reorder \n\t"
00239 : : "m" (*lock) : "memory"
00240 );
00241 #elif defined __CPU_alpha
00242 asm volatile(
00243 " mb \n\t"
00244 " stl $31, %0 \n\t"
00245 : "=m"(*lock) : : "memory"
00246 );
00247 #else
00248 #error "unknown architecture"
00249 #endif
00250 }
00251
00252
00253 #endif